고르는 방법
- 출시 전, 그리고 모델을 바꿀 때마다 다시 프롬프트와 에이전트를 레드팀 테스트하십시오.
- 의존성과 AI가 작성한 코드를 나머지 코드와 같은 파이프라인에서 검사하십시오.
- 게이트웨이와 SDK의 버전을 고정하십시오. 공급망 공격이 인기 AI 패키지를 노린 적이 있습니다.
확인할 점
선택지를 가르는 질문을 중요한 순서대로 정리했습니다.
01
OWASP Top 10 for LLMs에 대응시킨 범위
OWASP Top 10 for LLM Applications(2025년판)는 공통 점검표입니다. 프롬프트 인젝션, 민감 정보 노출, 공급망, 데이터 및 모델 오염, 부적절한 출력 처리, 과도한 권한, 시스템 프롬프트 유출, 벡터 및 임베딩 취약점, 허위 정보, 무제한 소비입니다. 도구가 실제로 어떤 항목을 시험하는지 물으십시오. DeepTeam은 OWASP 프리셋을 제공하고, garak은 모델 수준 항목은 잘 다루지만 과도한 권한은 다루지 않으며, 열 가지를 모두 다루는 단일 도구는 없습니다.
02
자동화된 다중 턴 공격 생성
알려진 탈옥 고정 목록은 옛 약점을 찾고, 내 시스템을 겨냥해 생성한 공격은 새 약점을 찾습니다. PyRIT의 Crescendo와 TAP은 공격자 모델이 조종하며 여러 턴에 걸쳐 강도를 높이고, DeepTeam과 promptfoo는 LLM으로 공격을 생성하며, garak은 공개된 프로브의 큰 라이브러리를 돌립니다. 생성 공격은 양쪽에서 토큰 비용이 드니 예산을 잡으십시오.
03
모델만이 아니라 에이전트와 도구의 위험
모델이 도구를 호출할 수 있게 되면 위험한 실패는 과도한 권한, 깨진 권한 부여, 도구 출력에 주입된 지시입니다. 배포된 에이전트를 실제 도구와 함께 시험하고(DeepTeam의 BOLA, BFLA, 도구 오염 검사, promptfoo의 안전하지 않은 도구 사용 테스트, 실제 엔드포인트를 겨냥한 PyRIT), 각 MCP 서버와 도구에 주어진 권한을 검토하십시오. 최소 권한이 어떤 스캐너보다 중요합니다.
04
공급망: 설치하는 것을 고정하고 스캔하십시오
AI 패키지는 이제 표적입니다. 2026년 3월 공격자들이 탈취한 관리자 자격 증명으로 오염된 LiteLLM 릴리스 두 개를 PyPI에 게시했습니다. 게이트웨이와 SDK는 정확한 버전과 해시로 고정하고, 신중하게 업데이트하며, 의존성과 AI가 쓴 코드를 나머지 코드와 같은 파이프라인에서 스캔하십시오. MCP 서버와 에이전트 스킬도 스캔하십시오. Snyk Agent Scan은 도구 설명과 스킬에서 오염과 숨은 지시를 검사합니다.
05
CI 연동과 반복 가능성
출시 전 한 번의 레드팀으로는 부족합니다. 모델, 프롬프트, 도구가 바뀔 때마다 다시 돌리십시오. promptfoo는 YAML 설정으로 CI용으로 만들어졌고, garak과 Snyk Agent Scan은 스크립트로 처리할 수 있는 기계 판독 출력을 내 는 CLI이며, PyRIT과 DeepTeam은 직접 감싸야 하는 Python 라이브러리입니다. 실행 간에 결과를 비교할 수 있도록 공격의 시드 세트를 고정하십시오.
06
발견 사항을 판정하는 방식
대부분의 도구는 LLM 판정자나 탐지기로 통과와 실패를 정하며, 둘 다 실수합니다. 각 발견 사항 뒤의 전체 대화를 볼 수 있는지, 판정 모델을 바꿔 저장된 결과를 다시 채점할 수 있는지 확인하십시오. PyRIT은 다시 채점할 수 있도록 모든 대화를 데이터베이스에 보관하고, garak은 모든 시도의 JSONL 로그를 씁니다. 표시된 결과는 확인된 취약점이 아니라 확인해 봐야 할 단서로 여기십시오.
07
라이선스와 데이터 처리
여기 있는 레드팀 도구는 모두 오픈소스(MIT 또는 Apache 2.0)이고 로컬에서 돌아가며, 공격 트래픽은 지정한 모델로만 보냅니다. Snyk Agent Scan은 예외로, 분석을 위해 도구 설명과 스킬 내용을 Snyk의 API로 보냅니다. DeepTeam의 선택적 추가 기능인 Confident AI의 호스팅 플랫폼은 결과를 업체에 저장합니다.
선택지별 차이
AI 앱용 보안 도구는 무엇을 공격하느냐로 나뉩니다. 취약점 스캐너(garak)는 알려진 공격의 큰 라이브러리를 모델 엔드포인트에 쏘아 실패율을 보고합니다. 빠르고 반복 가능하며 모델 교체 후에 좋습니다. 레드팀 프레임워크(PyRIT, DeepTeam, promptfoo의 레드팀 모드)는 다중 턴 강도 높이기와 도구 및 권한에 대한 에이전트 특화 악용을 포함해 내 애플리케이션을 겨냥한 공격을 생성하며, 출시 전 검토와 CI에 맞습니다. 안전성에 초점을 둔 평가 하네스(Inspect)는 샌드박스에서 에이전트 동작에 대한 엄밀한 맞춤 평가를 만들게 해 줍니다. 공급망 스캐너(Snyk Agent Scan)는 모델이 아니라 에이전트가 신뢰하는 MCP 서버와 스킬을 검사합니다.
LiteLLM 같은 게이트웨이는 이 단계에서 보호해야 할 대상으로만 등장합니다. 버전을 고정하고 보안 권고를 지켜보십시오. 이들은 보안 도구가 아니므로 아래 비교에서는 뺐습니다.
도구 15개 비교
저희 평점 순입니다. 각 리뷰에서 출처, 가격, 전체 평가를 확인할 수 있습니다.
| 도구 | 평점 | 저희 평가 | 추천 대상 | 가격 |
|---|---|---|---|---|
| promptfoo저장소 | 4.5/5 | promptfoo는 LLM 회귀 테스트와 레드팀 스캔을 YAML 파일 하나와 CI 명령 하나로 바꿉니다. 지켜볼 부분은 새 소유자입니다. | CI에서 회귀 테스트와 보안 스캔을 원하는, LLM 앱을 출시하는 팀. | CLI는 무료 오픈소스(MIT)이며, Community 사용에는 월 10,000회 프로브까지의 레드팀이 포함됩니다. Enterprise(관리형 클라우드)와 On-Premise는 견적 문의입니다. |
| Inspect저장소 | 4.4/5 | Inspect는 정부와 독립 기관의 AI 안전성 테스트가 함께 쓰는 하네스입니다. CI에서 프롬프트를 점검하려는 제품팀에게는 필요 이상으로 큰 프레임워크입니다. | 에이전트와 역량 평가를 수행하는 연구자와 안전팀. | MIT 라이선스의 무료 오픈소스입니다. |
| Anthropic Sandbox Runtime (srt)저장소 | 4.4/5 | 코딩 에이전트는 무엇이든 하도록 설득당할 수 있지만 운영체제는 그렇지 않으며, srt는 운영체제에게 결정권을 줍니다. | 자기 기기에서 코딩 에이전트를 돌리는 모든 개발자의 첫 번째 보호 계층. | Apache 2.0의 무료 오픈소스입니다. |
| Trail of Bits Skills저장소 | 4.4/5 | 범용 "OWASP 문제를 확인해" 프롬프트는 추측입니다. 이것은 현역 감사 회사가 실제로 버그를 찾는 방법을 에이전트를 위해 글로 적은 것입니다. | 위험한 병합 전에 코딩 에이전트로부터 체계적이고 신뢰할 만한 보안 검토를 원하는 팀. | CC BY-SA 4.0으로 무료입니다. |
| garak저장소 | 4.3/5 | 모델 수준의 약점을 찾는 표준 오픈 스캐너입니다. 출시 전과 모델을 바꿀 때마다 돌려야 하지만, 에이전트의 도구와 권한을 테스트하는 도구로 오해해서는 안 됩니다. | 출시 전과 모델을 바꿀 때마다 LLM 엔드포인트에 반복 가능한 모델 수준 취약점 스캔을 하고 싶은 팀. | Apache 2.0 무료 오픈소스입니다. 스캔이 일으키는 모델 호출 비용만 냅니다. |
| PyRIT저장소 | 4.2/5 | PyRIT는 챗봇을 무너뜨리는 느리고 점점 수위를 높이는 대화를 자동화합니다. 단, 팀의 누군가가 이를 구동하는 Python을 써야 합니다. | 다중 턴 수위 상승과 웹 프런트엔드를 포함해 챗봇과 에이전트를 깊이 레드팀해야 하는 보안 엔지니어. | MIT의 무료 오픈소스입니다. 공격과 LLM 기반 채점기가 쓰는 모델 호출 비용을 냅니다. |
| security-guidance plugin (Claude Code)저장소 | 4.2/5 | Claude Code 사용자에게는 명령 하나로 얻는 보안상의 이득이며, 검토자가 자기 숙제를 스스로 채점하지 않습니다. | 아무 설정 없이 모든 변경에 보안 검토를 원하는 Claude Code 사용자. | Apache 2.0의 무료 플러그인입니다. 모델 기반 검토 두 가지는 사용자의 Claude나 API 사용량을 씁니다. |
| NVIDIA OpenShell저장소 | 4.1/5 | 옆에서 지켜보는 에이전트가 아니라 무인으로 돌려 두는 에이전트를 위해 만든 무거운 에이전트 샌드박스입니다. | 에이전트를 무인으로 돌리거나 신뢰할 수 없는 코드에 돌리며 호스트별, 메서드별 네트워크 규칙이 필요한 팀. | Apache 2.0의 무료 오픈소스입니다. |
| ToolHive저장소 | 4.1/5 | 스캐너는 MCP 서버가 위험해 보이는지 알려 주고, ToolHive는 그것이 위험할 때 할 수 있는 일을 제한합니다. | 회사 전체에서 MCP 서버를 운영하고, 가두고, 감사해야 하는 플랫폼팀과 보안팀. | Apache 2.0 오픈소스이며, Stacklok Enterprise가 기능과 지원을 더하고 가격은 문의입니다. |
| OpenSandbox저장소 | 4.1/5 | 호스팅 코드 샌드박스에 대한 자체 호스팅 대안입니다. 자기 기기에서 수명이 짧은 에이전트 환경이 수천 개 필요하다면 Kubernetes 작업을 들일 가치가 있습니다. | 에이전트 평가, RL 롤아웃, 다중 테넌트 코드 실행을 운영하며 자체 인프라의 샌드박스를 원하는 플랫폼팀. | Apache 2.0의 무료 오픈소스이며, 관리자가 제공하는 유료 에디션은 없습니다. |
| CC Safety Net저장소 | 4.0/5 | 샌드박스가 일부러 허용하는 피해, 즉 자기 프로젝트 안에서의 force-push, hard reset, rm -rf를 막는 안전벨트입니다. | 코딩 에이전트가 셸 명령을 하나하나 승인받지 않고 실행하게 두는 모든 사람. | MIT 무료 오픈소스입니다. |
| DeepTeam저장소 | 3.9/5 | 오픈 레드팀 라이브러리 중 에이전트와 애플리케이션 취약점 목록이 가장 넓지만, 모든 판정은 사용자가 직접 확인해야 하는 LLM 심판에 기댑니다. | 로컬에서 실행할 수 있는 OWASP 기준 레드팀 테스트를 원하는, 에이전트를 만드는 Python 팀. | Apache 2.0의 무료 오픈소스입니다. Confident AI 플랫폼은 무료 등급부터 월 $200, 월 $2,000까지 있으며, 레드팀 모듈은 별도 견적의 Enterprise 추가 기능입니다. |
| Cloudflare Security Audit Skill저장소 | 3.9/5 | 다른 에이전트가 무너뜨리지 못할 때까지 자신의 발견 사항이 틀렸다고 가정하는, 보기 드문 AI 감사 도구입니다. | 코드베이스를 감사하면서 긴 추정 목록보다 검증된 발견 사항을 원하는 보안팀. | MIT 라이선스로 무료입니다. 감사에는 모델 토큰이 많이 듭니다. |
| Snyk Agent Scan저장소 | 3.8/5 | 에이전트가 신뢰하는 MCP 서버와 스킬에 대한 합리적인 첫 점검입니다. 단, 그 설명을 Snyk으로 보내는 것을 받아들이고 신뢰할 수 없는 설정은 샌드박스에서 스캔해야 합니다. | 개발자나 에이전트가 MCP 서버와 스킬을 설치하게 두면서, 신뢰하기 전에 공급망 점검을 원하는 팀. | Apache 2.0의 무료 오픈소스이며 Snyk 계정과 API 토큰이 필요합니다. 플릿 전체의 백그라운드 스캔은 Snyk Evo로 보고되며 가격은 문의입니다. |
| Cisco Skill Scanner저장소 | 3.7/5 | 스킬 저장소 앞에 둘 만합니다. 다만 자체 수치를 믿는다면, 이것은 모든 것이 아니라 뻔한 것을 잡습니다. | 사내 스킬 저장소를 운영하며, 개발자에게 닿기 전에 검사 관문을 두려는 팀. | Apache 2.0으로 무료입니다. 선택적 LLM 및 클라우드 분석기는 각 제공업체를 통해 청구됩니다. |
사양 비교
이 단계에서 중요한 사양입니다. 2026년 10월 19일에 확인했습니다. 도입 전에 공급업체 사이트에서 확인하세요.
| 도구 | 초점 | 공격 생성 | 인터페이스 | CI 적합성 | 라이선스 |
|---|---|---|---|---|---|
| promptfoo | 앱 레드팀과 회귀 테스트 | 생성된 인젝션, 탈옥, 유출 | CLI + YAML | CI용으로 만들어짐 | MIT |
| Inspect | 에이전트와 안전성 평가 | 작업을 직접 작성, 평가 모음 | Python | 공개되지 않음 | MIT |
| garak | 모델 및 엔드포인트 취약점 스캔 | 공개된 프로브 라이브러리 | CLI | 스크립트 가능, JSONL 보고서 | Apache 2.0 |
| PyRIT | 다중 턴 레드팀 | Crescendo, TAP, Skeleton Key | Python, CLI, 웹 UI | pyrit_scan으로 스크립트 가능 | MIT |
| DeepTeam | 에이전트와 앱 취약점 | 20개 이상 방법, LLM 생성 | Python | 문서화되지 않음 | Apache 2.0 |
| Snyk Agent Scan | MCP 서버와 스킬 공급망 | 없음, 도구 설명을 스캔 | CLI(uvx 또는 바이너리) | 출력은 아직 실험 단계 | Apache 2.0 |
에이전트에 연결하기
Claude, ChatGPT, Cursor 같은 어시스턴트가 이 도구를 직접 쓸 수 있게 해 주는 MCP 서버입니다.
이 단계가 쓰이는 곳
- 문서와 대화하기: promptfoo부터 시작하겠습니다.
- 고객 지원 에이전트: promptfoo부터 시작하겠습니다.
- 코딩 에이전트: Snyk MCP Server (Snyk Studio), promptfoo부터 시작하겠습니다.
- 장기 메모리를 갖춘 어시스턴트: promptfoo부터 시작하겠습니다.
- 음성 에이전트: promptfoo부터 시작하겠습니다.
- 문서 처리: Snyk MCP Server (Snyk Studio)부터 시작하겠습니다.
- 직접 파인튜닝한 모델: promptfoo부터 시작하겠습니다.