DeepTeam의 개요
DeepTeam은 DeepEval을 만든 회사인 Confident AI의 오픈소스 Python 프레임워크로, LLM 시스템의 레드팀 테스트에 쓰입니다. 탈옥, 프롬프트 인젝션, 인코딩 난독화, 멀티턴 공격 같은 공격을 시뮬레이션한 뒤, LLM-as-judge 지표로 각 테스트에 근거와 함께 통과 또는 실패 판정을 내립니다.
README에는 50개 이상의 취약점과 20개 이상의 공격 방법이 나와 있습니다. PII 유출, 프롬프트 유출, 편향, 유해성 외에도 함수 및 객체 수준 권한 검증 실패, SQL 및 셸 인젝션, 서버 측 요청 위조 같은 애플리케이션 보안 항목과, 과도한 권한, 검색된 콘텐츠 속 간접 지시, 도구 메타데이터 오염, 에이전트 간 스푸핑 같은 에이전트 전용 항목을 다룹니다. 프리셋은 OWASP Top 10 for LLMs 2025, OWASP Top 10 for Agents 2026, NIST AI RMF, MITRE ATLAS, BeaverTails, Aegis를 해당 테스트에 연결하며, 런타임 가드레일 7개도 함께 제공합니다.
Python이나 YAML 기반 CLI로 로컬에서 실행되며 Apache 2.0 라이선스입니다. 버전 1.0.10은 2026년 10월 16일 PyPI에 게시되었지만, GitHub 릴리스 페이지는 v1.0.9에서 멈춰 있습니다. Confident AI의 호스팅 플랫폼은 저장과 리포팅을 판매하며, 레드팀 기능은 Enterprise 추가 기능입니다.
DeepTeam, 쓸 만한 가치가 있습니까?
DeepTeam의 강점은 모델이 도구를 갖게 된 뒤에 중요해지는 위험을 폭넓게 다룬다는 점입니다. 취약점 목록은 애플리케이션 보안 체크리스트를 에이전트용으로 옮긴 것처럼 읽힙니다. 권한 우회, SQL 및 셸 인젝션, SSRF, 도구 메타데이터 오염, 검색된 문서 속에 숨긴 지시가 들어 있습니다. 2026년 OWASP 에이전트 목록을 포함한 6개 프레임워크 프리셋 덕분에, 보안 검토에서 무엇을 테스트했는지 물을 때 팀은 호출 한 번으로 방어 가능한 기준선을 갖출 수 있습니다.
약점은 심판입니다. 한 LLM이 공격을 만들고 다른 LLM이 통과 여부를 정하므로, 결과는 심판 모델에 따라 달라집니다. 실행할 때마다 OpenAI 키나 설정한 모델의 토큰이 들고, 오탐과 누락이 모두 생길 수 있습니다. garak의 규칙 기반 탐지기와 PyRIT의 채점기 옵션은 이 단계를 더 세밀하게 통제할 수 있게 해 줍니다.
기본값 두 가지는 주의할 만합니다. DEEPTEAM_TELEMETRY_OPT_OUT=YES(그리고 기반 라이브러리용 DEEPEVAL_TELEMETRY_OPT_OUT=YES)를 설정하지 않으면 텔레메트리가 켜져 있습니다. 코드는 Sentry와 PostHog를 초기화하고 ipify로 공인 IP 주소를 조회합니다. 데이터 개인정보 페이지는 실행한 취약점 이름과 사용 횟수만 보내며 프롬프트는 보내지 않는다고 밝힙니다. 둘째, GitHub 릴리스 페이지는 2025년 11월에 마지막으로 갱신되었고 PyPI는 1.0.10까지 나아갔으므로 변경 기록이 빈약합니다.
사업 모델도 드러나 있습니다. 무료 라이브러리는 결과 저장을 위해 Confident AI로 사용자를 이끌며, 가격 페이지에서 레드팀은 $200 Starter나 $2,000 Team 요금제에 없고 별도 견적의 "Enterprise ++" 모듈입니다. 그 계약 없이 예약 평가와 공유 리포트를 원하는 팀은 JSON을 대시보드로 옮기는 배관을 직접 만들게 됩니다. promptfoo는 이것을 오픈소스 CLI에서 무료로 제공합니다.
제 역할을 하는 곳
환불과 계정 도구를 갖춘 상담 에이전트를 출시하는 핀테크의 보안 엔지니어
출시 전에 에이전트가 OWASP 기준으로 테스트되었음을 감사팀에 보여 주기
에이전트를 비동기 model_callback으로 감싸고 OWASP_ASI_2026 프레임워크로 red_team을 실행한 뒤, 위험 평가를 JSON으로 내보내 검토에 제출합니다. 실행마다 심판 모델 토큰 예산을 잡고, 실패 항목은 사람이 하나씩 확인합니다.
RAG 챗봇에 야간 점검을 돌리는 ML 플랫폼팀
프롬프트 변경 후 프롬프트 인젝션과 PII 유출 저항력의 회귀를 잡아내기
선택한 취약점과 공격을 담은 YAML 설정을 두고 CI에서 CLI를 실행합니다. 러너에 텔레메트리 옵트아웃 변수 두 개를 설정하고, 심판 모델을 고정해 밤마다 통과율을 비교할 수 있게 합니다.
레드팀 옵션을 비교하는 직원 500명 규모 보험사의 CISO
오픈소스 도구와 관리형 레드팀 서비스 중 하나 고르기
DeepTeam 자체는 무료지만, Confident AI는 호스팅 레드팀을 별도 견적의 Enterprise 추가 기능으로만 판매합니다. 이 비용을 라이브러리를 운영하고 LLM 심판의 결과를 직접 분류하는 인력 시간과 비교합니다.
도입 전 확인할 점
- 설정
- Python 3.9~3.13에서 pip install -U deepteam을 실행하고, OPENAI_API_KEY를 설정하거나 다른 심판 모델을 구성한 뒤 model_callback을 작성합니다. 첫 단일 취약점 실행은 몇 분이면 됩니다.
- 연동
- DeepEval 기반. DeepEval이 지원하는 모든 모델을 공격자와 심판으로 사용. YAML 설정을 쓰는 CLI. 문서에 코드 스캐닝 GitHub 봇. 결과는 Confident AI로 전송됩니다.
- 데이터와 개인정보
- 프롬프트는 설정한 공격자 및 심판 모델로 전송됩니다. 공인 IP 조회를 포함한 Sentry와 PostHog 텔레메트리가 기본으로 켜져 있으며, DEEPTEAM_TELEMETRY_OPT_OUT=YES와 DEEPEVAL_TELEMETRY_OPT_OUT=YES로 끌 수 있습니다. 공개된 GitHub 보안 권고는 없습니다.
- 대규모 사용 시 비용
- 라이브러리는 무료입니다. 실행마다 취약점 x 공격 x 턴 수에 비례하는 공격자와 심판 토큰 비용이 듭니다. Confident AI: Free(좌석 2개, 주당 테스트 실행 5회), Starter 월 $200, SOC 2와 SSO를 포함한 Team 월 $2,000. 레드팀은 Enterprise 추가 기능입니다.
- 제한
- 열린 이슈와 풀 리퀘스트 80개. 모델 간 심판 편차. 멀티턴 공격은 토큰 지출을 배로 늘림. GitHub 릴리스는 2025년 11월의 v1.0.9에서 멈춰 있습니다.
좋은 점
- 에이전트와 앱 보안 취약점을 폭넓게 다룸
- OWASP, NIST, MITRE ATLAS 프리셋
- Python API와 YAML 기반 CLI, 둘 다 로컬 실행
- Apache 2.0, 잦은 PyPI 릴리스
아쉬운 점
- 통과/실패가 LLM 심판에 좌우됨
- 공인 IP 조회를 포함한 텔레메트리가 기본으로 켜져 있음
- 호스팅 레드팀 모듈은 Enterprise 전용
- GitHub 릴리스 노트가 PyPI보다 1년 뒤처짐
추천 대상
로컬에서 실행할 수 있는 OWASP 기준 레드팀 테스트를 원하는, 에이전트를 만드는 Python 팀.
DeepTeam 대안
DeepTeam: 자주 묻는 질문
- DeepTeam, 쓸 만한 가치가 있습니까?
- 오픈 레드팀 라이브러리 중 에이전트와 애플리케이션 취약점 목록이 가장 넓지만, 모든 판정은 사용자가 직접 확인해야 하는 LLM 심판에 기댑니다. 평점은 5점 만점에 3.9점입니다.
- DeepTeam의 가격은 얼마입니까?
- Apache 2.0의 무료 오픈소스입니다. Confident AI 플랫폼은 무료 등급부터 월 $200, 월 $2,000까지 있으며, 레드팀 모듈은 별도 견적의 Enterprise 추가 기능입니다.
- DeepTeam의 단점은 무엇입니까?
- 통과/실패가 LLM 심판에 좌우됨; 공인 IP 조회를 포함한 텔레메트리가 기본으로 켜져 있음; 호스팅 레드팀 모듈은 Enterprise 전용; GitHub 릴리스 노트가 PyPI보다 1년 뒤처짐.
- DeepTeam에 적합한 사람은 누구입니까?
- 로컬에서 실행할 수 있는 OWASP 기준 레드팀 테스트를 원하는, 에이전트를 만드는 Python 팀.
- 팀이나 프로덕션 환경에서 DeepTeam의 비용은 얼마입니까?
- 라이브러리는 무료입니다. 실행마다 취약점 x 공격 x 턴 수에 비례하는 공격자와 심판 토큰 비용이 듭니다. Confident AI: Free(좌석 2개, 주당 테스트 실행 5회), Starter 월 $200, SOC 2와 SSO를 포함한 Team 월 $2,000. 레드팀은 Enterprise 추가 기능입니다.
- DeepTeam에 회사 데이터를 맡겨도 안전합니까?
- 프롬프트는 설정한 공격자 및 심판 모델로 전송됩니다. 공인 IP 조회를 포함한 Sentry와 PostHog 텔레메트리가 기본으로 켜져 있으며, DEEPTEAM_TELEMETRY_OPT_OUT=YES와 DEEPEVAL_TELEMETRY_OPT_OUT=YES로 끌 수 있습니다. 공개된 GitHub 보안 권고는 없습니다.
- DeepTeam의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 promptfoo, PyRIT 및 garak입니다.
답변 확인일: 2026년 10월 23일.