AgentDojo의 개요
AgentDojo는 두 가지를 동시에 측정합니다. LLM 에이전트가 도구로 평범한 작업을 끝낼 수 있는지, 그리고 그 도구의 데이터에 심어 둔 텍스트가 에이전트를 탈취할 수 있는지입니다. 기본 스위트는 업무 공간(이메일, 캘린더, 클라우드 드라이브), Slack, 여행 예약, 온라인 뱅킹을 시뮬레이션합니다. 청구서 납부 같은 사용자 작업은 공격자에게 송금하기 같은 인젝션 작업과 짝지을 수 있으며, 벤치마크는 유용성, 공격 중 유용성, 공격 성공률을 보고합니다.
ETH Zurich의 SPY Lab과 Invariant Labs가 만들었고 NeurIPS 2024 Datasets and Benchmarks 트랙에 발표되었습니다. MIT 라이선스의 Python 프로젝트이며 GitHub 스타는 약 1,000개입니다. 논문은 97개 작업과 629개 보안 테스트 사례를 제시합니다. 0.1.35 릴리스(2025년 10월)에서 v1.2.2 작업 세트가 추가되었고, 2026년 6월의 마지막 커밋은 모든 OpenAI 호환 엔드포인트용 프로바이더를 추가했습니다. 내장 모델 클라이언트는 OpenAI, Anthropic, Google, Cohere, 로컬 서버를 지원하며, 도구 필터, transformers 기반 인젝션 탐지기, 구분자를 쓰는 spotlighting, 사용자 프롬프트 반복이라는 네 가지 방어가 함께 제공됩니다.
AgentDojo, 쓸 만한 가치가 있습니까?
프롬프트 인젝션은 도구를 가진 에이전트에게 가장 중요한 공격이며, AgentDojo는 대부분의 논문과 연구소가 이를 수치로 나타낼 때 쓰는 벤치마크입니다. 가치는 짝짓기에 있습니다. 모든 공격이 실제 작업을 기준으로 채점되므로, 에이전트를 쓸모없게 만들어 인젝션을 막는 방어는 승리가 아니라 유용성 하락으로 드러납니다. 프로젝트 문서에 따르면 미국과 영국의 AI Safety Institute는 이를 사용해 Claude 3.5 Sonnet이 탈취될 수 있음을 보였습니다. 이런 채택이 벤치마크를 공통 언어로 만듭니다.
환경은 YAML 데이터를 바탕으로 Python에서 시뮬레이션되므로 실제 이메일이 발송되거나 실제 돈이 오가지 않습니다. 그래서 실행이 안전하고 반복 가능하며 확장도 쉽습니다. 문서는 새 작업 스위트, 새 공격, 새 파이프라인을 작성하는 방법을 설명하고, 공격은 이름으로 등록됩니다. pypistats 집계로 지난 한 달 패키지 다운로드는 약 46,700건이며, 이 수치에는 CI가 포함됩니다.
주의할 점: 코드는 느리게 움직이고 결과표는 멈춰 있습니다. 2025년 10월의 0.1.35 이후 릴리스가 없고, README는 여전히 API가 바뀔 수 있다고 경고하며, 결과 페이지의 가장 최근 행은 2025년 2월의 Claude 3.7 Sonnet입니다. 모든 모델을 모든 공격에 대해 실행하지 않았기 때문에 저자들은 이 표가 리더보드가 아니라고 분명히 밝힙니다. 약 61개의 풀 리퀘스트가 열려 있으며, 상당수는 공격 성공률이 거의 0이라고 주장하는 제3자 방어인데 아무도 판단을 내리지 않았습니다. 고정된 공개 세트 629개 사례는 시험에 맞춘 조정도 부릅니다.
결론: AgentDojo는 인증서가 아니라 회귀 테스트로 다뤄야 합니다. 여기서 공격 성공률이 낮다는 것은 방어가 알려진 수법을 견딘다는 뜻일 뿐, 같은 논문을 읽은 공격자에 대해서는 거의 말해 주지 않습니다.
제 역할을 하는 곳
새 프롬프트 인젝션 방어를 제안하는 연구자
에이전트를 망가뜨리지 않고 공격 성공률을 낮춘다는 것을 보여 주기
방어를 파이프라인 요소로 구현하고 important_instructions 공격으로 전체 스위트를 실행한 뒤 유용성, 공격 중 유용성, 공격 성공률을 내장 방어와 나란히 보고합니다. 비용은 모델 API 요금입니다.
이메일이나 뱅킹 어시스턴트를 만드는 회사의 AI 보안 책임자
심어 둔 텍스트에 얼마나 쉽게 탈취되는지로 후보 모델 비교하기
각 모델의 클라이언트나 OpenAI 호환 엔드포인트로 workspace와 banking 스위트를 실행하고 실패한 트레이스를 읽습니다. 도구가 시뮬레이션이라 실제 계정은 건드리지 않습니다.
레드팀 엔지니어
새 인젝션 기법을 알려진 방어에 대해 시험하기
새 공격 클래스를 등록해 기본 제공되는 네 가지 방어와 몇몇 모델에 실행하고, 성공률을 기준 공격과 비교합니다.
도입 전 확인할 점
- 설정
- `pip install agentdojo`(Python 3.10 이상), 인젝션 탐지기가 필요하면 `agentdojo[transformers]`. 프로바이더 API 키를 설정하고 스위트, 모델, 공격, 방어를 지정해 `python -m agentdojo.scripts.benchmark`를 실행합니다.
- 연동
- OpenAI, Anthropic, Google, Cohere, 로컬 서버, 모든 OpenAI 호환 엔드포인트용 모델 클라이언트. 트레이 스는 Invariant Explorer에서 볼 수 있습니다.
- 데이터와 개인정보
- 시뮬레이션 환경을 대상으로 로컬에서 실행됩니다. 프롬프트와 도구 출력은 설정한 모델 프로바이더로 전송됩니다. MIT 라이선스.
- 대규모 사용 시 비용
- 소프트웨어는 무료입니다. 모든 스위트, 공격, 방어를 도는 전체 실행은 수천 번의 모델 호출을 뜻하므로 실제 비용은 API 요금입니다. 실행당 비용은 공개되지 않았습니다.
- 제한
- API가 아직 개발 중으로 표시됨. 작업 영역은 네 개뿐. 결과표는 모델, 공격, 방어 조합이 불완전하고 2025년 2월 이후 행이 없습니다.
좋은 점
- 유용성과 공격 성공률을 함께 채점해 쓸모없는 방어가 숨을 수 없음
- 시뮬레이션 도구 덕분에 실행이 안전하고 반복 가능
- 새 스위트, 공격, 방어를 위한 확장 지점이 명확함
- 정부 AI 안전 연구소를 포함해 널리 인용됨
아쉬운 점
- 2025년 10월 이후 릴리스가 없고 API는 여전히 불안정으로 표시됨
- 결과 페이지에 2025년 2월 이후 항목이 없음
- 고정된 공개 테스트 세트는 과적합될 수 있음
- 검토되지 않은 풀 리퀘스트가 많이 쌓여 있음
추천 대상
모델이나 방어가 간접 프롬프트 인젝션을 얼마나 견디는지 인정받는 재현 가능한 수치가 필요한 보안 연구자와 에이전트 팀.
AgentDojo 대안
AgentDojo: 자주 묻는 질문
- AgentDojo, 쓸 만한 가치가 있습니까?
- AgentDojo는 도구를 쓰는 에이전트의 프롬프트 인젝션을 재는 공통 잣대이며, 공개 결과가 낡았어도 방어를 배포하기 전에 돌려 볼 가치가 있습니다. 평점은 5점 만점에 4.1점입니다.
- AgentDojo의 가격은 얼마입니까?
- 무료 오픈 소스(MIT)입니다. 실행 중 발생하는 모델 API 호출 비용은 직접 부담합니다.
- AgentDojo의 단점은 무엇입니까?
- 2025년 10월 이후 릴리스가 없고 API는 여전히 불안정으로 표시됨; 결과 페이지에 2025년 2월 이후 항목이 없음; 고정된 공개 테스트 세트는 과적합될 수 있음; 검토되지 않은 풀 리퀘스트가 많이 쌓여 있음.
- AgentDojo에 적합한 사람은 누구입니까?
- 모델이나 방어가 간접 프롬프트 인젝션을 얼마나 견디는지 인정받는 재현 가능한 수치가 필요한 보안 연구자와 에이전트 팀.
- 팀이나 프로덕션 환경에서 AgentDojo의 비용은 얼마입니까?
- 소프트웨어는 무료입니다. 모든 스위트, 공격, 방어를 도는 전체 실행은 수천 번의 모델 호출을 뜻하므로 실제 비용은 API 요금입니다. 실행당 비용은 공개되지 않았습니다.
- AgentDojo에 회사 데이터를 맡겨도 안전합니까?
- 시뮬레이션 환경을 대상으로 로컬에서 실행됩니다. 프롬프트와 도구 출력은 설정한 모델 프로바이더로 전송됩니다. MIT 라이선스.
- AgentDojo의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 CyberSecEval, garak 및 Inspect입니다.
답변 확인일: 2026년 11월 13일.
AgentDojo 개발사입니까? 이 평점을 사이트에 표시하십시오
