O que é AgentDojo?
O AgentDojo mede duas coisas ao mesmo tempo: se um agente LLM consegue concluir tarefas comuns com ferramentas e se um texto plantado nos dados dessas ferramentas consegue sequestrá-lo. As suítes padrão simulam um ambiente de trabalho (e-mail, agenda, armazenamento em nuvem), Slack, reservas de viagem e internet banking. Cada tarefa de usuário, como pagar uma conta, pode ser combinada com uma tarefa de injeção, como enviar dinheiro a um atacante, e o benchmark informa a utilidade, a utilidade sob ataque e a taxa de sucesso do ataque.
Ele vem do SPY Lab da ETH Zurich e da Invariant Labs, foi publicado na trilha Datasets and Benchmarks do NeurIPS 2024 e é Python com licença MIT, com cerca de 1.000 estrelas no GitHub. O artigo conta 97 tarefas e 629 casos de teste de segurança. A versão 0.1.35 (outubro de 2025) adicionou o conjunto de tarefas v1.2.2; o último commit, em junho de 2026, adicionou um provedor para qualquer endpoint compatível com OpenAI. Os clientes de modelo embutidos cobrem OpenAI, Anthropic, Google, Cohere e servidores locais, e quatro defesas vêm incluídas: um filtro de ferramentas, um detector de injeção baseado em transformers, spotlighting com delimitadores e a repetição do prompt do usuário.
AgentDojo vale a pena?
Prompt injection é o ataque que mais importa para agentes com ferramentas, e o AgentDojo é o benchmark que a maioria dos artigos e laboratórios usa para medi-lo. Seu valor está no pareamento: cada ataque é pontuado contra uma tarefa real, então uma defesa que bloqueia injeções deixando o agente inútil aparece como queda de utilidade, e não como vitória. Segundo a documentação do projeto, os AI Safety Institutes dos Estados Unidos e do Reino Unido o usaram para mostrar que o Claude 3.5 Sonnet podia ser sequestrado, o tipo de adoção que transforma um benchmark em linguagem comum.
Os ambientes são simulados em Python a partir de dados YAML, então nenhum e-mail real é enviado e nenhum dinheiro real circula. Isso torna as execuções seguras e repetíveis e facilita a extensão: a documentação explica como escrever uma nova suíte de tarefas, um novo ataque ou um novo pipeline, e os ataques são registrados por nome. O pypistats conta cerca de 46.700 downloads do pacote no último mês, número que inclui CI.
O porém: o código anda devagar e o placar parou. Não há versão nova desde a 0.1.35, de outubro de 2025, o README ainda avisa que a API pode mudar, e a linha mais recente da página de resultados é o Claude 3.7 Sonnet, de fevereiro de 2025. Os autores dizem claramente que a tabela não é um ranking, porque nem todo modelo foi testado contra todo ataque. Cerca de 61 pull requests seguem abertos, muitos deles defesas de terceiros que alegam sucesso de ataque quase zero, sem que ninguém tenha decidido sobre eles. Um conjunto fixo e público de 629 casos também convida a otimizar para o teste.
Nossa opinião: o AgentDojo serve como teste de regressão, não como certificado. Uma taxa de ataque baixa aqui significa que sua defesa resiste a truques conhecidos; diz pouco sobre um atacante que leu o mesmo artigo.
Onde ele se destaca
Uma pesquisadora que propõe uma nova defesa contra prompt injection
Mostrar que a defesa reduz o sucesso dos ataques sem quebrar o agente
Implementá-la como elemento do pipeline, rodar o benchmark em todas as suítes com o ataque important_instructions e relatar utilidade, utilidade sob ataque e sucesso do ataque ao lado das defesas embutidas. O custo é a conta da API do modelo.
Um líder de segurança de IA em uma empresa que cria um assistente de e-mail ou bancário
Comparar modelos candidatos pela facilidade com que um texto plantado os sequestra
Rodar as suítes workspace e banking com cada modelo pelo cliente do provedor ou por um endpoint compatível com OpenAI e ler os traces das falhas. Nenhuma conta real é tocada, porque as ferramentas são simuladas.
Um engenheiro de red team
Testar uma nova técnica de injeção contra defesas conhecidas
Registrar uma nova classe de ataque, rodá-la contra as quatro defesas incluídas e alguns modelos e comparar a taxa de sucesso com a dos ataques de referência.
Antes de decidir
- Configuração
- `pip install agentdojo` (Python 3.10 ou posterior), ou `agentdojo[transformers]` para o detector de injeção; defina uma chave de API do provedor e rode `python -m agentdojo.scripts.benchmark` com uma suíte, um modelo, um ataque e uma defesa.
- Integrações
- Clientes de modelo para OpenAI, Anthropic, Google, Cohere, servidores locais e qualquer endpoint compatível com OpenAI; os traces podem ser explorados no Invariant Explorer.
- Dados e privacidade
- Roda localmente contra ambientes simulados; prompts e saídas das ferramentas vão para o provedor de modelos que você configurar. Licença MIT.
- Custo em escala
- Software gratuito; uma execução completa em todas as suítes, ataques e defesas significa milhares de chamadas ao modelo, então a conta da API é o custo real. O custo por execução não é publicado.
- Limites
- API marcada como ainda em desenvolvimento; apenas quatro domínios de tarefas; a tabela de resultados é incompleta entre modelos, ataques e defesas e não tem linhas depois de fevereiro de 2025.
O que é bom
- Pontua utilidade e sucesso do ataque juntos, então defesas inúteis não se escondem
- Ferramentas simuladas tornam as execuções seguras e repetíveis
- Pontos de extensão claros para novas suítes, ataques e defesas
- Muito citado, inclusive por institutos governamentais de segurança de IA
O que não é
- Nenhuma versão desde outubro de 2025; API ainda marcada como instável
- Página de resultados sem entradas depois de fevereiro de 2025
- Conjunto de teste fixo e público pode sofrer overfitting
- Grande fila de pull requests sem revisão
Ideal para
Pesquisadores de segurança e equipes de agentes que precisam de um número reconhecido e reproduzível de quanto um modelo ou uma defesa resiste a prompt injection indireta.
Alternativas ao AgentDojo
AgentDojo: perguntas frequentes
- AgentDojo vale a pena?
- O AgentDojo é a régua comum para prompt injection em agentes com ferramentas e vale rodar antes de lançar uma defesa, mesmo com os resultados públicos desatualizados. Damos nota 4.1 de 5.
- Quanto custa AgentDojo?
- Gratuito e open source (MIT); você paga pelas chamadas de API do modelo que cada execução faz.
- Quais são as desvantagens de AgentDojo?
- Nenhuma versão desde outubro de 2025; API ainda marcada como instável; página de resultados sem entradas depois de fevereiro de 2025; conjunto de teste fixo e público pode sofrer overfitting; grande fila de pull requests sem revisão.
- Para quem AgentDojo é indicado?
- Pesquisadores de segurança e equipes de agentes que precisam de um número reconhecido e reproduzível de quanto um modelo ou uma defesa resiste a prompt injection indireta.
- Quanto custa AgentDojo para uma equipe ou em produção?
- Software gratuito; uma execução completa em todas as suítes, ataques e defesas significa milhares de chamadas ao modelo, então a conta da API é o custo real. O custo por execução não é publicado.
- AgentDojo é seguro para dados da empresa?
- Roda localmente contra ambientes simulados; prompts e saídas das ferramentas vão para o provedor de modelos que você configurar. Licença MIT.
- Quais são as melhores alternativas ao AgentDojo?
- As alternativas mais próximas que analisamos são CyberSecEval, garak e Inspect.
Respostas verificadas em 13 de nov. de 2026.
Você faz o AgentDojo? Mostre esta nota no seu site
