¿Qué es AgentDojo?
AgentDojo mide dos cosas a la vez: si un agente LLM puede terminar trabajos corrientes con herramientas y si un texto colocado en los datos de esas herramientas puede secuestrarlo. Las suites por defecto simulan un espacio de trabajo (correo, calendario, almacenamiento en la nube), Slack, reservas de viajes y banca online. Cada tarea de usuario, como pagar una factura, puede emparejarse con una tarea de inyección, como enviar dinero a un atacante, y el benchmark informa de la utilidad, la utilidad bajo ataque y la tasa de éxito del ataque.
Viene del SPY Lab de ETH Zurich e Invariant Labs, se publicó en el track de Datasets and Benchmarks de NeurIPS 2024 y es Python con licencia MIT y unas 1.000 estrellas en GitHub. El artículo cuenta 97 tareas y 629 casos de prueba de seguridad. La versión 0.1.35 (octubre de 2025) añadió el conjunto de tareas v1.2.2; el último commit, de junio de 2026, añadió un proveedor para cualquier endpoint compatible con OpenAI. Los clientes de modelos integrados cubren OpenAI, Anthropic, Google, Cohere y servidores locales, e incluye cuatro defensas: un filtro de herramientas, un detector de inyecciones basado en transformers, spotlighting con delimitadores y la repetición del prompt del usuario.
¿Merece la pena AgentDojo?
La prompt injection es el ataque que más importa en agentes con herramientas, y AgentDojo es el benchmark que la mayoría de artículos y laboratorios usan para ponerle una cifra. Su valor está en el emparejamiento: cada ataque se puntúa frente a una tarea real, así que una defensa que bloquea inyecciones a costa de inutilizar al agente aparece como una caída de utilidad, no como una victoria. Según la documentación del proyecto, los AI Safety Institutes de Estados Unidos y Reino Unido lo usaron para mostrar que Claude 3.5 Sonnet podía ser secuestrado, el tipo de adopción que convierte un benchmark en un lenguaje común.
Los entornos se simulan en Python a partir de datos YAML, así que no se envía ningún correo real ni se mueve dinero real. Eso hace que las ejecuciones sean seguras y repetibles, y facilita ampliarlo: la documentación explica cómo escribir una nueva suite de tareas, un nuevo ataque o un nuevo pipeline, y los ataques se registran por nombre. pypistats cuenta unas 46.700 descargas del paquete en el último mes, una cifra que incluye CI.
La pega: el código avanza despacio y la tabla de resultados se ha estancado. No hay versión nueva desde la 0.1.35 de octubre de 2025, el README sigue avisando de que la API puede cambiar y la fila más reciente de la página de resultados es Claude 3.7 Sonnet, de febrero de 2025. Los autores dicen claramente que la tabla no es una clasificación, porque no todos los modelos se probaron contra todos los ataques. Hay unas 61 pull requests abiertas, muchas de ellas defensas de terceros que afirman un éxito de ataque casi nulo, y nadie se ha pronunciado sobre ellas. Un conjunto fijo y público de 629 casos también invita a ajustarse al examen.
Nuestra opinión: AgentDojo funciona como test de regresión, no como certificado. Una tasa de ataque baja aquí significa que tu defensa resiste trucos conocidos; dice poco de un atacante que ha leído el mismo artículo.
Dónde se gana su sitio
Un investigador que propone una nueva defensa contra prompt injection
Demostrar que la defensa reduce el éxito de los ataques sin romper el agente
Implementarla como elemento del pipeline, ejecutar el benchmark en todas las suites con el ataque important_instructions e informar de utilidad, utilidad bajo ataque y éxito del ataque junto a las defensas integradas. El coste es la factura de la API del modelo.
Un responsable de seguridad de IA en una empresa que crea un asistente de correo o de banca
Comparar modelos candidatos según lo fácil que es secuestrarlos con texto colocado
Ejecutar las suites workspace y banking con cada modelo a través de su cliente o de un endpoint compatible con OpenAI y leer las trazas de los fallos. Nada toca cuentas reales porque las herramientas son simuladas.
Un ingeniero de red team
Probar una nueva técnica de inyección contra defensas conocidas
Registrar una nueva clase de ataque, ejecutarla contra las cuatro defensas incluidas y varios modelos, y comparar la tasa de éxito con los ataques de referencia.
Antes de decidirte
- Puesta en marcha
- `pip install agentdojo` (Python 3.10 o posterior), o `agentdojo[transformers]` para el detector de inyecciones; define una clave de API del proveedor y ejecuta `python -m agentdojo.scripts.benchmark` con una suite, un modelo, un ataque y una defensa.
- Integraciones
- Clientes de modelos para OpenAI, Anthropic, Google, Cohere, servidores locales y cualquier endpoint compatible con OpenAI; las trazas se pueden explorar en Invariant Explorer.
- Datos y privacidad
- Se ejecuta en local contra entornos simulados; los prompts y las salidas de las herramientas van al proveedor de modelos que configures. Licencia MIT.
- Coste a escala
- Software gratuito; una ejecución completa con todas las suites, ataques y defensas supone miles de llamadas al modelo, así que la factura de la API es el coste real. El coste por ejecución no está publicado.
- Límites
- API marcada como aún en desarrollo; solo cuatro dominios de tareas; la tabla de resultados está incompleta entre modelos, ataques y defensas y no tiene filas posteriores a febrero de 2025.
Lo bueno
- Puntúa utilidad y éxito del ataque juntos, así que las defensas inútiles no pueden esconderse
- Las herramientas simuladas hacen las ejecuciones seguras y repetibles
- Puntos de extensión claros para nuevas suites, ataques y defensas
- Muy citado, también por institutos públicos de seguridad de IA
Lo malo
- Sin versión nueva desde octubre de 2025; la API sigue marcada como inestable
- La página de resultados no tiene entradas posteriores a febrero de 2025
- Un conjunto de prueba fijo y público se puede sobreajustar
- Gran acumulación de pull requests sin revisar
Ideal para
Investigadores de seguridad y equipos de agentes que necesitan una cifra reconocida y reproducible de cómo resiste un modelo o una defensa la prompt injection indirecta.
Alternativas a AgentDojo
AgentDojo: preguntas frecuentes
- ¿Merece la pena AgentDojo?
- AgentDojo es la vara de medir común para la prompt injection en agentes con herramientas, y conviene ejecutarlo antes de lanzar una defensa aunque sus resultados públicos se hayan quedado anticuados. Le damos un 4.1 sobre 5.
- ¿Cuánto cuesta AgentDojo?
- Gratuito y de código abierto (MIT); pagas las llamadas a la API del modelo que haga cada ejecución.
- ¿Qué inconvenientes tiene AgentDojo?
- Sin versión nueva desde octubre de 2025; la API sigue marcada como inestable; la página de resultados no tiene entradas posteriores a febrero de 2025; un conjunto de prueba fijo y público se puede sobreajustar; gran acumulación de pull requests sin revisar.
- ¿Para quién es AgentDojo?
- Investigadores de seguridad y equipos de agentes que necesitan una cifra reconocida y reproducible de cómo resiste un modelo o una defensa la prompt injection indirecta.
- ¿Cuánto cuesta AgentDojo para un equipo o en producción?
- Software gratuito; una ejecución completa con todas las suites, ataques y defensas supone miles de llamadas al modelo, así que la factura de la API es el coste real. El coste por ejecución no está publicado.
- ¿Es AgentDojo seguro para los datos de la empresa?
- Se ejecuta en local contra entornos simulados; los prompts y las salidas de las herramientas van al proveedor de modelos que configures. Licencia MIT.
- ¿Cuáles son las mejores alternativas a AgentDojo?
- Las alternativas más cercanas que hemos analizado son CyberSecEval, garak y Inspect.
Respuestas comprobadas el 13 nov 2026.
¿Desarrollas AgentDojo? Muestra esta nota en tu web
