Qu’est-ce que AgentDojo ?
AgentDojo mesure deux choses à la fois : si un agent LLM sait mener à bien des tâches ordinaires avec des outils, et si un texte glissé dans les données de ces outils peut le détourner. Les suites par défaut simulent un espace de travail (e-mail, agenda, stockage en ligne), Slack, la réservation de voyages et la banque en ligne. Chaque tâche utilisateur, comme payer une facture, peut être associée à une tâche d'injection, comme virer de l'argent à un attaquant, et le benchmark rapporte l'utilité, l'utilité sous attaque et le taux de réussite de l'attaque.
Il vient du SPY Lab de l'ETH Zurich et d'Invariant Labs, a été publié dans le track Datasets and Benchmarks de NeurIPS 2024 et se présente comme du Python sous licence MIT, avec environ 1 000 étoiles sur GitHub. L'article compte 97 tâches et 629 cas de test de sécurité. La version 0.1.35 (octobre 2025) a ajouté le jeu de tâches v1.2.2 ; le dernier commit, en juin 2026, a ajouté un fournisseur pour tout endpoint compatible OpenAI. Les clients de modèles intégrés couvrent OpenAI, Anthropic, Google, Cohere et les serveurs locaux, et quatre défenses sont fournies : un filtre d'outils, un détecteur d'injection fondé sur transformers, le spotlighting avec délimiteurs et la répétition du prompt utilisateur.
AgentDojo vaut-il le coup ?
La prompt injection est l'attaque qui compte le plus pour les agents dotés d'outils, et AgentDojo est le benchmark que la plupart des articles et des laboratoires utilisent pour la chiffrer. Sa valeur tient à l'appariement : chaque attaque est notée face à une vraie tâche, si bien qu'une défense qui bloque les injections en rendant l'agent inutile apparaît comme une perte d'utilité, pas comme une victoire. D'après la documentation du projet, les AI Safety Institutes américain et britannique l'ont utilisé pour montrer que Claude 3.5 Sonnet pouvait être détourné, le genre d'adoption qui fait d'un benchmark une langue commune.
Les environnements sont simulés en Python à partir de données YAML : aucun vrai e-mail ne part, aucun argent réel ne circule. Les exécutions sont donc sûres et reproductibles, et l'extension est simple : la documentation explique comment écrire une nouvelle suite de tâches, une nouvelle attaque ou un nouveau pipeline, et les attaques s'enregistrent par leur nom. pypistats compte environ 46 700 téléchargements du paquet le mois dernier, un chiffre qui inclut la CI.
Le hic : le code avance lentement et le tableau des résultats s'est figé. Aucune version depuis la 0.1.35 d'octobre 2025, le README prévient toujours que l'API peut changer, et la ligne la plus récente de la page de résultats est Claude 3.7 Sonnet, de février 2025. Les auteurs disent clairement que le tableau n'est pas un classement, car tous les modèles n'ont pas été testés contre toutes les attaques. Environ 61 pull requests restent ouvertes, dont beaucoup de défenses tierces revendiquant un taux de réussite d'attaque proche de zéro, sans que personne n'ait tranché. Un jeu fixe et public de 629 cas invite aussi à optimiser pour le test.
Notre avis : AgentDojo se traite comme un test de non-régression, pas comme un certificat. Un faible taux d'attaque ici signifie que votre défense résiste aux ruses connues ; il dit peu d'un attaquant qui a lu le même article.
Là où il fait la différence
Une chercheuse qui propose une nouvelle défense contre la prompt injection
Montrer que la défense réduit la réussite des attaques sans casser l'agent
L'implémenter comme élément de pipeline, lancer le benchmark sur toutes les suites avec l'attaque important_instructions et rapporter utilité, utilité sous attaque et réussite des attaques à côté des défenses intégrées. Le coût est la facture d'API du modèle.
Un responsable sécurité IA dans une entreprise qui construit un assistant de messagerie ou bancaire
Comparer des modèles candidats selon la facilité avec laquelle un texte glissé les détourne
Lancer les suites workspace et banking avec chaque modèle via son client ou un endpoint compatible OpenAI, puis lire les traces des échecs. Aucun vrai compte n'est touché puisque les outils sont simulés.
Un ingénieur red team
Tester une nouvelle technique d'injection contre des défenses connues
Enregistrer une nouvelle classe d'attaque, la lancer contre les quatre défenses fournies et quelques modèles, puis comparer le taux de réussite à celui des attaques de référence.
Avant de vous engager
- Mise en route
- `pip install agentdojo` (Python 3.10 ou plus), ou `agentdojo[transformers]` pour le détecteur d'injection ; définissez une clé d'API fournisseur et lancez `python -m agentdojo.scripts.benchmark` avec une suite, un modèle, une attaque et une défense.
- Intégrations
- Clients de modèles pour OpenAI, Anthropic, Google, Cohere, les serveurs locaux et tout endpoint compatible OpenAI ; les traces s'explorent dans Invariant Explorer.
- Données et confidentialité
- S'exécute en local contre des environnements simulés ; prompts et sorties d'outils partent chez le fournisseur de modèles que vous configurez. Licence MIT.
- Coût à grande échelle
- Logiciel gratuit ; une exécution complète sur toutes les suites, attaques et défenses représente des milliers d'appels au modèle, la facture d'API est donc le vrai coût. Le coût par exécution n'est pas publié.
- Limites
- API marquée comme encore en développement ; quatre domaines de tâches seulement ; le tableau des résultats est incomplet entre modèles, attaques et défenses et n'a aucune ligne après février 2025.
Les points forts
- Note ensemble l'utilité et la réussite des attaques, les défenses inutiles ne peuvent pas se cacher
- Les outils simulés rendent les exécutions sûres et reproductibles
- Points d'extension clairs pour de nouvelles suites, attaques et défenses
- Largement cité, y compris par des instituts publics de sécurité de l'IA
Les points faibles
- Aucune version depuis octobre 2025 ; API toujours marquée instable
- Page de résultats sans entrée après février 2025
- Un jeu de test fixe et public peut être surajusté
- Gros stock de pull requests non examinées
Idéal pour
Les chercheurs en sécurité et les équipes d'agents qui ont besoin d'un chiffre reconnu et reproductible sur la résistance d'un modèle ou d'une défense à la prompt injection indirecte.
Alternatives à AgentDojo
AgentDojo : questions fréquentes
- AgentDojo vaut-il le coup ?
- AgentDojo est l'étalon commun de la prompt injection pour les agents à outils, à lancer avant de livrer une défense même si ses résultats publics ont vieilli. Nous lui donnons 4.1 sur 5.
- Combien coûte AgentDojo ?
- Gratuit et open source (MIT) ; vous payez les appels à l'API du modèle effectués pendant une exécution.
- Quels sont les inconvénients de AgentDojo ?
- Aucune version depuis octobre 2025 ; API toujours marquée instable; page de résultats sans entrée après février 2025; un jeu de test fixe et public peut être surajusté; gros stock de pull requests non examinées.
- À qui s’adresse AgentDojo ?
- Les chercheurs en sécurité et les équipes d'agents qui ont besoin d'un chiffre reconnu et reproductible sur la résistance d'un modèle ou d'une défense à la prompt injection indirecte.
- Combien coûte AgentDojo pour une équipe ou en production ?
- Logiciel gratuit ; une exécution complète sur toutes les suites, attaques et défenses représente des milliers d'appels au modèle, la facture d'API est donc le vrai coût. Le coût par exécution n'est pas publié.
- AgentDojo est-il sûr pour les données de l’entreprise ?
- S'exécute en local contre des environnements simulés ; prompts et sorties d'outils partent chez le fournisseur de modèles que vous configurez. Licence MIT.
- Quelles sont les meilleures alternatives à AgentDojo ?
- Les alternatives les plus proches que nous avons testées sont CyberSecEval, garak et Inspect.
Réponses vérifiées le 13 nov. 2026.
Vous éditez AgentDojo ? Affichez cette note sur votre site
