Was ist AgentDojo?
AgentDojo misst zwei Dinge zugleich: ob ein LLM-Agent gewöhnliche Aufgaben mit Tools erledigen kann und ob Text, der in den Daten dieser Tools platziert wurde, ihn kapern kann. Die Standard-Suites simulieren einen Arbeitsplatz (E-Mail, Kalender, Cloud-Speicher), Slack, Reisebuchung und Online-Banking. Jede Nutzeraufgabe, etwa eine Rechnung bezahlen, lässt sich mit einer Injektionsaufgabe kombinieren, etwa Geld an einen Angreifer überweisen, und der Benchmark meldet Nutzen, Nutzen unter Angriff und die Erfolgsquote des Angriffs.
Er stammt vom SPY Lab der ETH Zürich und Invariant Labs, erschien im Datasets and Benchmarks Track der NeurIPS 2024 und ist MIT-lizenziertes Python mit rund 1.000 GitHub-Sternen. Das Paper zählt 97 Aufgaben und 629 Sicherheitstestfälle. Release 0.1.35 (Oktober 2025) brachte das Aufgabenset v1.2.2; der letzte Commit im Juni 2026 ergänzte einen Provider für beliebige OpenAI-kompatible Endpunkte. Eingebaute Modell-Clients decken OpenAI, Anthropic, Google, Cohere und lokale Server ab, und vier Abwehren sind dabei: ein Tool-Filter, ein Injection-Detektor auf Basis von transformers, Spotlighting mit Begrenzern und das Wiederholen des Nutzer-Prompts.
Lohnt sich AgentDojo?
Prompt Injection ist der Angriff, der bei Agenten mit Tools am meisten zählt, und AgentDojo ist der Benchmark, mit dem die meisten Paper und Labore ihn beziffern. Sein Wert liegt in der Paarung: Jeder Angriff wird gegen eine echte Aufgabe gewertet, also erscheint eine Abwehr, die Injektionen blockiert, indem sie den Agenten unbrauchbar macht, als Nutzenverlust und nicht als Erfolg. Laut der Projektdokumentation nutzten die AI Safety Institutes der USA und Großbritanniens ihn, um zu zeigen, dass Claude 3.5 Sonnet gekapert werden konnte. Diese Art Verbreitung macht einen Benchmark zur gemeinsamen Sprache.
Die Umgebungen werden in Python aus YAML-Daten simuliert, es geht also keine echte E-Mail hinaus und kein echtes Geld fließt. Das macht Läufe sicher und wiederholbar und die Erweiterung einfach: Die Dokumentation erklärt, wie man eine neue Aufgaben-Suite, einen neuen Angriff oder eine neue Pipeline schreibt, und Angriffe werden per Name registriert. pypistats zählt rund 46.700 Downloads des Pakets im letzten Monat, eine Zahl, die CI einschließt.
Der Haken: Der Code bewegt sich langsam, und die Ergebnistabelle stockt. Seit 0.1.35 im Oktober 2025 gab es kein Release, das README warnt weiter, dass sich die API ändern kann, und die neueste Zeile der Ergebnisseite ist Claude 3.7 Sonnet vom Februar 2025. Die Autoren sagen klar, dass die Tabelle keine Rangliste ist, weil nicht jedes Modell gegen jeden Angriff lief. Rund 61 Pull Requests sind offen, viele davon Abwehren Dritter, die einen Angriffserfolg nahe null behaupten, und niemand hat darüber entschieden. Ein fester, öffentlicher Satz von 629 Fällen lädt außerdem dazu ein, auf den Test hin zu optimieren.
Unser Fazit: AgentDojo taugt als Regressionstest, nicht als Zertifikat. Eine niedrige Angriffsquote hier heißt, dass deine Abwehr bekannte Tricks übersteht; über einen Angreifer, der dasselbe Paper gelesen hat, sagt sie wenig.
Wo es sich lohnt
Eine Forscherin, die eine neue Abwehr gegen Prompt Injection vorschlägt
Zeigen, dass die Abwehr den Angriffserfolg senkt, ohne den Agenten zu brechen
Sie als Pipeline-Element umsetzen, den Benchmark über alle Suites mit dem Angriff important_instructions laufen lassen und Nutzen, Nutzen unter Angriff und Angriffserfolg neben den eingebauten Abwehren berichten. Die Kosten sind die Modell-API-Rechnung.
Ein KI-Sicherheitsverantwortlicher in einer Firma, die einen E-Mail- oder Banking-Assistenten baut
Kandidatenmodelle danach vergleichen, wie leicht platzierter Text sie kapert
Die Suites workspace und banking mit jedem Modell über dessen Client oder einen OpenAI-kompatiblen Endpunkt ausführen und die Traces der Fehlschläge lesen. Echte Konten bleiben unberührt, weil die Tools simuliert sind.
Ein Red-Team-Ingenieur
Eine neue Injektionstechnik gegen bekannte Abwehren testen
Eine neue Angriffsklasse registrieren, sie gegen die vier mitgelieferten Abwehren und einige Modelle laufen lassen und die Erfolgsquote mit den Basisangriffen vergleichen.
Bevor du dich festlegst
- Einrichtung
- `pip install agentdojo` (Python 3.10 oder neuer) oder `agentdojo[transformers]` für den Injection-Detektor; einen Provider-API-Schlüssel setzen und `python -m agentdojo.scripts.benchmark` mit Suite, Modell, Angriff und Abwehr starten.
- Integrationen
- Modell-Clients für OpenAI, Anthropic, Google, Cohere, lokale Server und jeden OpenAI-kompatiblen Endpunkt; Traces lassen sich im Invariant Explorer ansehen.
- Daten und Datenschutz
- Läuft lokal gegen simulierte Umgebungen; Prompts und Tool-Ausgaben gehen an den Modellanbieter, den du konfigurierst. MIT-Lizenz.
- Kosten im großen Maßstab
- Freie Software; ein vollständiger Lauf über alle Suites, Angriffe und Abwehren bedeutet Tausende Modellaufrufe, die API-Rechnung ist also die eigentliche Ausgabe. Kosten pro Lauf sind nicht veröffentlicht.
- Grenzen
- API als noch in Entwicklung markiert; nur vier Aufgabendomänen; die Ergebnistabelle ist über Modelle, Angriffe und Abwehren hinweg unvollständig und hat keine Zeilen nach Februar 2025.
Was gut ist
- Wertet Nutzen und Angriffserfolg zusammen, nutzlose Abwehren fallen auf
- Simulierte Tools machen Läufe sicher und wiederholbar
- Klare Erweiterungspunkte für neue Suites, Angriffe und Abwehren
- Viel zitiert, auch von staatlichen KI-Sicherheitsinstituten
Was nicht
- Kein Release seit Oktober 2025; API weiterhin als instabil markiert
- Ergebnisseite ohne Einträge nach Februar 2025
- Fester öffentlicher Testsatz lässt sich überanpassen
- Großer Rückstau ungeprüfter Pull Requests
Am besten für
Sicherheitsforscher und Agenten-Teams, die eine anerkannte, reproduzierbare Zahl dafür brauchen, wie gut ein Modell oder eine Abwehr indirekter Prompt Injection widersteht.
Alternativen zu AgentDojo
AgentDojo: häufige Fragen
- Lohnt sich AgentDojo?
- AgentDojo ist der gemeinsame Maßstab für Prompt Injection bei Agenten mit Tools und lohnt sich vor dem Ausliefern einer Abwehr, auch wenn die öffentlichen Ergebnisse veraltet sind. Wir bewerten es mit 4.1 von 5.
- Was kostet AgentDojo?
- Kostenlos und Open Source (MIT); du zahlst für die Modell-API-Aufrufe eines Laufs.
- Welche Nachteile hat AgentDojo?
- Kein Release seit Oktober 2025; API weiterhin als instabil markiert; Ergebnisseite ohne Einträge nach Februar 2025; Fester öffentlicher Testsatz lässt sich überanpassen; Großer Rückstau ungeprüfter Pull Requests.
- Für wen eignet sich AgentDojo?
- Sicherheitsforscher und Agenten-Teams, die eine anerkannte, reproduzierbare Zahl dafür brauchen, wie gut ein Modell oder eine Abwehr indirekter Prompt Injection widersteht.
- Was kostet AgentDojo für ein Team oder im Produktivbetrieb?
- Freie Software; ein vollständiger Lauf über alle Suites, Angriffe und Abwehren bedeutet Tausende Modellaufrufe, die API-Rechnung ist also die eigentliche Ausgabe. Kosten pro Lauf sind nicht veröffentlicht.
- Ist AgentDojo sicher für Firmendaten?
- Läuft lokal gegen simulierte Umgebungen; Prompts und Tool-Ausgaben gehen an den Modellanbieter, den du konfigurierst. MIT-Lizenz.
- Was sind die besten Alternativen zu AgentDojo?
- Die nächsten Alternativen, die wir getestet haben, sind CyberSecEval, garak und Inspect.
Antworten geprüft am 13. Nov. 2026.
Du entwickelst AgentDojo? Zeig diese Bewertung auf deiner Website
