AgentDojoとは？
AgentDojo は 2 つのことを同時に測ります。LLM エージェントがツールを使って普通の仕事を終えられるか、そしてツールのデータに仕込まれた文章がエージェントを乗っ取れるかです。標準のスイートは、ワークスペース（メール、カレンダー、クラウドドライブ）、Slack、旅行予約、オンラインバンキングを模擬します。請求書の支払いのようなユーザータスクは、攻撃者への送金のようなインジェクションタスクと組み合わせられ、ベンチマークは有用性、攻撃下の有用性、攻撃成功率を報告します。
ETH Zurich の SPY Lab と Invariant Labs によるもので、NeurIPS 2024 の Datasets and Benchmarks トラックで発表されました。MIT ライセンスの Python で、GitHub のスターは約 1,000 です。論文は 97 タスクと 629 のセキュリティテストケースを数えています。リリース 0.1.35（2025 年 10 月）で v1.2.2 のタスクセットが加わり、2026 年 6 月の最新コミットでは任意の OpenAI 互換エンドポイント向けのプロバイダーが追加されました。組み込みのモデルクライアントは OpenAI、Anthropic、Google、Cohere、ローカルサーバーに対応し、ツールフィルター、transformers ベースのインジェクション検出器、区切り記号による spotlighting、ユーザープロンプトの繰り返しという 4 つの防御が同梱されています。
AgentDojoは使う価値があるか？
プロンプトインジェクションは、ツールを持つエージェントにとって最も重要な攻撃であり、AgentDojo は多くの論文や研究機関がそれを数値化するために使うベンチマークです。価値は組み合わせにあります。どの攻撃も実際のタスクに対して採点されるため、エージェントを役立たずにすることでインジェクションを防ぐ防御は、勝利ではなく有用性の低下として表れます。プロジェクトのドキュメントによれば、米国と英国の AI Safety Institute はこれを使い、Claude 3.5 Sonnet が乗っ取られうることを示しました。こうした採用が、ベンチマークを共通言語にします。
環境は YAML データから Python で模擬されるため、本物のメールは送られず、本物のお金も動きません。そのため実行は安全で再現性があり、拡張も簡単です。ドキュメントは新しいタスクスイート、攻撃、パイプラインの書き方を説明しており、攻撃は名前で登録されます。pypistats によると、直近 1 か月のパッケージのダウンロードは約 46,700 件で、この数字には CI も含まれます。
注意点：コードの動きは遅く、結果表は止まっています。2025 年 10 月の 0.1.35 以降リリースはなく、README は今も API が変わりうると警告しています。結果ページの最新行は 2025 年 2 月の Claude 3.7 Sonnet です。すべてのモデルがすべての攻撃に対して実行されたわけではないため、作者はこの表がリーダーボードではないと明言しています。約 61 件のプルリクエストが未処理のままで、その多くは攻撃成功率がほぼゼロだと主張する第三者の防御ですが、判断は下されていません。固定かつ公開の 629 ケースは、テストへの過剰適合も招きます。
結論：AgentDojo は証明書ではなく回帰テストとして扱うべきものです。ここで攻撃成功率が低いことは、既知の手口に耐えることを意味しますが、同じ論文を読んだ攻撃者に ついてはほとんど何も語りません。
真価を発揮する場面
新しいプロンプトインジェクション防御を提案する研究者
エージェントを壊さずに攻撃成功率を下げることを示したい
防御をパイプライン要素として実装し、important_instructions 攻撃で全スイートを実行して、有用性、攻撃下の有用性、攻撃成功率を組み込み防御と並べて報告します。費用はモデル API の請求額です。
メールやバンキングのアシスタントを作る企業の AI セキュリティ責任者
仕込まれた文章による乗っ取りやすさで候補モデルを比較したい
各モデルのクライアントまたは OpenAI 互換エンドポイント経由で workspace と banking のスイートを実行し、失敗したトレースを読みます。ツールは模擬なので本物の口座には触れません。
レッドチームのエンジニア
新しいインジェクション手法を既知の防御に対して試したい
新しい攻撃クラスを登録し、同梱の 4 つの防御といくつかのモデルに対して実行し、成功率をベースライン攻撃と比べ ます。
導入前に確認すること
- 導入
- `pip install agentdojo`（Python 3.10 以降）、インジェクション検出器を使うなら `agentdojo[transformers]`。プロバイダーの API キーを設定し、スイート、モデル、攻撃、防御を指定して `python -m agentdojo.scripts.benchmark` を実行します。
- 連携
- OpenAI、Anthropic、Google、Cohere、ローカルサーバー、任意の OpenAI 互換エンドポイント向けのモデルクライアント。トレースは Invariant Explorer で閲覧できます。
- データとプライバシー
- 模擬環境に対してローカルで動きます。プロンプトとツール出力は設定したモデルプロバイダーに送られます。MIT ライセンス。
- 大規模利用時のコスト
- ソフトウェアは無料です。全スイート、攻撃、防御を通す完全な実行では数千回のモデル呼び出しが発生するため、実際の費用は API の請求額です。1 回あたりの費用は公開されていません。
- 制限
- API はまだ開発中と表示されています。タスク領域は 4 つだけです。結果表はモデル、攻撃 、防御の組み合わせが不完全で、2025 年 2 月より後の行はありません。
良い点
- 有用性と攻撃成功率を同時に採点するので、役に立たない防御は隠れられない
- 模擬ツールにより実行が安全で再現可能
- 新しいスイート、攻撃、防御を加える拡張点が明確
- 政府の AI 安全研究機関を含め広く引用されている
気になる点
- 2025 年 10 月以降リリースがなく、API は不安定と表示されたまま
- 結果ページに 2025 年 2 月より後の項目がない
- 固定の公開テストセットは過剰適合されうる
- 未レビューのプルリクエストが大量に溜まっている
おすすめの人
モデルや防御が間接プロンプトインジェクションにどれだけ耐えるかについて、認知され再現可能な数値を必要とするセキュリティ研究者とエージェント開発チーム。
AgentDojoの代替
AgentDojo：よくある質問
- AgentDojoは使う価値があるか？
- AgentDojo はツールを使うエージェントのプロンプトインジェクションを測る共通の物差しです。公開結 果は古くなっていますが、防御を出荷する前に回す価値があります。 評価は5点満点中4.1点です。
- AgentDojoの料金は？
- 無料のオープンソース（MIT）です。実行時のモデル API 呼び出しの費用は自己負担です。
- AgentDojoの欠点は？
- 2025 年 10 月以降リリースがなく、API は不安定と表示されたまま; 結果ページに 2025 年 2 月より後の項目がない; 固定の公開テストセットは過剰適合されうる; 未レビューのプルリクエストが大量に溜まっている.
- AgentDojoは誰に向いているか？
- モデルや防御が間接プロンプトインジェクションにどれだけ耐えるかについて、認知され再現可能な数値を必要とするセキュリティ研究者とエージェント開発チーム。
- チームや本番環境でAgentDojoを使うと費用はいくらか？
- ソフトウェアは無料です。全スイート、攻撃、防御を通す完全な実行では数千回のモデル呼び出しが発生するため、実際の費用は API の請求額です。1 回あたりの費用は公開されていません。
- AgentDojoは企業データを扱っても安全か？
- 模擬環境に対してローカルで動きます。プロンプトとツール出力は設定したモデルプロバイダーに送られます。MIT ライセンス。
- AgentDojoの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はCyberSecEval, garak 、 Inspectです。
回答確認日：2026年11月13日
AgentDojoの開発元の方へ：この評価をサイトに掲載できます
