選び方
- リリース前に、そしてモデルを変更するたびに、プロンプトとエージェントをレッドチームでテストしましょう。
- 依存関係とAIが書いたコードは、他のコードと同じパイプラインでスキャンしてください。
- ゲートウェイとSDKのバージョンを固定しましょう。人気のAIパッケージがサプライチェーン攻撃を受けています。
確認すべきポイント
選択肢を分けるポイントを、重要な順に並べています。
01
OWASP Top 10 for LLMsに対応づけた範囲
OWASP Top 10 for LLM Applications（2025年版）は共通のチェックリストです。プロンプトインジェクション、機密情報の開示、サプライチェーン、データとモデルの汚染、不適切な出力の処理、過剰な権限、システムプロンプトの漏えい、ベクトルと埋め込みの弱点、誤情報、際限のない消費です。ツールが実際にどの項目をテストするかを尋ねましょう。DeepTeamにはOWASPのプリセットがあり、garakはモデルレベルの項目をよくカバーしますが過剰な権限はカバーしません。10項目すべてをカバーする単一のツールはありません。
02
自動化された複数ターンの攻撃の生成
既知のジェイルブレイクの固定リストで見つかるのは古い弱点で、自分のシステムに向けて生成した攻撃で見つかるのは新しい弱点です。PyRITのCrescendoとTAPは攻撃側のモデルが誘導しながら複数のターンにわたって段階的に攻め、DeepTeamとpromptfooはLLMで攻撃を生成し、garakは公開されたプローブの大きなライブラリを実行します。生成した攻撃は双方でトークンを消費するので、その予算を見込んでください。
03
モデルだけでなくエージェントとツールのリスク
モデルがツールを呼べるようになると、危険な失敗は過剰な権限、壊れた認可、ツールの出力に注入された指示になります。デプロイしたエージェントを実際のツールとともにテストし（DeepTeamのBOLA、BFLA、ツール汚染のチェック、promptfooの危険なツール使用のテスト、稼働中のエンドポイントに対するPyRIT）、各MCPサーバーとツールに与えた権限を見直してください。どのスキャナーよりも最小権限のほうが重要です。
04
サプライチェーン：インストールするものを固定しスキャンする
AIのパッケージは今や標的です。2026年3月、攻撃者は盗んだメンテナーの認証情報を使い、汚染された2つのLiteLLMのリリースをPyPIに公開しました。ゲートウェイとSDKのバージョ ンとハッシュを厳密に固定し、更新は意図的に行い、依存関係とAIが書いたコードは他のコードと同じパイプラインでスキャンしましょう。MCPサーバーとエージェントのスキルもスキャンしてください。Snyk Agent Scanは、ツールの説明とスキルに汚染や隠された指示がないかを確認します。
05
CIとの統合と再現性
リリース前に一度レッドチーミングをするだけでは足りません。モデル、プロンプト、ツールを変更するたびに再実行してください。promptfooはYAMLの設定でCI向けに作られており、garakとSnyk Agent Scanはスクリプトから使える機械可読な出力を持つCLIで、PyRITとDeepTeamは自分で包むPythonライブラリです。実行ごとに結果を比較できるよう、攻撃のシードセットを固定しましょう。
06
検出結果の判定方法
ほとんどのツールは、LLMによる判定か検出器で合否を決めますが、どちらも間違えます。各検出結果の背後にある完全なやり取りを見られるか、判定のモデルを変えて保存した結果を再採点できるかを確認してください。PyRITはすべての会話を再採点用にデータベースに保持し、garakはすべての試行をJSONLのログに書き出します。フラグが立った結果は、確認済みの脆弱性ではなく、確かめるべき手がかりとして扱いましょう。
07
ライセンスとデータの扱い
ここで紹介するレッドチーミングのツールはすべてオープンソース（MITまたはApache 2.0）でローカルで動き、攻撃のトラフィックは指定したモデルにだけ送ります。例外はSnyk Agent Scanで、ツールの説明とスキルの内容を分析のためにSnykのAPIに送ります。DeepTeamのオプションの追加機能であるConfident AIのホスト型プラットフォームは、結果をベンダーのもとに保存します。
選択肢の違い
AIアプリ向けのセキュリティツールは、何を攻撃するかで分かれます。脆弱性スキャナー（garak）は、既知の攻撃の大きなライブラリをモデルのエンドポイントに浴びせ、失敗率を報告します。速く、再現可能で、モデルを交換した後に向いています。レッドチーミングのフレームワーク（PyRIT、DeepTeam、promptfooのレッドチームモード）は、複数ターンの段階的な攻撃や、ツールと権限のエージェント特有の悪用を含め、アプリケーションに対する攻撃を生成し、リリース前のレビューやCIに向いています。安全性を重視した評価ハーネス（Inspect）では、サンドボックス内でのエージェントの振る舞いについて厳密なカスタム評価を構築できます。サプライチェーンのスキャナー（Snyk Agent Scan）は、モデルではなく、エージェントが信頼するMCPサーバーとスキルを確認します。
LiteLLMのようなゲートウェイがこのステージに登場するのは、守るべき対象としてだけです。バージョンを固定し、アドバイザリを注視してください。これらはセキュリティツールではないの で、下の比較からは外しています。
15 個のツールを比較
当サイトの評価順です。各レビューで出典、料金、評価の詳細を確認できます。
| ツール | 評価 | 当サイトの評価 | 向いている用途 | 料金 |
|---|---|---|---|---|
| promptfooリポジトリ | 4.5/5 | promptfooは、LLMのリグレッションテストとレッドチームスキャンをYAMLファイルと1つのCIコマンドに集約します。新たな所有者が注視すべき点です。 | CIにおいてリグレッションテストとセキュリティスキャ ンを導入したい、LLMアプリを提供するチームに適しています。 | CLIは無料かつオープンソース（MIT）です。Community利用には月間最大10,000回のプローブを含むレッドチーム機能が含まれます。Enterprise（マネージドクラウド）およびOn-Premiseは個別見積もりです。 |
| Inspectリポジトリ | 4.4/5 | Inspect は政府機関と独立系による AI 安全性テストの共通ハーネスです。CI でプロンプトを確認したいプロダクトチームには、必要以上に大がかりなフレームワークでしょう。 | エージェントや能力の評価を行う研究者と安全性チーム。 | MIT ライセンスの無料のオープンソースです。 |
| Anthropic Sandbox Runtime (srt)リポジトリ | 4.4/5 | コーディングエージェントは何にでも誘導される可能性がありますが、オペレーティングシステムはそうではありません。srt はオペレーティングシステムに制御権を委ねます。 | 自身のマシンでコーディングエージェントを実行するすべての開発者の第一層の防御策として最適です。 | Apache 2.0 ライセンスに基づく無料でオープンソースのソフトウェアです。 |
| Trail of Bits Skillsリポジトリ | 4.4/5 | 一般的な「OWASPの問題を確認してほしい」という指示は推測に依存しがちですが、本製品は実際の監査企業がどのようにバグを探しているかを、そのままagent向けに落とし込んでいます。 | リスクの高いマージを行う前に、コーディングagentによる構造化された信頼性の高いセキュリティレビューを求める開発チームに適しています。 | CC BY-SA 4.0の下で無料です。 |
| garakリポジトリ | 4.3/5 | モデルレベルの弱点を調べる定番のオープンなスキャナーです。リリース前とモデルを入れ替えるたびに実行すべきですが、エージェントのツールや権限のテストと取り違えてはいけません。 | リリース前とモデル変更のたびに、LLM エンドポイントに対して再現可能なモデルレベルの脆弱性スキャンを行いたいチーム。 | Apache 2.0 の下で無料のオープンソースです。支払うのはスキャンが行うモデル呼び出しの費用だけです。 |
| PyRITリポジトリ | 4.2/5 | チーム内に駆動用のPythonを書く担当者がいれば、PyRITはチャットボットを破綻させる時間のかかる段階的な会話を自動化してくれます。 | 複数ターンのエスカレーションやWebフロントエンドを含め、チャットボットやエージェントのレッドチーム演習を詳細に実施する必要があるセキュリティエンジニアに適しています。 | MITライセンスに基づく無料でオープンソースのソフトウェアです。攻撃やLLMベースのScorersで使用されるモデル呼び出しの費用が発生します。 |
| security-guidance plugin (Claude Code)リポジトリ | 4.2/5 | Claude Codeユーザーにとって、これは1つのコマンドで導入できるセキュリティ上のメリットであり、独自の作業を自身で甘く評価しないレビュアーを得ることができます。 | 初期設定を行うことなく、すべての変更に対してセキュリティレビューを実施したいClaude Codeユーザーに適しています。 | Apache 2.0ライセンスに基づく無料プラグインです。モデルを利用する2つのレビューでは、ご自身のClaudeまたはAPIの使用枠が消費されます。 |
| NVIDIA OpenShellリポジトリ | 4.1/5 | 見守りながら使うものではなく、無人で稼働させ続けるagent向けに構築された重量級のagentサンドボックスです。 | agentを無人または信頼できないコード上で実行し、ホスト単位およびメソッド単位のネットワークルールを必要とするチームに適しています。 | Apache 2.0に基づく無料のオープンソースです。 |
| ToolHiveリポジトリ | 4.1/5 | スキャナーはMCP serverが危険に見えるかどうかを知らせてくれますが、ToolHiveは実際に危険であった場合に実行可能な動作を制限します。 | 全社規模でMCP serverを実行、隔離、および監査する必要があるプラットフォームチームやセキュリティチームに最適です。 | Apache 2.0に基づくオープンソースです。Stacklok Enterpriseでは追加機能とサポートが提供され、価格は要問合せとなります。 |
| OpenSandboxリポジトリ | 4.1/5 | ホスト型のコードサンドボックスに対するセルフホスト型の選択肢です。自社マ シン上で短期間稼働するエージェント環境が数千単位で必要な場合、Kubernetesの運用作業に見合う価値があります。 | 自社のインフラ上でサンドボックスを運用したい、エージェント評価、強化学習ロールアウト、マルチテナントコード実行を行うプラットフォームチームに適しています。 | Apache 2.0に基づく無料のオープンソースです。メンテナーからの有料版はありません。 |
| CC Safety Netリポジトリ | 4.0/5 | サンドボックスが意図的に許してしまう被害、つまり自分のプロジェクト内での force-push、hard reset、rm -rf に対するシートベルトです。 | コーディングエージェントに、1つずつ承認せずにシェルコマンドを実行させているすべての人に向いています。 | MIT ライセンスの無料オープンソースです。 |
| DeepTeamリポジトリ | 3.9/5 | オープンなレッドチーミングライブラリとしては、エージェントとアプリケーションの脆弱性のカタログが最も幅広いものです。ただし、すべての判定は LLM の判定器に依存しており、確認が必要です。 | エージェントを作っており、ローカルで実行できる OWASP 対応のレッドチームのカバレッジを求める Python チーム。 | Apache 2.0 の無料オープンソースです。Confident AI のプラットフォームは無料ティアから月額 $200、$2,000 まであり、レッドチーミングのモジュールはカスタム価格の Enterprise アドオンです。 |
| Cloudflare Security Audit Skillリポジトリ | 3.9/5 | 自らの検出結果を、別のエージェントが覆せなかったときまで誤りと見なす、珍しい AI 監査ツールです。 | コードベースを監査し、可能性の長いリストではなく検証済みの検出結果を求めるセキュリティチームに向いています。 | MIT で無料ですが、監査には大量のモデルトークンを使います。 |
| Snyk Agent Scanリポジトリ | 3.8/5 | Snykへの説明文の送信を許容し、信頼できない構成をサンドボックス内でスキャンすることを前提とするならば、エージェントが信頼しているMCPサーバーやスキルに対する堅実な初期診断手段となります。 | 開発者やエージェントによるMCPサーバーおよびスキルの導入を許可しており、それらを信頼する前にサプライチェーンのリスクを検証したいチームに適しています。 | Apache 2.0に基づく無料のオープンソースです。Snykア カウントとAPIトークンが必要です。組織全体でのバックグラウンドスキャン結果をSnyk Evoに集約する機能は、個別見積もりとなります。 |
| Cisco Skill Scannerリポジトリ | 3.7/5 | スキルのリポジトリの前段に置く価値があります。ただし、それ自身の数値を信じるなら、明らかなものは捕らえても、すべては捕らえません。 | 社内のスキルリポジトリを運用し、開発者に届く前にスキャンの関門を置きたいチームに向いています。 | Apache 2.0 で無料です。オプションの LLM とクラウドの解析は、それぞれのプロバイダーを通じて課金されます。 |
仕様の比較
このステップで重要な仕様です。2026年10月19日に確認しました。導入前に提供元のサイトで確認してください。
| ツール | 重点 | 攻撃の生成 | インターフェース | CIとの相性 | ライセンス |
|---|---|---|---|---|---|
| promptfoo | アプリのレッドチーミングとデグレードテスト | インジェクション、ジェイルブレイク、漏えいを生成 | CLIとYAML | CI向けに作られている | MIT |
| Inspect | エージェントと安全性の評価 | タスクは自分で書く。評価のコレクション | Python | 非公開 | MIT |
| garak | モデルとエンドポイントの脆弱性スキャン | 公開されたプローブのライブラリ | CLI | スクリプト化可能。JSONLのレポート | Apache 2.0 |
| PyRIT | 複数ターンのレッドチーミング | Crescendo, TAP, Skeleton Key | Python、CLI、Web UI | pyrit_scanでスクリプト化可能 | MIT |
| DeepTeam | エージェントとアプリの脆弱性 | 20以上の手法、LLMで生成 | Python | 文書化されていない | Apache 2.0 |
| Snyk Agent Scan | MCPサーバーとスキルのサプライチェーン | なし。ツールの説明をスキャン | CLI（uvxまたはバイナリ） | 出力はまだ実験的 | Apache 2.0 |
エージェントに接続する
Claude、ChatGPT、Cursor などのアシスタントがこれらのツールを直接使えるようにする MCP サーバーです。
このステージが使われる場面
- 文書とのチャット：まず promptfoo から始めます。
- カスタマーサポートエージェント：まず promptfoo から始めます。
- コーディングエージェント：まず Snyk MCP Server (Snyk Studio), promptfoo から始めます。
- 長期記憶を持つアシスタント：まず promptfoo から始めます。
- 音声エージェント：まず promptfoo から始めます。
- 文書処理：まず Snyk MCP Server (Snyk Studio) から始めます。
- 自社専用のファインチューニング済みモデル：まず promptfoo から始めます。