CyberSecEvalとは？
CyberSecEvalは、言語モデル向けのMetaのセキュリティベンチマーク群で、PurpleLlamaリポジトリのCybersecurityBenchmarksフォルダにあります。バージョン4は過去3つのリリースを土台に、2つの側面を扱います。リスク系のテストは、モデルが危険なコードを書くか、MITRE ATT&CKに沿った攻撃を手伝うか、無害なセキュリティの質問を断りすぎないか、テキストや画像に仕込まれた指示に従うか、コードインタープリターを悪用するか、説得力のあるスピアフィッシングを書くか、脆弱なプログラムを悪用できるかを調べます。バージョン4で加わった防御系のテストは、AutoPatchBench（エージェントがネイティブコードのセキュリティ上の不具合を修正できるか）と、CrowdStrikeと共同で作ったCyberSOCEvalで、後者はマルウェア解析と脅威インテリジェンスの推論を試します。
Python 3.10で動き、OpenAI、Google、Anthropic、Llama、Togetherのモデルや、OpenAI互換のエンドポイントに対して実行できます。自前ホストのモデルには小さなアダプタークラスが必要です。いくつかのテストは2つ目のモデルを判定役に使うため、1回の実行で少なくとも2系統のAPI呼び出しが発生し ます。コードはMITライセンスです。
一部のテストには本物のインフラが要ります。自律的な攻撃のテストにはKali Linuxの攻撃側とWindows Server 2022の標的が必要で、AutoPatchBenchはAWSのc7a.48xlargeと約8 TBのストレージで試験されました。
CyberSecEvalは使う価値があるか？
CyberSecEvalはpromptfooやgarakより狭い問いに答え、しかもうまく答えます。製品の裏にモデルを置く前に、そのモデルがどれだけ脆弱なコードを書き、攻撃者を助け、注入された文章に従うのかという問いです。危険なコードのテストは判定用モデルではなく静的な検出器で採点するので、結果を再現できます。誤った拒否のテストは、正当なセキュリティの質問をモデルがどれだけ断るかを測り、反対側の偏りも見逃しません。
バージョン4は防御側の視点を加えました。AutoPatchBenchは判定役の意見ではなく、ファジングと差分デバッグでパッチを確かめます。CyberSOCEvalのマルウェアと脅威インテリジェンスに関する多肢選択問題は、Jaccardスコアで部分点を与えます。モデルを守るためではなく、セキュリティ運用チーム向けにモデルを選ぶときに役立ちます。
コストには偏りがあります。テキストのテストは安いAPI実行で済みます。AutoPatchBenchは違います。READMEは80以上のCPU、全142件で約3 TBのストレージを勧めており、初回は200を超えるコンテナイメージを作り、評価には最大で約8時間かかります。canary exploitのテストはx86-64のみ対応なので、Apple SiliconのノートPCでは動きません。
注意点：これはモデルのベンチマークであって、あなたのシステムのものではありません。送るのは独自のプロンプト で、あなたのシステムプロンプトやツール、検索は使いません。MITREのテストは判定役と拡張役にGPT-3.5を推奨しています。危険なコードのテスト群は既定の一覧から一時的に外されており、2025年6月12日にチームは次のバージョンでインフラが大きく変わる可能性があると述べました。提供元のコンテンツフィルターが、実行の途中で悪意のあるプロンプトを止めることもあります。
結論：CyberSecEvalの出番はモデル選びの段階で、提供元のモデルカードと並べて使うものです。デプロイしたエージェントへのレッドチーミングには、実際のエンドポイントを攻撃するツールが別に必要です。
真価を発揮する場面
社内のコーディング支援用に3つのオープンウェイトモデルを比べるMLリード
脆弱なコードを最も書かず、注入された文章に最も強いモデルを見極める
各モデルのエンドポイントに対してinstruct、autocomplete、テキストのプロンプトインジェクションのテストを走らせ、インジェクションのテストには判定役のモデルを使います。費用はモデルと判定役のAPI呼び出しで、結果は選定メモに使います。
アラートの一次振り分けにLLMを検討するセキュリティ運用マネージャー
モデルがマルウェアの報告や脅 威インテリジェンスについて推論できるか確かめる
CrowdStrikeのデータのサブモジュールを追加し、CyberSOCEvalの多肢選択テストを実行します。完全一致とJaccardのスコアで候補モデルを同じ条件で比べられます。
脆弱性修正のためにモデルを微調整している研究チーム
パッチがネイティブコードのセキュリティ上の不具合を本当に直すか測る
大きなクラウドインスタンスでPodmanを使い、AutoPatchBench lite（120件）を実行します。パッチはファジングと差分デバッグで検証されます。約2 TBのストレージと、ほぼ1日を見込んでください。
導入前に確認すること
- 導入
- PurpleLlamaをクローンし、Python 3.10の仮想環境を作ってpip3 install -r CybersecurityBenchmarks/requirements.txtを実行し、DATASETSを設定して、モデルをPROVIDER::MODEL::API_KEYの形で渡します。追加のテストにはgit-lfs、Podman、poppler、またはAWS上のサイバーレンジが必要です。
- 連携
- 組み込みの提供元はOpenAI、Google、Anthropic、Llama、Togetherです。OpenAI互換サーバーにはカスタムのベースURLを使い、自前ホストのモデルはllm.pyを拡張して対応します。
- データとプライバシー
- テスト用プロンプトとモデルの回答は、設定したモデルと判定役の提供元に送られます。一部の提供元の安全フィルターは悪意のあるプロンプトに反応しうるため、READMEは事前にAPI利用の承認を得るよう勧めています。
- 大規模利用時のコスト
- テキストのテストは、試すモデルと判定役のトークン代がかかります。AutoPatchBenchはc7a.48xlargeで約8 TBを推奨として試験されており、1回ごとにかなりのクラウド費用になります。
- 制限
- 危険なコードのテスト群は既定から一時的に除外。canary exploitはx86-64が必要。autonomous upliftは採点なしの記録を出すだけ。次のバージョンでインフラが変わる可能性があります。
良い点
- 危険なコード、インジェクション、攻撃への協力、悪用、誤った拒否を網羅
- コードのテストはLLMの判定だけでなく静的検出器で採点
- バージョン4でAutoPatchBenchとCyberSOCEvalの防御系タスクを追加
- MITライセンス、主要APIとOpenAI互換エンドポイントに対応
気になる点
- 素のモデルを試すもので、プロンプト、ツール、検索は対象外
- AutoPatchBenchには非常に大きなマシンと1回あたり数時間が必要
- 危険なコードのテスト群が既定の一覧から一時的に除外
- canary exploitのテストはx86-64のみ
おすすめの人
モデルを選ぶ、または微調整するチームで、本番投入の前にセキュリティ面の振る舞いの根拠が欲しい場合。
CyberSecEvalの代替
CyberSecEval：よくある質問
- CyberSecEvalは使う価値があるか？
- モデルがセキュリティ上の負債かどうかを問う最も幅広いオープンなベンチマークで、完成したアプリの検査ではなく、モデル選びの前段の関門として使うのが最適です。 評価は5点満点中3.9点です。
- CyberSecEvalの料金は？
- MITライセンスで無料です。判定役を含むモデル呼び出しの料金と、AutoPatchBench用の大型ビルドマシンなどテスト用インフラの費用は自分で払います。
- CyberSecEvalの欠点は？
- 素のモデルを試すもので、プロンプト、ツール、検索は対象外; AutoPatchBenchには非常に大きなマシンと1回あたり数時間が必要; 危険なコードのテスト群が既定の一覧から一時的に除外; canary exploitのテストはx86-64のみ.
- CyberSecEvalは誰に向いているか？
- モデルを選ぶ、または微調整するチームで、本番投入の前にセキュリティ面の振る舞いの根拠が欲しい場合。
- チームや本番環境でCyberSecEvalを使うと費用はいくらか？
- テキストのテストは、試すモデルと判定役のトークン代がかかります。AutoPatchBenchはc7a.48xlargeで約8 TBを推奨として試験されており、1回ごとにかなりのクラウド費用になります。
- CyberSecEvalは企業データを扱っても安全か？
- テスト用プロンプトとモデルの回答は、設定したモデルと判定役の提供元に送られます。一部の提供元の安全フィルターは悪意のあるプロンプトに反応しうるため、READMEは事前にAPI利用の承認を得るよう勧めています。
- CyberSecEvalの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はgarak, promptfoo, PyRIT 、 Inspectです 。
回答確認日：2026年11月6日