AIエージェントでコードを書くことはもう珍しくありませんが、それでセキュリティの穴を塞ぐのは、より難しく危険な作業です。正しく見えるパッチが、知らぬ間にプログラムを壊したり、本当の欠陥を見落としたりするからです。Collinear AIとHugging Faceが公開したCWE-bench v2は、まさにそこを測るために作られています。エージェントは、既に動いているものを壊さずに、実在のコードベースの本物のセキュリティ上の弱点を直せるのか、という問いです。
このベンチマークは、ソフトウェアの弱点の種類を集めた標準的な目録であるCWEのうち、91種類にまたがる100の課題から成ります。各課題は、現実的な指示と決定的な判定を備えた自己完結の環境で、作者らはそのすべてを手作業で確認したと述べています。品質の基準は注目に値します。開始時のコードは失敗し、参照用の修正は通らなければならず、元の機能はパッチ後も動き続けなければならず、判定器は、修理を筋道立てて考える代わりに既知の上流の修正を暗記して書き写すだけのモデルをはじくように作られています。全体では、100問のうち95問が少なくとも一つのモデルに解かれており、難しいが不可能ではない集合です。
上位は僅差です。評価された11のモデルのうち、Gemini 4 Argonが67.8% pass@1、4回の試行で81.0%で首位に立ち、Claude Opus 5.5の67.3% pass@1をわずかに上回ります。どちらも当サイトでレビューしているモデルです。しかし本当の判断材料はコストの列にあります。やはり当サイトでレビューしているDeepSeek V4.1 Flashは1回4セントで57.0%に達し、Opusは追加の10点に1.83 ドル、Argonは3.92ドルかかります。大きなコードベース全体でパッチ用エージェントを走らせるチームにとって、およそ100分の1の価格でほぼ同じ所まで届くモデルは、妥協ではなく有力な選択肢です。
実務上の注意点は同じ数字の中にあります。首位のモデルでさえ毎回この集合の19%を落とすので、より難しい弱点の長い裾野は解決にほど遠く、セキュリティ修正は出荷前に人が確認する必要があります。このベンチマークが報告するのは合格率であって、合格したパッチが最もきれいで保守しやすいものかどうかではありません。
これを公正に保つものが二つあります。課題集合、判定器、実行環境はすべて公開されているので、誰でも自分のモデルを走らせ、提供元の言葉をうのみにせず数字を確かめられます。そして同じ環境は強化学習の設定として分類されており、防御的なエージェントの評価だけでなく訓練にも使えます。これがより息の長い貢献です。静かな見落としがそのまま生きた脆弱性になる作業に対する、共有され検査できる物差しなのです。