Code mit einem KI-Agenten zu schreiben, ist inzwischen üblich, doch Sicherheitslücken damit zu schließen, ist schwieriger und riskanter, denn ein Patch, der richtig aussieht, kann das Programm unbemerkt kaputt machen oder den eigentlichen Fehler verfehlen. CWE-bench v2, veröffentlicht von Collinear AI und Hugging Face, ist gebaut, um genau das zu messen: Kann ein Agent eine echte Sicherheitsschwäche in einer realen Codebasis beheben, ohne das Funktionierende zu zerstören?
Der Benchmark umfasst 100 Aufgaben über 91 verschiedene CWEs, den Standardkatalog der Softwareschwächen. Jede Aufgabe ist eine in sich geschlossene Umgebung mit einer realistischen Anweisung und einer deterministischen Prüfung, und die Macher sagen, sie hätten jede von Hand geprüft. Ihre Qualitätslatte ist erwähnenswert: Der Startcode muss scheitern und die Referenzkorrektur bestehen, die ursprüngliche Funktion muss nach dem Patch weiter laufen, und der Bewerter ist so angelegt, dass er ein Modell ablehnt, das nur den bekannten Upstream-Fix auswendig hersagt, statt eine Reparatur zu erarbeiten. Insgesamt wurden 95 der 100 Aufgaben von mindestens einem Modell gelöst, der Satz ist also schwer, aber nicht unmöglich.
An der Spitze ist das Ranking eng. Von 11 bewerteten Modellen führt Gemini 4 Argon mit 67.8% pass@1 und 81.0% über vier Versuche, knapp vor Claude Opus 5.5 mit 67.3% pass@1. Beide sind Modelle, die wir rezensieren. Doch in der Kostenspalte steckt die eigentliche Entscheidung. DeepSeek V4.1 Flash, das wir ebenfalls rezensieren, erreicht 57.0% für vier Cent pro Lauf, während Opus 1,83 $ und Argon 3,92 $ für ihre zusätzlichen zehn Punkte kosten. Für ein Team, das Patch-Agenten über eine große Codebasis laufen lässt, ist ein Modell zu etwa einem Hundertstel des Preises, das fast ans Ziel kommt, eine ernsthafte Option, kein Kompromiss.
Der praktische Vorbehalt steckt in denselben Zahlen. Selbst der Spitzenreiter scheitert bei jedem Versuch an 19% des Satzes, der lange Schwanz der schwereren Schwächen ist also weit von gelöst entfernt, und ein Mensch muss Sicherheitskorrekturen weiterhin prüfen, bevor sie ausgeliefert werden. Der Benchmark meldet Erfolgsquoten, nicht, ob ein bestandener Patch der sauberste oder wartbarste ist.
Zwei Dinge halten das ehrlich. Aufgabensatz, Bewerter und Harness sind alle offen, sodass jeder sein eigenes Modell laufen lassen und die Zahlen prüfen kann, statt dem Wort eines Anbieters zu glauben. Und dieselben Umgebungen sind als Reinforcement-Learning-Settings markiert, können also defensive Agenten nicht nur bewerten, sondern auch trainieren. Das ist der dauerhaftere Beitrag: ein gemeinsamer, überprüfbarer Maßstab für eine Aufgabe, bei der ein unbemerkter Fehlschlag eine aktive Schwachstelle ist.