Écrire du code avec un agent d'IA est désormais courant, mais corriger des failles de sécurité avec lui est une tâche plus difficile et plus risquée, car un correctif qui a l'air juste peut casser le programme sans bruit ou manquer la vraie faille. CWE-bench v2, publié par Collinear AI et Hugging Face, est conçu pour mesurer exactement cela : un agent peut-il corriger une véritable faiblesse de sécurité dans une vraie base de code sans casser ce qui marche déjà ?
Le banc d'essai compte 100 tâches couvrant 91 CWE différents, le catalogue standard des types de faiblesse logicielle. Chaque tâche est un environnement autonome avec une instruction réaliste et une vérification déterministe, et les auteurs disent avoir relu chacune à la main. Leur exigence de qualité mérite d'être notée : le code de départ doit échouer et la correction de référence réussir, la fonction d'origine doit encore marcher après le correctif, et le correcteur est fait pour rejeter un modèle qui se contente de réciter de mémoire le correctif amont connu plutôt que de raisonner une réparation. En tout, 95 des 100 tâches ont été résolues par au moins un modèle, l'ensemble est donc difficile mais pas impossible.
En tête, le classement est serré. Sur 11 modèles évalués, Gemini 4 Argon mène avec 67.8% pass@1 et 81.0% sur quatre tentatives, juste devant Claude Opus 5.5 à 67.3% pass@1. Les deux sont des modèles que nous testons. Mais c'est dans la colonne du coût que se joue la vraie décision. DeepSeek V4.1 Flash, que nous testons aussi, atteint 57.0% à quatre cents par exécution, tandis qu'Opus coûte 1,83 $ et Argon 3,92 $ pour leurs dix points supplémentaires. Pour une équipe qui fait tourner des agents de correction sur une grande base de code, un modèle à environ un centième du prix qui va presque au bout est une option sérieuse, pas un compromis.
La réserve pratique est dans ces mêmes chiffres. Même le leader échoue sur 19% de l'ensemble à chaque tentative, la longue traîne des faiblesses plus difficiles est donc loin d'être résolue, et un humain doit encore relire les correctifs de sécurité avant leur mise en production. Le banc d'essai rapporte des taux de réussite, pas si un correctif validé est le plus propre ou le plus maintenable.
Deux choses gardent la démarche honnête. L'ensemble de tâches, le correcteur et le harnais sont tous ouverts, si bien que chacun peut exécuter son propre modèle et vérifier les chiffres plutôt que croire un fournisseur sur parole. Et les mêmes environnements sont étiquetés comme cadres d'apprentissage par renforcement, ce qui veut dire qu'ils peuvent entraîner des agents défensifs autant que les évaluer. C'est la contribution la plus durable : un étalon partagé et inspectable pour une tâche où un échec silencieux est une vulnérabilité active.