Escrever código com um agente de IA já é comum, mas corrigir brechas de segurança com um é uma tarefa mais difícil e arriscada, porque um patch que parece certo pode quebrar o programa em silêncio ou deixar passar a falha real. O CWE-bench v2, publicado pela Collinear AI e pela Hugging Face, foi feito para medir exatamente isso: um agente consegue corrigir uma fraqueza de segurança real em uma base de código real sem quebrar o que já funciona?
O benchmark tem 100 tarefas cobrindo 91 CWEs diferentes, o catálogo padrão de tipos de fraqueza de software. Cada tarefa é um ambiente autônomo com uma instrução realista e uma verificação determinística, e os autores dizem ter revisado cada uma à mão. O padrão de qualidade merece nota: o código inicial precisa falhar e a correção de referência precisa passar, a função original deve continuar funcionando após o patch, e o avaliador foi montado para rejeitar um modelo que apenas recita de memória o patch upstream conhecido em vez de raciocinar um reparo. No total, 95 das 100 tarefas foram resolvidas por ao menos um modelo, então o conjunto é difícil, mas não impossível.
No topo, a classificação é apertada. Dos 11 modelos avaliados, o Gemini 4 Argon lidera com 67.8% pass@1 e 81.0% em quatro tentativas, logo à frente do Claude Opus 5.5 com 67.3% pass@1. Ambos são modelos que analisamos. Mas é na coluna do custo que mora a decisão real. O DeepSeek V4.1 Flash, que também analisamos, alcança 57.0% a quatro centavos por execução, enquanto o Opus custa US$ 1,83 e o Argon US$ 3,92 pelos seus dez pontos a mais. Para uma equipe que roda agentes de correção em uma base de código grande, um modelo a cerca de um centésimo do preço que vai quase até o fim é uma opção séria, não uma concessão.
A ressalva prática está nos mesmos números. Até o líder falha em 19% do conjunto em toda tentativa, então a cauda longa das fraquezas mais difíceis está longe de resolvida, e um humano ainda precisa revisar as correções de segurança antes de publicá-las. O benchmark informa taxas de acerto, não se um patch aprovado é o mais limpo ou mais fácil de manter.
Duas coisas mantêm isso honesto. O conjunto de tarefas, o avaliador e o harness são todos abertos, então qualquer um pode rodar o próprio modelo e conferir os números em vez de acreditar na palavra de um fornecedor. E os mesmos ambientes são marcados como cenários de aprendizado por reforço, o que significa que podem treinar agentes defensivos além de avaliá-los. Essa é a contribuição mais duradoura: uma régua compartilhada e inspecionável para uma tarefa em que uma falha silenciosa é uma vulnerabilidade ativa.