AI 에이전트로 코드를 쓰는 일은 이제 흔하지만, 그것으로 보안 구멍을 막는 일은 더 어렵고 위험합니다. 맞아 보이는 패치가 조용히 프로그램을 망가뜨리거나 진짜 결 함을 놓칠 수 있기 때문입니다. Collinear AI와 Hugging Face가 공개한 CWE-bench v2는 바로 그것을 재려고 만들어졌습니다. 에이전트가 이미 작동하는 것을 깨뜨리지 않고 실제 코드베이스의 진짜 보안 약점을 고칠 수 있는가 하는 물음입니다.
이 벤치마크는 소프트웨어 약점 유형의 표준 목록인 CWE 가운데 91종에 걸친 100개 과제로 이루어집니다. 각 과제는 현실적인 지시와 결정론적 검사를 갖춘 자족적 환경이며, 제작진은 그 모두를 손으로 검토했다고 말합니다. 품질 기준은 눈여겨볼 만합니다. 시작 코드는 실패해야 하고 참조 수정은 통과해야 하며, 원래 기능은 패치 후에도 작동해야 하고, 채점기는 수리를 논리적으로 생각하는 대신 알려진 업스트림 수정을 외워 옮기기만 하는 모델을 걸러 내도록 만들어졌습니다. 전체적으로 100개 중 95개가 적어도 한 모델에 의해 풀렸으니, 어렵지만 불가능하지는 않은 집합입니다.
상위권은 박빙입니다. 평가된 11개 모델 가운데 Gemini 4 Argon이 67.8% pass@1, 네 번 시도에서 81.0%로 선두이며, Claude Opus 5.5의 67.3% pass@1을 근소하게 앞섭니다. 둘 다 저희가 리뷰하는 모델입니다. 그러나 진짜 결정은 비용 열에 있습니다. 역시 저희가 리뷰하는 DeepSeek V4.1 Flash는 실행당 4센트로 57.0%에 이르고, Opus는 추가 10점에 1.83달러, Argon은 3.92달러가 듭니다. 큰 코드베이스 전반에 패치 에이전트를 돌리는 팀에게, 약 100분의 1 가격으로 거의 거기까지 가는 모델은 타협이 아니라 유력한 선택지입니다.
실용적인 단서는 같은 숫자 안에 있습니다. 선두 모델조차 매 시도마다 이 집합의 19%를 놓치므로, 더 어려운 약점의 긴 꼬리는 해결과는 거리가 멀고, 보안 수정은 배포 전에 사람이 여전히 검토해야 합니다. 이 벤치마 크는 합격률을 보고하지, 합격한 패치가 가장 깔끔하거나 유지보수하기 좋은지는 보고하지 않습니다.
이를 정직하게 지키는 것이 둘 있습니다. 과제 집합, 채점기, 실행 장치가 모두 공개되어 있어, 누구나 자기 모델을 돌려 공급자의 말을 그대로 믿는 대신 숫자를 확인할 수 있습니다. 그리고 같은 환경이 강화학습 설정으로 태그되어 있어, 방어형 에이전트를 평가할 뿐 아니라 훈련시키는 데도 쓸 수 있습니다. 이것이 더 오래가는 기여입니다. 조용한 실패가 곧 살아 있는 취약점이 되는 작업에 대한, 공유되고 들여다볼 수 있는 잣대입니다.