새로운 종류의 AI 모델은 답을 글로 써 내려가지 않고 한 번의 빠른 처리로 선택지 목록에서 고르기만 합니다. 연구자들은 이를 System One 모델이라 부르며, 요청 라우팅, 도구 선택, 작업 완료 확인 등에 점점 더 많이 쓰입니다. arXiv에 올라온 벤치마크 SO-Arena는 이들에 대해 두 가지를 묻습니다. 얼마나 유능한가, 그리고 그 판단이 흔들리지 않는다고 믿을 수 있는가입니다. 핵심 발견은 두 답이 서로 다르다는 것입니다.
벤치마크는 11개 분야의 작업 2,919개를 다루며 텍스트 이해, 지식과 추론, 안전과 정책, 증거 판단, 에이전트 작업 수행의 다섯 묶음으로 나뉩니다. 참조 라벨은 모델이 실제로 볼 수 있는 정보로 뒷받침되는지 사람이 직접 확인했고, 대부분의 분야는 난이도별로 나뉩니다. 에이전트 작업은 샌드박스에서 돌리며, 웹이나 도구에서 올바른 다음 행동을 고르는지와 기록된 실행을 제대로 판정하는지를 모두 봅니다. 신뢰성은 두 가지 시험으로 따로 측정합니다. 선택지 순서를 바꿔도 답이 유지되는지, 정답 선택지가 빠졌을 때 이를 알아차리는지입니다.
시험한 21개 모델에는 0.4B부터 31B 매개변수까지의 오픈 가중치 System One 모델 16개, 비공개 판단 서비스 Jev API 1.14와 OpenAI Decisions, 그리고 참고용 기존 추론 모델 GPT-6 Sol과 Luna가 포함됩니다. 추론 모델이 여전히 앞서 GPT-6 Sol은 82.3, Luna는 79.7을 기록했고, 가장 좋은 고속 모델인 GLiDE와 KnowLine-31B는 Luna보다 약 10점 뒤졌습니다. Jev API 1.14는 60.4였습니다. 신뢰성에서는 순서가 바뀝니다. 초록에 따르면 성능이 가장 좋은 System One 모델은 신뢰성에서 7위에 그쳤고, 가장 믿을 만한 JevAny-27B는 능력 표에서 한참 아래에 있습니다. 선택지를 섞어도 대부분의 모델은 답을 유지해 18개 중 14개가 0.83에서 0.94 사이였지만, 정답이 빠졌음을 알아차리는 능력은 크게 달랐습니다.
개발자에게는 실용적인 지침입니다. 우리가 리뷰한 Jev나 Google의 새 Decisions API 같은 판단 모델로 트래픽을 라우팅하거나 정책을 적용한다면 능력 순위만 최적화해서는 안 됩니다. 맞는 선택지가 없는데도 제시된 선택지 하나를 자신 있게 고르는 모델은, 조금 약하더라도 빈틈을 알려 주는 모델보다 나쁠 수 있습니다. 논문은 또 난이도가 높아질수록 성능이 떨어지며 에이전트 작업에서 특히 그렇다고 밝힙니다.
한계는 갓 나온 사전 공개 논문의 한계입니다. 동료 심사를 거치지 않았고, 몇몇 모델은 작거나 잘 알려지지 않은 개발사의 것이며, 신뢰성 점수는 두 지표를 독자에 따라 달리 평가할 수 있는 방식으로 합칩니다. 결과는 특정 시점에 각 모델이 문서화한 설정을 반영하며, 이런 서비스는 자주 업데이트됩니다.