일을 끝냈다고 말하는 에이전트와 실제로 끝낸 에이전트 는 다릅니다. Microsoft의 벤치마크 ThinkingBox는 바로 이 차이를 중심으로 만들어졌습니다. 507개 과제 각각은 에이전트에게 실제 백엔드, MCP 도구 모음, 가상의 고객을 주고, 마지막에 데이터베이스에서 실제로 무엇이 바뀌었는지 확인합니다. 연구팀은 Hugging Face와 함께 쓴 글에서 이 확인 절차를 그대로 학습 신호로 바꾼 결과를 보고했으며, 실제 운영 기록을 다루는 일에 쓸 모델을 고르는 사람에게 참고가 됩니다.
아이디어는 단순합니다. 실행 가능한 확인으로 데이터베이스 최종 상태를 통과 또는 실패로 판정할 수 있다면, 그것을 강화 학습의 보상으로도 쓸 수 있습니다. 어려운 부분은 연습 과제를 고르는 일이었습니다. 모델이 이미 푸는 과제나 전혀 못 푸는 과제는 아무것도 가르쳐 주지 못하므로, 연구팀은 학습 전 모델로 후보마다 성공률을 한 번 추정하고 쓸모 있는 중간 난도의 187개 과제를 고정해 썼습니다. 이어 Qwen3.8-27B를 GRPO로 H100 24장에서 50단계 미세 조정하고, 학습 중 보지 못한 분야와 데이터베이스로 이루어진 507개 벤치마크 과제로 시험했습니다.
평균 성공률은 51.70%에서 60.78%로 올랐습니다. 더 큰 변화는 일관성으로, 20번 시도 모두 성공한 과제가 38개에서 107개로 늘었습니다. 한 호텔 예약 사례에서 기본 모델은 20번 중 15번이나 필요한 관리자 승인 없이 예약을 바꿨지만, 학습한 모델은 매번 그대로 두었습니다. 비교하자면 연구팀의 이전 수치에서 매번 성공한 과제는 Claude Opus 5.5가 241개, GPT-6 Astra가 231개였고, GPT-5.6 Sol은 평균 61.91%로 미세 조정한 Qwen보다 약간 높았지만 매번 성공한 과제는 82개로 더 적었습니다. 저자들은 학습한 모델이 믿을 수 있게 처리한 과제 하나당 비용을 8.00달러로 추정하며, 이는 GPT-6 Astra의 7.45달러, Opus 5.5의 7.80달러에 가깝습니다.
대가도 솔직하게 밝혔습니다. 한 번 이상 푼 과제는 453개에서 446개로 조금 줄었고, 다섯 분야 중 세 분야에서 감소했으며, 자동차 보험은 7.0포인트 떨어졌습니다. 모델은 더 넓어진 것이 아니라 더 반복 가능해졌습니다.
이는 저자들 자체 벤치마크에서 나온 블로그 결과이며, 가상 사용자와 일부 채점은 GPT-5 Chat이 맡았고, 비용 수치는 실제 청구서가 아니라 비교용 지표입니다. 학습 코드가 GitHub에 있어 재현은 가능합니다. 누군가 다른 에이전트 벤치마크에서 재현하기 전까지는 확립된 방법이 아니라 유망한 레시피로 봐야 합니다.