作業が終わったと言うエージェントと、実際に終えたエージェントは同じではありません。MicrosoftのベンチマークThinkingBoxは、この差を軸に作られています。507の課題はそれぞれ、エージェントに実際のバックエンド、MCPツール一式、模擬の顧客を与え、最後にデータベースで実際に何が変わったかを確かめます。チームはHugging Faceとの共同記事で、この確認をそのまま学習の信号に変えた結果を報告しており、本番の記録に触れる仕事向けにモデルを選ぶ人にとって参考になります。
発想は単純です。実行可能な確認でデータベースの最終状態を合格か不合格か判定できるなら、それは強化学習の報酬にも使えます。難しかったのは練習用の課題選びでした。モデルがすでに解ける課題も、まったく解けない課題も学びにならないため、チームは未学習のモデルで各候補の成功率を一度だけ見積もり、役に立つ中間の難しさの187課題を固定して使いました。そのうえでQwen3.8-27BをGRPOで50ステップ、24台のH100で微調整し、学習中に見ていない分野とデータベースからなる507のベンチマーク課題で評価しました。
平均成功率は51.70%から60.78%に上がりました。より大きな変化は安定性で、20回の試行すべてで成功した課題は38から107に増えました。あるホテル予約の例では、元のモデルは20回中15回、必要な管理者の承認なしに予約を変更しましたが、学習後のモデルは毎回変更しませんでした。比較のために、チームの以前の数字では、毎回成功した課題はClaude Opus 5.5が241、GPT-6 Astraが231です。GPT-5.6 Solは平均では微調整後のQwenをわずかに上回る61.91%でしたが、毎回成功した課題は82と少なくなっています。著者らは、学習後のモデルで確実にこなせる課題1件あたり8.00ドルと見積もっており、GPT-6 Astraの7.45ドル、Opus 5.5の7.80ドルに近い水準です。
代償も率直に報告されています。少なくとも1回解けた課題は453から446へとわずかに減り、5分野のうち3分野で下がりました。自動車保険では7.0ポイント落ちています。モデルは幅広くなったのではなく、再現性が高くなったのです。
これは著者ら自身のベンチマークでのブログ上の結果で、模擬ユーザーと一部の採点はGPT-5 Chatが担い、コストの数字は実際の請求額ではなく比較用の指標です。学習コードはGitHubで公開されており、再現は可能です。誰かがほかのエージェント向けベンチマークで再現するまでは、確立した手法ではなく有望なレシピとして扱うべきです。