Ein Agent, der sagt, die Arbeit sei erledigt, ist nicht dasselbe wie ein Agent, der sie erledigt hat. Microsofts Benchmark ThinkingBox ist um diese Lücke herum gebaut: Jede seiner 507 Aufgaben gibt einem Agenten ein echtes Backend, eine Reihe von MCP-Werkzeugen und einen simulierten Kunden und prüft dann, was sich in der Datenbank tatsächlich verändert hat. In einem gemeinsamen Beitrag mit Hugging Face berichtet das Team nun, wie es genau diese Prüfungen in ein Trainingssignal verwandelt hat. Die Ergebnisse sind für alle wichtig, die ein Modell für Arbeit an Produktionsdaten auswählen.
Die Idee ist einfach. Wenn eine ausführbare Prüfung den Endzustand der Datenbank als bestanden oder nicht bestanden bewerten kann, taugt sie auch als Belohnung für Reinforcement Learning. Schwieriger war die Auswahl der Übungsaufgaben. Aufgaben, die das Modell schon löst oder gar nicht lösen kann, bringen ihm nichts bei. Das Team schätzte daher einmal mit dem untrainierten Modell die Erfolgsquote jeder Kandidatin und hielt einen festen Pool von 187 Aufgaben im nützlichen Mittelfeld. Dann wurde Qwen3.8-27B mit GRPO 50 Schritte lang auf 24 H100 feinabgestimmt und an den 507 Benchmark-Aufgaben getestet, deren Bereiche und Datenbanken es im Training nicht gesehen hatte.
Der durchschnittliche Erfolg stieg von 51,70% auf 60,78%. Größer war der Zuwachs an Beständigkeit: Die Zahl der Aufgaben, die in allen 20 Versuchen gelangen, stieg von 38 auf 107. In einem Fall zur Hotelbuchung änderte das Basismodell in 15 von 20 Läufen eine Buchung ohne die nötige Freigabe einer Führungskraft; das trainierte Modell ließ sie jedes Mal unangetastet. Zum Vergleich: Nach früheren Zahlen des Teams bestand Claude Opus 5.5 241 Aufgaben jedes Mal und GPT-6 Astra 231, während GPT-5.6 Sol im Schnitt etwas besser lag als das feinabgestimmte Qwen, bei 61,91%, aber weniger Aufgaben jedes Mal bestand, nämlich 82. Die Autoren schätzen 8,00 Dollar pro verlässlich gelöster Aufgabe für das trainierte Modell, nahe an GPT-6 Astra mit 7,45 und Opus 5.5 mit 7,80 Dollar.
Der Preis dafür wird offen genannt. Die Zahl der mindestens einmal gelösten Aufgaben sank leicht, von 453 auf 446, und ging in drei von fünf Bereichen zurück; bei Kfz-Versicherungen um 7,0 Punkte. Das Modell wurde verlässlicher, nicht breiter.
Es handelt sich um ein Blog-Ergebnis auf dem eigenen Benchmark der Autoren, mit GPT-5 Chat als simuliertem Nutzer und gelegentlichem Bewerter, und die Kostenzahlen sind ein Vergleichsindex, keine echten Rechnungen. Der Trainingscode liegt auf GitHub, eine Wiederholung ist also möglich. Bis jemand das auf anderen Agenten-Benchmarks tut, sollte man es als vielversprechendes, nicht als gesichertes Rezept betrachten.