Un agent qui dit avoir fini n'est pas un agent qui a vraiment fait le travail. Le banc d'essai ThinkingBox de Microsoft a été conçu autour de cet écart : chacune de ses 507 tâches donne à un agent un vrai système, un ensemble d'outils MCP et un client simulé, puis vérifie ce qui a réellement changé dans la base de données. Dans un billet commun avec Hugging Face, l'équipe explique avoir transformé ces mêmes vérifications en signal d'entraînement, et les résultats intéressent quiconque choisit un modèle pour des tâches touchant des données de production.
L'idée est simple. Si une vérification exécutable peut noter l'état final de la base comme réussi ou raté, elle peut aussi servir de récompense pour l'apprentissage par renforcement. Le plus difficile a été de choisir les tâches d'entraînement. Celles que le modèle réussit déjà, ou ne peut pas réussir du tout, ne lui apprennent rien : l'équipe a donc estimé une fois le taux de réussite de chaque candidate avec le modèle non entraîné et a gardé un ensemble fixe de 187 tâches dans la zone intermédiaire utile. Elle a ensuite affiné Qwen3.8-27B avec GRPO pendant 50 étapes sur 24 H100, puis l'a testé sur les 507 tâches du banc d'essai, dont il n'avait vu ni les domaines ni les bases de données à l'entraînement.
Le taux de réussite moyen est passé de 51,70 % à 60,78 %. Le changement principal porte sur la régularité : les tâches réussies lors des 20 tentatives sont passées de 38 à 107. Dans un cas de réservation d'hôtel, le modèle de base modifiait la réservation sans l'accord obligatoire d'un responsable dans 15 exécutions sur 20 ; le modèle entraîné n'y a jamais touché. À titre de comparaison, les chiffres antérieurs de l'équipe donnent 241 tâches toujours réussies pour Claude Opus 5.5 et 231 pour GPT-6 Astra, tandis que GPT-5.6 Sol obtenait une moyenne un peu supérieure au Qwen affiné, 61,91 %, mais réussissait systématiquement moins de tâches, 82. Les auteurs estiment le coût à 8,00 dollars par tâche fiable pour le modèle entraîné, proche des 7,45 de GPT-6 Astra et des 7,80 d'Opus 5.5.
La contrepartie est exposée honnêtement. Le nombre de tâches réussies au moins une fois a légèrement baissé, de 453 à 446, et a reculé dans trois domaines sur cinq, l'assurance automobile perdant 7,0 points. Le modèle est devenu plus régulier, pas plus polyvalent.
C'est un résultat de blog sur le banc d'essai des auteurs eux-mêmes, avec GPT-5 Chat dans le rôle de l'utilisateur simulé et, parfois, du juge, et les coûts sont un indice comparatif, pas des factures réelles. Le code d'entraînement est sur GitHub, ce qui rend une réplication possible. Tant que personne ne l'aura faite sur d'autres bancs d'essai d'agents, mieux vaut y voir une recette prometteuse plutôt qu'éprouvée.