Um agente que diz que terminou não é o mesmo que um agente que de fato fez o trabalho. O benchmark ThinkingBox, da Microsoft, foi criado em torno dessa diferença: cada uma das suas 507 tarefas dá a um agente um backend real, um conjunto de ferramentas MCP e um cliente simulado, e depois verifica o que realmente mudou no banco de dados. Num texto conjunto com o Hugging Face, a equipe relata agora como transformou essas mesmas verificações em sinal de treinamento, e os resultados interessam a quem escolhe um modelo para trabalhar com registros de produção.
A ideia é simples. Se uma verificação executável consegue dar aprovado ou reprovado ao estado final do banco, ela também pode servir de recompensa para aprendizado por reforço. O difícil foi escolher as tarefas de treino. As que o modelo já resolve, ou não resolve de jeito nenhum, não ensinam nada, então a equipe estimou uma vez a taxa de sucesso de cada candidata com o modelo sem treino e manteve um conjunto fixo de 187 tarefas na faixa intermediária útil. Depois ajustou o Qwen3.8-27B com GRPO por 50 passos em 24 H100 e o testou nas 507 tarefas do benchmark, cujos domínios e bancos de dados ele não tinha visto no treino.
O sucesso médio subiu de 51,70% para 60,78%. A mudança maior foi na consistência: as tarefas aprovadas nas 20 tentativas foram de 38 para 107. Num caso de reserva de hotel, o modelo base alterou a reserva sem a aprovação obrigatória de um gestor em 15 de 20 execuções; o modelo treinado a deixou intacta todas as vezes. Para comparar, números anteriores da equipe colocam o Claude Opus 5.5 com 241 tarefas aprovadas sempre e o GPT-6 Astra com 231, enquanto o GPT-5.6 Sol teve média um pouco maior que o Qwen ajustado, 61,91%, mas passou sempre em menos tarefas, 82. Os autores estimam US$ 8,00 por tarefa confiável para o modelo treinado, perto dos US$ 7,45 do GPT-6 Astra e dos US$ 7,80 do Opus 5.5.
O custo disso é relatado com franqueza. As tarefas resolvidas pelo menos uma vez caíram um pouco, de 453 para 446, e recuaram em três de cinco domínios; seguro de automóveis perdeu 7,0 pontos. O modelo ficou mais repetível, não mais amplo.
É um resultado de blog no benchmark dos próprios autores, com o GPT-5 Chat no papel de usuário simulado e de juiz ocasional, e os custos são um índice de comparação, não contas reais. O código de treinamento está no GitHub, o que permite replicar. Até alguém fazer isso em outros benchmarks de agentes, vale tratar como uma receita promissora, não comprovada.