Un agente que dice haber terminado no es lo mismo que un agente que lo ha hecho. El banco de pruebas ThinkingBox de Microsoft se diseñó en torno a esa diferencia: cada una de sus 507 tareas da a un agente un sistema real, un conjunto de herramientas MCP y un cliente simulado, y después comprueba qué ha cambiado de verdad en la base de datos. En un artículo conjunto con Hugging Face, el equipo cuenta ahora que ha convertido esas mismas comprobaciones en una señal de entrenamiento, y los resultados interesan a quien elige un modelo para trabajos que tocan registros de producción.
La idea es sencilla. Si una comprobación ejecutable puede puntuar el estado final de la base de datos como aprobado o suspenso, también puede servir de recompensa para el aprendizaje por refuerzo. Lo difícil fue elegir las tareas de práctica. Las que el modelo ya resuelve, o no puede resolver en absoluto, no le enseñan nada, así que el equipo estimó una vez la tasa de éxito de cada candidata con el modelo sin entrenar y mantuvo un conjunto fijo de 187 tareas en la franja útil intermedia. Después afinó Qwen3.8-27B con GRPO durante 50 pasos en 24 H100 y lo probó con las 507 tareas del banco, cuyos dominios y bases de datos no había visto en el entrenamiento.
El éxito medio pasó del 51,70% al 60,78%. El cambio mayor fue la constancia: las tareas superadas en los 20 intentos pasaron de 38 a 107. En un caso de reserva de hotel, el modelo base cambió la reserva sin la aprobación obligatoria de un responsable en 15 de 20 ejecuciones; el modelo entrenado la dejó intacta todas las veces. Como referencia, las cifras anteriores del equipo sitúan a Claude Opus 5.5 en 241 tareas superadas siempre y a GPT-6 Astra en 231, mientras que GPT-5.6 Sol obtuvo una media algo mayor que el Qwen afinado, 61,91%, pero superó siempre menos tareas, 82. Los autores calculan 8,00 dólares por tarea fiable para el modelo entrenado, cerca de los 7,45 de GPT-6 Astra y los 7,80 de Opus 5.5.
La contrapartida se cuenta con honestidad. Las tareas resueltas al menos una vez bajaron un poco, de 453 a 446, y cayeron en tres de cinco dominios; los seguros de automóvil perdieron 7,0 puntos. El modelo se volvió más repetible, no más amplio.
Es un resultado de blog sobre el banco de pruebas de los propios autores, con GPT-5 Chat como usuario simulado y juez ocasional, y las cifras de coste son un índice comparativo, no facturas reales. El código de entrenamiento está en GitHub, lo que permite replicarlo. Hasta que alguien lo haga con otros bancos de pruebas de agentes, conviene tratarlo como una receta prometedora y no como una receta probada.