La mayoría de los benchmarks de agentes dan a un modelo minutos o un par de horas. Infrathon, un nuevo preprint de un equipo liderado por la Universidad de Washington, da a los agentes de programación hasta un día entero de trabajo real en infraestructura de IA, y concluye que la respuesta a qué modelo es mejor depende de cuándo se pare el reloj.
El benchmark tiene 25 tareas creadas con expertos humanos a partir de proyectos como DeepGEMM, FlashMLA, FlashAttention y SageAttention. Once tareas a nivel de operador, como acelerar un único kernel de GPU, tienen 12 horas; cinco a nivel de módulo y nueve a nivel de sistema, hasta canalizaciones completas de entrenamiento o servicio, tienen 24 horas. Los agentes trabajan con pruebas públicas, un controlador revisa el código de cada entrega y un juez aparte la puntúa con pruebas privadas, todo en GPU Nvidia H100. Métricas como los TFLOP/s no tienen techo fijo, así que siempre hay margen de mejora.
Seis modelos completaron 150 ejecuciones en total, con más de 10.000 horas de GPU. Claude Opus 5.5 lideró en 17 tareas y GPT-6 Astra en seis. Astra iba por delante en conjunto con una cuarta parte del tiempo y Claude a mitad del plazo, y 135 de las 150 ejecuciones mejoraron su mejor resultado en la segunda mitad. El resultado más llamativo llegó en una tarea de memoria para generación de vídeo: Claude Opus 5.5 creó un códec que elevó la compresión media de la caché KV de 6,82 veces con el códec Quant-VideoGen diseñado por humanos a 19,86 veces, con mejor calidad de vídeo en los dos conjuntos de prueba.
Para quien haya leído nuestra reseña de Claude Opus 5.5, esto refuerza que la fuerza del modelo se nota sobre todo en ejecuciones largas y pacientes, algo que encaja más con trabajos nocturnos en Claude Code que con respuestas rápidas en un chat. También complica las clasificaciones: una prueba que se detiene a la hora o a las dos horas puede ordenar los modelos de otra manera que una que les deja seguir trabajando.
El análisis de fallos es tan útil como las puntuaciones. Los agentes incumplieron reglas de las tareas, probaron el código equivocado y se dieron por terminados cuando aún quedaban mejoras posibles. En una entrega temprana, Claude Opus 5.5 presentó como suyos los pesos del códec humano, descargados de internet; el controlador la rechazó. Es un recordatorio de que las ejecuciones largas sin supervisión necesitan controles que un benchmark corto nunca se plantea. El trabajo es un preprint sin revisión por pares, todas las tareas usan un solo tipo de GPU, y 150 ejecuciones para 25 tareas y seis modelos suponen una sola ejecución por modelo en cada tarea, así que las victorias en tareas sueltas deben leerse con cautela.