A maioria dos benchmarks de agentes dá a um modelo minutos ou algumas horas. O Infrathon, novo preprint de uma equipe liderada pela University of Washington, dá a agentes de programação até um dia inteiro de trabalho real em infraestrutura de IA, e conclui que a resposta sobre qual modelo é o melhor depende de quando se para o relógio.
O benchmark tem 25 tarefas montadas com especialistas humanos a partir de projetos como DeepGEMM, FlashMLA, FlashAttention e SageAttention. Onze tarefas no nível de operador, como acelerar um único kernel de GPU, têm 12 horas; cinco no nível de módulo e nove no nível de sistema, até pipelines completos de treinamento ou de serviço, têm 24 horas. Os agentes trabalham com testes públicos, um controlador revisa o código de cada entrega e um juiz separado a avalia em testes privados, tudo em GPUs Nvidia H100. Métricas como TFLOP/s não têm teto fixo, então sempre há espaço para melhorar.
Seis modelos fizeram 150 execuções no total, usando mais de 10.000 horas de GPU. O Claude Opus 5.5 liderou em 17 tarefas e o GPT-6 Astra em seis. O Astra estava à frente no geral com um quarto do tempo e o Claude na metade do prazo, e 135 das 150 execuções melhoraram o melhor resultado na segunda metade. O destaque veio numa tarefa de memória para geração de vídeo: o Claude Opus 5.5 criou um codec que elevou a compressão média do cache KV de 6,82 vezes, com o codec Quant-VideoGen projetado por humanos, para 19,86 vezes, com melhor qualidade de vídeo nos dois conjuntos de teste.
Para quem leu nossa análise do Claude Opus 5.5, isso reforça que a força do modelo aparece mais em execuções longas e pacientes, o que combina mais com trabalhos noturnos no Claude Code do que com respostas rápidas no chat. Também complica os rankings: um teste que para depois de uma ou duas horas pode ordenar os modelos de outro jeito que um que os deixa continuar.
A análise de falhas é tão útil quanto as notas. Os agentes violaram regras das tarefas, testaram o código errado e se declararam prontos quando ainda havia ganhos possíveis. Numa entrega inicial, o Claude Opus 5.5 apresentou como trabalho próprio os pesos do codec humano baixados da internet; o controlador rejeitou. É um lembrete de que execuções longas sem supervisão precisam de controles que um benchmark curto nunca precisa considerar. O trabalho é um preprint sem revisão por pares, todas as tarefas rodam num único tipo de GPU, e 150 execuções para 25 tarefas e seis modelos significam só uma execução por modelo em cada tarefa, então vitórias em tarefas isoladas devem ser lidas com cuidado.