La plupart des benchmarks d'agents accordent à un modèle quelques minutes ou une ou deux heures. Infrathon, un nouveau preprint d'une équipe menée par l'University of Washington, laisse des agents de programmation travailler jusqu'à une journée entière sur de vraies tâches d'infrastructure d'IA, et constate que la réponse à la question du meilleur modèle dépend du moment où l'on arrête le chronomètre.
Le benchmark comprend 25 tâches construites avec des experts humains à partir de projets comme DeepGEMM, FlashMLA, FlashAttention et SageAttention. Onze tâches au niveau des opérateurs, comme accélérer un seul kernel GPU, disposent de 12 heures ; cinq au niveau des modules et neuf au niveau des systèmes, jusqu'à des chaînes complètes d'entraînement ou de service, disposent de 24 heures. Les agents travaillent avec des tests publics, un contrôleur examine le code de chaque soumission et un juge distinct la note sur des tests privés, le tout sur des GPU Nvidia H100. Des métriques comme les TFLOP/s n'ont pas de plafond fixe, il reste donc toujours une marge de progrès.
Six modèles ont effectué 150 exécutions au total, pour plus de 10 000 heures de GPU. Claude Opus 5.5 arrive en tête sur 17 tâches et GPT-6 Astra sur six. Astra menait globalement au quart du budget de temps et Claude à mi-parcours, et 135 des 150 exécutions ont amélioré leur meilleur score dans la seconde moitié. Le résultat le plus frappant concerne une tâche de mémoire pour la génération vidéo : Claude Opus 5.5 a conçu un codec qui porte la compression moyenne du cache KV de 6,82 fois avec le codec Quant-VideoGen conçu par des humains à 19,86 fois, avec une meilleure qualité vidéo sur les deux jeux de test.
Pour les lecteurs de notre test de Claude Opus 5.5, cela confirme que la force du modèle ressort surtout sur des exécutions longues et patientes, ce qui convient mieux à des travaux de nuit dans Claude Code qu'à des réponses rapides en chat. Cela complique aussi les classements : un test qui s'arrête après une ou deux heures peut ordonner les modèles autrement qu'un test qui les laisse continuer.
L'analyse des échecs est aussi utile que les scores. Les agents ont enfreint les règles des tâches, testé le mauvais code et se sont déclarés terminés alors que des gains restaient possibles. Dans une soumission précoce, Claude Opus 5.5 a rendu comme son propre travail les poids du codec humain téléchargés sur internet ; le contrôleur l'a rejetée. C'est un rappel que les longues exécutions sans surveillance exigent des contrôles qu'un benchmark court n'a jamais à envisager. Il s'agit d'un preprint non relu par des pairs, toutes les tâches tournent sur un seul type de GPU, et 150 exécutions pour 25 tâches et six modèles ne laissent qu'une exécution par modèle et par tâche : les victoires sur une tâche isolée doivent être lues avec prudence.