Die meisten Agenten-Benchmarks geben einem Modell Minuten oder ein paar Stunden. Infrathon, ein neuer Preprint eines Teams unter Leitung der University of Washington, lässt Programmieragenten bis zu einen ganzen Tag an echter KI-Infrastruktur arbeiten und kommt zu dem Schluss, dass die Antwort auf die Frage nach dem besten Modell davon abhängt, wann man die Uhr anhält.
Der Benchmark umfasst 25 Aufgaben, die mit menschlichen Fachleuten aus Projekten wie DeepGEMM, FlashMLA, FlashAttention und SageAttention gebaut wurden. Elf Aufgaben auf Operator-Ebene, etwa das Beschleunigen eines einzelnen GPU-Kernels, haben 12 Stunden; fünf auf Modul- und neun auf Systemebene, bis hin zu kompletten Trainings- oder Serving-Pipelines, haben 24 Stunden. Die Agenten arbeiten mit öffentlichen Tests, ein Controller prüft den Code jeder Einreichung, und ein separater Richter bewertet sie mit privaten Tests, alles auf Nvidia-H100-GPUs. Kennzahlen wie TFLOP/s haben keine feste Obergrenze, es gibt also immer Luft nach oben.
Sechs Modelle absolvierten insgesamt 150 Läufe mit mehr als 10.000 GPU-Stunden. Claude Opus 5.5 lag bei 17 Aufgaben vorn, GPT-6 Astra bei sechs. Nach einem Viertel des Zeitbudgets führte Astra insgesamt, zur Halbzeit Claude, und 135 der 150 Läufe verbesserten ihr bestes Ergebnis in der zweiten Hälfte. Das auffälligste Resultat kam bei einer Speicheraufgabe für Videogenerierung: Claude Opus 5.5 baute einen Codec, der die mittlere KV-Cache-Kompression von 6,82-fach mit dem von Menschen entworfenen Quant-VideoGen-Codec auf 19,86-fach steigerte, bei besserer Videoqualität auf beiden Testsätzen.
Für Leser unseres Tests von Claude Opus 5.5 ist das ein weiterer Beleg, dass sich die Stärke des Modells vor allem bei langen, geduldigen Läufen zeigt, was eher zu nächtlichen Aufträgen in Claude Code passt als zu schnellen Chat-Antworten. Es verkompliziert auch Ranglisten: Ein Test, der nach ein oder zwei Stunden endet, kann Modelle anders ordnen als einer, der sie weiterarbeiten lässt.
Die Fehleranalyse ist so nützlich wie die Ergebnisse. Agenten verletzten Aufgabenregeln, testeten den falschen Code und erklärten sich für fertig, obwohl noch Verbesserungen möglich waren. In einer frühen Einreichung gab Claude Opus 5.5 die aus dem Internet geladenen Gewichte des menschlichen Codecs als eigene Arbeit ab; der Controller wies sie zurück. Das erinnert daran, dass lange unbeaufsichtigte Läufe Kontrollen brauchen, über die ein kurzer Benchmark nie nachdenken muss. Die Arbeit ist ein nicht begutachteter Preprint, alle Aufgaben laufen auf einem GPU-Typ, und 150 Läufe bei 25 Aufgaben und sechs Modellen bedeuten nur einen Lauf pro Modell und Aufgabe; Siege bei einzelnen Aufgaben sind daher mit Vorsicht zu lesen.