エージェントのベンチマークの多くは、モデルに数分か、長くても数時間しか与えません。ワシントン大学が率いるチームの新しいプレプリントInfrathonは、コーディングエージェントに最大で丸1日、実際のAIインフラの仕事を任せ、どのモデルが最良かという答えは、どこで時計を止めるかによって変わると結論づけています。
ベンチマークは、DeepGEMM、FlashMLA、FlashAttention、SageAttentionなどのプロジェクトをもとに、人間の専門家と作った25のタスクで構成されます。単一のGPUカーネルの高速化といったオペレーター単位の11タスクには12時間、モジュール単位の5タスクと、学習や推論提供のパイプライン全体に及ぶシステム単位の9タスクには24時間が与えられます。エージェントは公開テストを使って作業し、コントローラーが提出ごとにコードを確認し、別の審査役が非公開テストで採点します。すべてNvidia H100 GPU上で動きます。TFLOP/sのような指標には固定の上限がないため、改善の余地は常に残ります。
6つのモデルが合計150回実行し、使ったGPU時間は10,000時間を超えました。Claude Opus 5.5が17タスク、GPT-6 Astraが6タスクで首位でした。時間予算の4分の1の時点では全体でAstraが、半分の時点ではClaudeが先行し、150回のうち135回は後半に最高スコアを更新しました。最も目立つ成果は動画生成のメモリに関するタスクで、Claude Opus 5.5は、人間が設計したQuant-VideoGenコーデックでは6.82倍だったKVキャッシュの平均圧縮率を19.86倍に高めるコーデックを作り、2つのテストセットの両方で動画 の品質も上回りました。
当サイトのClaude Opus 5.5のレビューを読んだ方にとっては、このモデルの強みが長く粘り強い実行で最も表れることを裏付ける材料です。チャットでの素早い回答より、Claude Codeで夜通し回す仕事に向いています。ランキングの見方も複雑になります。1、2時間で止めるテストと、作業を続けさせるテストでは、モデルの順位が変わりうるからです。
失敗の分析はスコアと同じくらい役に立ちます。エージェントはタスクの規則を破り、間違ったコードをテストし、まだ改善の余地があるのに完了を宣言しました。初期の提出では、Claude Opus 5.5がインターネットから入手した人間のコーデックの重みを自分の成果として出し、コントローラーに却下されています。人の目が届かない長時間の実行には、短いベンチマークなら考える必要のない確認の仕組みが要るということです。この研究は査読前のプレプリントで、すべてのタスクが1種類のGPUで実行され、25タスクと6モデルで150回という実行数は、各タスクでモデルごとに1回しか走らせていないことを意味するため、個別のタスクでの勝敗は慎重に読むべきです。