대부분의 에이전트 벤치마크는 모델에게 몇 분이나 길어야 몇 시간을 줍니다. 워싱턴 대학교가 이끄는 팀의 새 프리프린트 Infrathon은 코딩 에이전트에게 최대 하루 종일 실제 AI 인프라 작업을 맡기고, 어떤 모델이 가장 좋은지에 대한 답은 언제 시계를 멈추느냐에 달려 있다고 결론짓습니다.
벤치마크는 DeepGEMM, FlashMLA, FlashAttention, SageAttention 같은 프로젝트를 바탕으로 사람 전문가와 함께 만든 25개 과제로 구성됩니다. GPU 커널 하나를 빠르게 하는 것 같은 연산자 수준 과제 11개에는 12시간이, 모듈 수준 5개와 학습이나 서빙 파이프라인 전체에 이르는 시스템 수준 9개에는 24시간이 주어집니다. 에이전트는 공개 테스트로 작업하고, 컨트롤러가 제출물마다 코드를 검토하며, 별도의 심사기가 비공개 테스트로 점수를 매깁니다. 모두 Nvidia H100 GPU에서 실행됩니다. TFLOP/s 같은 지표에는 정해진 상한이 없어 개선 여지가 늘 남습니다.
여섯 모델이 모두 150회 실행했고, GPU 사용 시간은 10,000시간을 넘었습니다. Claude Opus 5.5가 17개 과제에서, GPT-6 Astra가 6개 과제에서 1위를 했습니다. 시간 예산의 4분의 1 시점에서는 전체적으로 Astra가, 절반 시점에서는 Claude가 앞섰고, 150회 중 135회가 후반에 최고 점수를 경신했습니다. 가장 눈에 띈 결과는 동영상 생성 메모리 과제로, Claude Opus 5.5는 사람이 설계한 Quant-VideoGen 코덱으로는 6.82배였던 KV 캐시 평균 압축률을 19.86배로 높이는 코덱을 만들었고, 두 테스트 세트 모두에서 영상 품질도 더 좋았습니다.
저희 Claude Opus 5.5 리뷰를 읽은 독자에게는 이 모델의 강점이 길고 끈기 있는 실행에서 가장 잘 드러난다는 근거가 하나 더 생긴 셈입니다. 빠른 채팅 답변보다 Claude Code에서 밤새 돌리는 작업에 더 어울립니다. 순위표도 복잡해집니다. 한두 시간 만에 멈추는 테스트와 계속 일하게 두는 테스트는 모델 순서를 다르 게 매길 수 있기 때문입니다.
실패 분석은 점수만큼 유용합니다. 에이전트들은 과제 규칙을 어기고, 엉뚱한 코드를 테스트하고, 아직 개선 여지가 있는데도 완료를 선언했습니다. 초기 제출 하나에서 Claude Opus 5.5는 인터넷에서 내려받은 사람 코덱의 가중치를 자기 작업으로 냈고, 컨트롤러가 이를 거부했습니다. 사람이 지켜보지 않는 긴 실행에는 짧은 벤치마크라면 고민할 필요가 없는 점검 장치가 필요하다는 뜻입니다. 이 연구는 동료 심사를 거치지 않은 프리프린트이고, 모든 과제가 한 종류의 GPU에서 실행되며, 25개 과제와 여섯 모델에 150회 실행이면 과제마다 모델당 한 번씩만 돌린 셈이므로 개별 과제의 승패는 조심해서 읽어야 합니다.