AI가 자신의 개발 속도를 끌어올리고 있느냐는 질문은 주로 연구소 바깥에서 논의돼 왔습니다. 독립 AI 안전 연 구 단체인 METR가 이번에는 한 연구소 안에서 이를 들여다봤습니다. Anthropic 내부에서 11주 동안 조사한 끝에, 회사의 모델이 1년 전보다 약 두 배 빠르게 발전하고 있으며 그 가속의 대부분이 AI 자체에서 나온다고 보고했습니다.
The Verge가 전한 보고서 내용에 따르면, 벤치마크 점수는 Anthropic이 지난 1년 동안 과거 기준 약 2년치 진전을 이뤘음을 보여 줍니다. METR는 지금까지 AI 발전의 주된 동력이던 학습 연산량 증가만으로는 설명되지 않는다고 확신하며, 10월 기준으로 가속의 대부분은 "AI 덕분"이고 그 비중이 커지고 있다고 밝혔습니다. Anthropic의 가장 뛰어난 내부 모델을 쓰는 직원들은 AI 도움이 없을 때보다 약 12배 생산적이라고 스스로 답했는데, 이는 몇 달 전 Mythos 5를 쓰던 때 응답의 약 두 배입니다. 향상의 대부분은 여전히 AI가 사람 연구자를 돕는 데서 나오지만, METR는 완전히 자율적인 기여가 곧 더 중요해질 조짐이 있다고 보았고, 더 빠른 진전을 막을 뚜렷한 병목도 찾지 못했습니다. 보고서는 또 Anthropic이 지난 6개월 동안 공개하지 않은 모델 세 개의 학습을 마쳤으며, 코드명은 Model 2, Model 3, Model 4라고 전합니다.
주의할 점은 대중이 볼 수 없는 부분입니다. Anthropic은 최종 보고서를 가릴 권리가 있었고 이를 폭넓게 썼습니다. METR는 약 100쪽 분량의 보고서를 제출했는데, Anthropic이 경쟁사에 도움이 될 수 있다는 이유로 METR가 가장 유익하다고 본 증거의 대부분을 지웠다고 말합니다. METR는 지워진 내용 대부분이 매우 개괄적인 수준이었다고 밝혔습니다. 그 결과 대중은 바람직한 수준보다 훨씬 더 METR의 판단에 기댈 수밖에 없다고 METR는 적었습니다. Anthropic 공동 창업자 Sam McCandlish도 가림 처리로 검증이 더 어려 워졌다는 점을 인정했습니다.
반응은 날카롭습니다. The Verge가 인용한 Apollo Research의 Marius Hobbhahn 등 연구자들은 그 속도가 영향력 있는 시나리오 AI 2027보다도 빨라 보인다고 말하고, 비판자들은 상장을 준비하는 Anthropic이 개발 속도를 늦추자고 촉구하면서 정작 자신은 빠르게 달리고 있다는 모순을 지적합니다.
Claude 사용자에게 실질적인 의미는, 저희가 리뷰하는 도구 뒤의 모델들이 이미 내부에서 쓰이는 더 강한 버전과 함께 앞으로도 빠르게 바뀔 가능성이 크다는 것입니다. 그 밖의 모든 사람에게 남은 질문은 감독입니다. 직원들의 자기 보고 생산성 수치와 크게 가려진 평가는 시작일 뿐, 실제로 얼마나 빠르게 나아가고 있는지 판가름할 독립적이고 검증 가능한 증거는 아닙니다.