AI 모델을 평가하는 외부 기관이 보는 것은 대개 연구소가 보여 주기로 한 것, 즉 API 뒤의 모 델이나 문서, 발표 자료입니다. Anthropic은 최전선 모델을 평가하는 비영리 단체 METR과 한 걸음 더 나아갔습니다. METR 직원 6명에게 회사 장비, 사무 공간, 그리고 Anthropic 자체 위험 평가 팀과 거의 같은 수준의 내부 도구 및 시스템 접근권을 주었고, METR은 위험 수준, 사고, 관행에 대한 결과를 공개할 예정입니다.
이를 단순한 제스처 이상으로 만드는 것은 규칙입니다. 고객 데이터, 변호사와 의뢰인 사이의 특권 정보, 모델 구조 세부 사항 같은 정해진 몇몇 범주를 빼면, Anthropic 직원들은 정렬 위험을 다루는 동료에게 하듯 METR 팀과 정보를 나누도록 권장받습니다. Anthropic은 공개를 거부할 수 없습니다. 기밀 지식재산처럼 미리 정한 범주의 정보는 삭제를 요구할 수 있고 무엇이 그 범주에 드는지도 Anthropic이 정하지만, METR은 자신이 받은 접근의 수준에 대해 공개적으로 말할 권리를 유지합니다. METR 팀은 강제력 있는 계약 아래 일하며, 다른 프로젝트로 Anthropic과 일하는 METR의 다른 연구자들과 분리돼 있습니다.
Anthropic은 이 방식을 은행 감독에 빗댑니다. 내부자가 위험을 가장 잘 알기 때문에 규제 당국이 대형 은행에 검사관을 상주시키는 것과 같다는 논리입니다. 이는 기업들이 독립 감사인이나 평가자와 협력하겠다고 약속한 White House Accord on Super Intelligence에 Anthropic이 서명한 데 따른 것입니다. Anthropic은 세 단계의 접근을 설명합니다. 자사 승인을 받아 공개하는 범위가 좁은 조사, 승인 없이 공개할 수 있는 더 넓은 접근, 그리고 이번에 METR에 적용한 상주형입니다. SecureBio는 Anthropic의 8월 위험 보고서 중 화학·생물 무기 장을 검토하고 있고, Accenture와 Faculty와는 더 넓은 협력을 추진 중이며, Hugging Face를 포함한 다른 기관과도 논의가 진행 중입니다.
Claude 사용자에게 실질적인 가치는 Anthropic 모델이 얼마나 위험한지에 대한 두 번째의 독립적인 설명을 얻는다는 점입니다. 영국 정부 시험에서 보인 Claude Mythos 5의 행동 같은 일이 있은 뒤라 더욱 중요합니다. Anthropic은 평가자의 조건도 제시합니다. 전문성, 지분이나 재정적 의존이 없을 것, 위험을 제대로 판단할 만큼의 접근권입니다.
진짜 시험은 이제부터입니다. 이 방식으로 나온 METR 보고서는 아직 없으며, 그 신뢰성은 결과가 Anthropic 자체 결론과 다를 때가 있는지, 삭제가 얼마나 자주 쓰이는지에 달려 있습니다. 6명은 Anthropic 규모의 회사에 비하면 작은 팀입니다. 또 이 방식은 자율적이어서 Anthropic이 유지하기로 하는 동안에만 회사를 구속합니다. 다른 연구소들에게는 이제 따라잡거나, 따르지 않는 이유를 설명해야 할 분명한 기준이 생겼습니다.