연구소가 새 모델이 이전 모델보다 안전하다고 말할 때, 그 주장은 뒷받침하는 테스트만큼만 믿을 수 있습니다. Anthropic은 안전성 평가를 어떻게 만드는지 설명하는 긴 가이드를 공개했는데, 가장 쓸모 있는 부분은 하나의 인정입니다. 한 번의 질문과 답으로 보는 단일 턴 테스트로는 이제 모델 간 차이가 드러나지 않는다는 것입니다. 시스템 카드를 근거로 Claude Opus 5.5, Claude Fable 5.1 또는 경쟁 모델을 고르는 사람이라면 대표 점수를 얼마나 믿어야 할지가 달라집니다.
수치는 분명합니다. Anthropic API에서 최근 모델은 모두 단일 턴 테스트에서 무해한 응답 비율이 94%에서 98% 사이입니다. 이 테스트는 16개 정책 영역과 일곱 개 언어를 다루지만 이제는 주로 퇴행 여부를 확인하는 데 쓰입니다. 회사는 실제 피해가 대화 속에서 쌓이는 경우가 많다고 주장합니다. 사용자가 초반에 실직 사실을 말하고 여러 턴 뒤에 평범해 보이는 질문을 하는 식입니다. 그래서 이제는 여러 턴 시뮬레이션에 의존합니다. 별도의 Claude 모델이 분야 전문가가 쓴 명세에 따라 사용자 역할을 하고, 채점 모델은 한 턴이라도 잘못되면 대화 전체를 실패로 처리합니다.
가이드는 수치가 얼마나 불안정한지도 솔직히 밝힙니다. API의 여러 턴 결과에서 신뢰구간은 플러스마이너스 10%포인트를 넘을 수 있습니다. 로맨스 스캠 테스트에서 Claude Opus 5는 98%, Opus 5.5는 94%를 기록했지만 차이는 통계적으로 유의하지 않았습니다. 설정은 더 큰 영향을 줍니다. Fable 5.1에서는 API와 claude.ai 결과가 최대 34포인트까지 달랐고, 시스템 프롬프트 하나를 바꾸자 자해 관련 지표가 API의 60%에서 claude.ai의 94%로 올랐습니다. Anthropic은 또 자사 사고 이후 테스트 환경을 강화하고 모델에 인터넷 접근을 주는 평가 상당수를 중단했다고 밝힙니다.
실무 조언은 방법론 교과서처럼 읽힙니다. 데이터를 모으기 전에 측정 대상을 정하고, 채점 모델을 사람의 라벨과 대조하고, 복잡한 여러 턴 테스트에는 최소 100개 항목, 단순한 테스트에는 1,000개 항목을 쓰고, 불확실성을 보고하라는 것입니다. 상당수는 심리학이 재현성 위기 뒤에 도입한 개혁과 겹치며, UK AI Security Institute의 Inspect 프레임워크와 Anthropic 자체의 Petri 툴킷도 소개합니다.
분명한 한계는 테스트를 채점하는 회사가 모델도 만든다는 점입니다. 가이드는 테스트 세트가 아니라 방법만 공유하므로 외부에서 수치를 다시 계산할 수 없습니다. Anthropic과 경쟁사를 평가할 좋은 기준이지만, 어떤 모델이 그 기준을 충족한다는 증거는 아닙니다.