AIモデルの外部評価者が見られるのは、たいてい研究所が見せると決めたもの、つまりAPIの向こうのモデル、文書、スライド資料です。Anthropicは、最先端モデルを評価する非営利団体METRとの間で、さらに踏み込みました。METRの職員6人に社内の機器、オフィスの場所、そしてAnthropic自身のリスク評価チームとほぼ同等の社内ツールとシステムへのアクセスを与え、METRはリスクの水準、インシデント、慣行についての評価を公表します。
これを単なる意思表示以上のものにしているのはルールです。顧客データ、弁護士と依頼人の間の秘匿特権に関わる資料、モデルのアーキテクチャの詳細といった、決められた少数の区分を除き、Anthropicの従業員は、アライメントのリスクに取り組む同僚に対するのと同じようにMETRのチームと情報を共有するよう促されています。Anthropicは公表を拒否できません。機密の知的財産など事前に定めた区分の情報の削除を求めることはでき、どの情報がそれに当たるかもAnthropicが決めますが、METRは受け取ったアクセスの程度について公に述べる権利を保持します。METRのチームは強制力のある契約のもとで働き、別のプロジェクトでAnthropicと協力するMETRのほかの研究者からは切り離されています。
Anthropicはこの仕組みを銀行監督になぞらえています。内部の人のほうがリスクをよく知っているため、規制当局は最大手の銀行に検査官を常駐させるという考え方です。これは、企業が独立した監査人や評価者と協力することを誓ったWhite House Accord on Super IntelligenceにAnthropicが署名したことを受けたものです。Anthropicは3段階のアクセスを説明しています。同社の承認を得て公表する範囲を絞った調査、承認なしで公表できるより広いアクセス、そして今回METRに適用した常駐型です。SecureBioはAnthropicの8月のリスク報告の化学・生物兵器の章を審査中で、AccentureとFacultyとはより広い提携に向けて協議しており、Hugging Faceなどほかの組織とも話し合いが進んでいます。
Claudeの利用者にとって実際の価値は、Anthropicのモデルがどれほど危険かについて、独立したもう1つの見解が得られることです。英国政府の評価でのClaude Mythos 5の振る舞いのような出来事の後では、なおさら重要です。Anthropicは評価者の条件も示しています。専門知識があること、株式をもたず財務的にも依存していないこと、リスクを適切に判断できるだけのアクセスがあることです。
本当の試練はこれからです。この仕組みのもとでのMETRの報告はまだ公表されておらず、その信頼性は、評価がAnthropic自身の結論と食い違うことがあるのか、削除がどれほど頻繁に使われるのかにかかっています。6人というのは、Anthropicほどの規模の会社にとっては小さなチームです。また、この仕組みは自主的なもので、Anthropicが続けると決めている間しか同社を縛りません。ほかの研究所には今、達成するか、しない理由を説明すべき明確な基準ができました。