研究所が新しいモデルは前のモデルより安全だと言うとき、その主張の価値は裏づけとなるテスト次第です。Anthropicは安全性評価の作り方についての長いガイドを公開しましたが、最も役に立つのはある告白です。単発のやり取りで測るテストでは、もはやモデルの差が出ないというのです。システムカードを根拠にClaude Opus 5.5、Claude Fable 5.1、あるいは競合モデルを選ぶ人にとって、見出しの数字をどこまで重視すべきかが変わります。
数字ははっきりしています。AnthropicのAPIでは、最近のどのモデルも単発テストで無害な応答の割合が94%から98%の間にあります。これらのテストは16の方針領域と七つの言語をカバーしていますが、いまは主に後退の確認に使われています。同社は、実際の害は会話の中で積み重なることが多いと主張します。利用者が序盤に失業を打ち明け、何ターンも後に一見ふつうの質問をする、といった具合です。そこで現在は複数ターンのシミュレーションに頼っています。別のClaudeモデルが分野の専門家の書いた仕様に従って利用者を演じ、採点モデルは一つのターンでも問題があれば会話全体を不合格とします。
ガイドは数字のもろさについても率直です。APIでの複数ターンの結果の信頼区間は、プラスマイナス10ポイントを超えることがあります。恋愛詐欺のテストではClaude Opus 5が98%、Opus 5.5が94%でしたが、差は統計的に有意ではありませんでした。設定の影響はさらに大きく、Fable 5.1ではAPIとclaude.aiの結果に最大34ポイントの差が出ました。システムプロンプ トの変更一つで、自傷に関する指標がAPIの60%からclaude.aiの94%に上がった例もあります。Anthropicはまた、自社の事故を受けてテスト環境を強化し、モデルにインターネット接続を与える評価の多くを一時停止したと述べています。
実務上の助言は方法論の教科書のようです。データを集める前に測る対象を決める、採点モデルを人間のラベルと照合する、複雑な複数ターンのテストには最低100項目、単純なものには1,000項目を使う、不確かさを報告する、といった内容です。多くは心理学が再現性の危機の後に取り入れた改革と重なり、UK AI Security InstituteのInspectフレームワークやAnthropic自身のPetriツールキットも紹介されています。
明らかな限界は、テストを採点する会社がモデルも作っていることです。ガイドが共有するのは方法であってテストセットではないため、外部の人が数字を再現することはできません。Anthropicや競合を評価する際の妥当な基準ではありますが、どのモデルもそれを満たしている証拠ではありません。