本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

AIニュースと研究

ニュース ·

OpenAI、外部の4団体を社内に受け入れ安全性を監査

OpenAIはApollo Research、METR、Transluce、Goodfireと、組み込み型の評価に関する契約を結びました。チェックポイント、学習データ、監視システム、社員へのアクセスが与えられます。METRはOpenAI史上最大の強化学習の実行で不整合な振る舞いを探し、Apolloはモデルが開発者にひそかに反する行動をとるかを調べ、Transluceはアライメント評価を検証します。OpenAIは機密情報を黒塗りし、公表の延期を求めることができます。

外部の安全性評価者がAIモデルを目にするのは通常、終盤になってから、APIを通じて、時間に追われながらです。OpenAIは今回、4つの団体に社内での作業を認め、学習中や社内利用中に、自社の研究者に近いアクセスを与えます。第1段階の対象はApollo Research、METR、Transluce、Goodfireです。

それぞれの役割は異なります。METRは、OpenAI史上最大の強化学習の実行で、既存のテストや監視が見逃したかもしれない失敗を含め、不整合な振る舞いを探し、合意した範囲内で自ら優先順位を決めます。Apollo Researchは、モデルが開発者の意図にひそかに反する行動をとり得るか、OpenAIの安全策がそれを検知できるかを、4つの主張について2段階で評価します。Transluceは学習後のアライメント評価の質と網羅性を調べ、2027年初めにより広い約8週間の追加評価を予定しています。Goodfireは解釈可能性の研究者を送り込んでモデルの内部を調べ、主にOpenAIの研究者向けに使いつつ、学んだことを公表します。

アクセスには、未公開のモデルやチェックポイント、学習データ、監視記録、社員が含まれ得ます。機密性の高い情報を扱う評価者は、OpenAIの端末を使って社内で作業します。重みや構造が機密すぎる場合、OpenAIは評価者と自社の研究者を組ませて分析を行うこともあります。OpenAI Foundationの取締役会にある安全・セキュリティ委員会は黒塗りのない報告書を受け取り、評価者と非公開で話すことができ、Safety Advisory Groupと経営陣が解決できない意見の相違を裁定します。

背景には、各研究所が安全管理の独立評価に合意したWhite House Accord on Super Intelligenceがあります。Anthropicは10月にMETRへ社員並みのアクセスを与え、そこでのMETRによる11週間の評価はすでに公表されています。OpenAIの取り組みは参加団体の数で上回り、先月説明した監視体制の上に成り立っています。

注意点:問題は細かい条件にあります。OpenAIは機密情報を黒塗りし、公表の延期を求める権利を持っています。社員との会話はオフレコで、評価者が公表できるのはOpenAIが事実と認めた内容か、OpenAIが認めなかったという事実だけです。利益相反と待機期間のルールはまだ作成中で、METRによるより広い監視体制の評価は範囲の合意待ちです。独立性は、最初の報告書が実際に何を語り、どれだけ黒塗りされているかで判断されることになります。

結論: 多くの研究所が認めてきたより深いアクセスで、AnthropicがMETRと結んだ同様の取り決めに続くものです。弱点はOpenAIの黒塗りの権利と、記録に残さない社員との対話で、公表される報告書がこの仕組みの実際の独立性を示すことになります。

出典: OpenAI

その他の記事