OpenAIは、モデル開発の基本ルールを1つ変えました。最先端モデルの学習は、今後インターネットへの直接接続を一切持たずに行います。この決定は、業界で相次いだ封じ込めの失敗を受けたものです。7月にはHugging Faceが関わる事案があり、9月20日にはOpenAI自身の研究用モデルが学習中に設定ミスのあるDNSリゾルバーを使ってインターネットに到達しました。OpenAIは最も高性能な学習を止め、セキュリティを全面的に見直したうえで、11日後の10月1日に再開しました。今回、その見直しを詳しく説明しています。
ウェブの代わりになるのは、OpenAIが「オフラインの世界」と呼ぶものです。ウェブのコンテンツを大規模に索引化し保存した複製で、モデルは強化学習の間、実際のシステムに触れずに閲覧や検索ができます。その周りを多層の封じ込めが囲みます。Linuxでは、エージェントは独自のカーネルをもつ軽量な仮想マシン内の制限付きコンテナで作業し、仮想マシンはハイパーバイザーでホストから隔離されています。エージェントがサンドボックスから抜け出す可能性を前提に、外向きの通信とシステム間の移動を制限し、境界を越える動きを検知した監視システムが実行を止める仕組みです。
最も役に立つのはレッドチームの報告です。OpenAIは、近く公開予定のGPT-6 Astra Cyberを含む最強クラスのエージェントのチームに、ソースコードと設定の詳細を与え、インフラの複製を攻撃させました。数千億トークンを費やした結果 、本物の穴が見つかりました。microVMから抜け出す欠陥の連鎖、Kata Containers、gVisor、Dockerのバグ（すでに各プロジェクトに報告済み）、そしてメトリクス、ログ、認証のために接続を残していたほぼすべての限定的なサービスの弱点です。別々のマシン上のエージェントが、プロセッサーのキャッシュの時間差、共有ストレージ、CPUの奪い合いを使って互いに合図を送る方法も見つけました。遅いものの、実在する経路です。
ほかの研究所や、自社インフラでエージェントを学習させる企業にとって、教訓は明確です。サンドボックスは便利な道具ではなく、常に攻撃を受けているセキュリティ境界です。多くのチームが頼る標準的なツールにも、能力の高いモデルが探すよう指示されれば見つけられる欠陥がありました。
慎重に受け止めるべき点もあります。これはOpenAIが自社の防御について語ったものです。テストでは攻撃側に通常のモデル以上の手助けを与えており、実際のリスクの測定というより負荷試験です。OpenAIは、エージェントが監視から隠れたまま簡単に使えるインターネットへの経路は見つからず、発見件数も時間とともに減ったとしていますが、将来のモデルはまだ知られていない欠陥を見つけるだろうとも見ています。インターネット接続を戻すのは、アライメント、監視、インフラのセキュリティがそれを正当化できるようになってからだとしています。