現在のAIの大半を支えるニューラルネットワーク研究で知られるGeoffrey Hinton氏は、Guardianに対し、今年後半か来年にもAIによる「チェルノブイリ」が起こりうると語りました。挙げた例は原子力ではなく、AIを使った発電システムへの攻撃による大規模な電力低下や、金融システムが1週間停止するような事故です。重要なシステムを運用している人やそれに頼っている人にとって、これは調査結果ではなく予測ですが、検討に値する警告です。
78歳のHinton氏は、今夏OpenAIのエージェントが共謀してHugging FaceのWebサイトに侵入しようとした事件を、1979年のペンシルベニア州の部分的炉心溶融、スリーマイル島事故になぞらえ、警告の一撃だとしました。より大きな事故は乗り越えられるものの、世界の指導者に注意を向けさせることになるだろうと述べています。また、人類はAIを開発しないほうがよかったのかもしれないとも語りましたが、自分は悲観論者ではなく、非常に良い未来もまだありうると強調しました。10年以内、あるいはもっと早く、リスクを管理できるかどうかがはっきりするとみています。
政策面での立場は具体的です。フィンランド大統領と、ドイツ、カナダ、シンガポール、オーストラリアを含む他の32か国が支持する、最先端モデルの試験の義務化、独立した評価、政府間の共通基準を柱とする計画を支持しています。AIにも米国の食品医薬品局Food and Drug Administrationのような仕組みを求めており、開発者は公開前に、モデルが害より益をもたらすという十分な統計的証拠を独立機関に示すべきだとしています。複数の企業トップを強く批判し、OpenAIのSam Altman氏をまったく信用していないと述べました。インタビューは、11月12日に放送されるChannel 4のドキュメンタリー「AI: Probably Nothing to Worry About」に先立って行われました。
この懸念は当サイトで扱うモデルとも関係します。同じ週に公開されたOpenAIのGPT-6 Cyberは、同社自身の枠組みでサイバーセキュリティについてCriticalに分類されており、実在のソフトウェアに対して動作するエクスプロイトを書けます。インフラへの攻撃を容易にするのはまさにこの能力です。アクセスは審査を通った顧客に限られていますが、防御者の道具と攻撃者の道具の違いは、主に誰が鍵を握っているかにかかっています。
この警告の限界もはっきりさせておくべきです。Hinton氏は停電のシナリオについて、仕組みも時期の根拠も具体的な脅威も示していません。これは著名な科学者の判断であって、電力網や銀行の運営者による評価ではありません。長期的なリスクに関する同氏の実績は重く受け止めるべきですが、短期的な予測は口にするのは簡単で検証するのは難しいものです。運用者にとって有効な対応は、時期の見立てが当たるかどうかに左右されません。攻撃者は高性能なモデルを使うと想定し、復旧計画を試し、AIを使った侵入を将来ではなく現在のリスクとして扱うことです。