ウェブサイトを運営していて、その内容をAIの学習データから外したいなら、これまでは各社のクローラーごとに別々の規則を書き、その一覧を最新に保つ必要がありました。OpenAIは、robots.txt内の一つの共有された信号を尊重するとしています。これは、自サイトの内容が生成AIの基盤的な学習に使われてよいかを、一度で表明できるもので、まさに出版者が求めてきたスイッチです。
この信号は、Internet Engineering Task ForceのAI Preferencesワーキンググループで草案が作られており、どこかの会社の独自の印ではなく開かれた標準です。これは重要です。出版者が一つの意向を設定すれば、それを読むすべての参加提供者が尊重するはずで、クローラーを一つずつ名指しする現在の継ぎはぎとは違います。OpenAIは、ワーキンググループのほかの参加者も同じ発表の中で同じ約束をしているとし、今後数か月でこの信号を実装する予定だとしています。
サイト運営者にとって、これは正しい形の解決です。中立なIETFの草案を支持することは、各AI企業が独自の除外の仕組みを発明するより開かれたウェブにとって良いことです。共有された語彙なら、小さな出版者でも実際に追いつけるからです。OpenAIはまた、新しい信号は既存のクローラーごとの制御を置き換えるものではなく、それらは引き続き機能するので、すでにある設定が止まることはないと強調しています。
正直さが要るのは限界のところで、それは重大です。この信号が役立つのは、大手のクローラーが 実際に採り入れた場合だけで、仕組み全体は自主的であり、背後に強制力はありません。OpenAIの記事はほかの参加者を一社も挙げていないため、連合がどれほど広いのか、最も攻撃的に収集するクローラーが加わっているのかは、まだ明らかではありません。一部の企業しか尊重しない標準は、古い継ぎはぎと同じ穴を残します。
実務上の助言はそこから導かれます。これは方向として本物の改善であり、歓迎に値しますが、草案についての約束であって、今日頼れる動く制御ではありません。サイト運営者は、既存のクローラーごとのブロックを残し、OpenAIが共有するとしている実装の詳細に注意を払い、本当に稼働して広く尊重されるまでは、共有された信号だけに切り替えるべきではありません。発想は堅実ですが、効くかどうかは、誰が加わるかに完全にかかっています。