企業がなじみのある名前の裏のモデルを、名前を変えずに更新すると、先月のベンチマークの点数や安全性の監査は、あなたが実際に使っているものをもう言い表していないかもしれません。Nature Machine Intelligenceのコメントは、これは厄介事ではなく本当の問題だと論じ、規制当局と研究者が必要とするものを軸に据えた、意味のあるAIのバージョン管理を求めます。
著者の主張は、AIの提供者が同じ公開の識別子を保ったまま、モデルとその周りのシステムを頻繁に変えるということです。今日あるラベルの下で使えるモデルが、静かな更新の後、来週には異なるふるまいをするかもしれず、名前は何も教えてくれません。これは二つのことを同時に損なう、と彼らは論じます。規制の監督は弱まります。名前のついたモデルに結びついた規則や承認は、名前の裏のモデルが動き続ければ意味を失うからです。そして科学的な再現性も損なわれます。ある特定のモデルの結果を報告した研究は、どの版が生んだのかを誰も特定できなければ、やり直すことも信頼することもできないからです。
この苦情は正当で、遅すぎたほどです。先週は動いたプロンプトが、提供者が更新を出した後に失敗し始めるのを見た人は、その苛立ちを身をもって知っており、この問題は、監査、公表された結果、コンプライアンスの承認など、安定した基準に依存するものにとっていっそう鋭くなります。点数が意味を持つのは、それがどのモデルを言い表すかを正確に知るときだけで、今日の命名はしばしばそれを隠します。ソフトウェアは、きちんとしたバージョン番号で何十年もその一種を解決してきました。著者は、AIの分野が、マーケティングのためではなく、自らの規制と研究の必要に合わせて設計された方式を採ることを望んでいます。
ここでの率直さは、私たちが読んだのは有料の壁の向こうにある要旨だけだということです。全文のコメントは、おそらくバージョン管理の方式がどうあるべきか、どれほど詳しくあるべきかを示していますが、要旨だけからは、その提案がどれほど具体的かを判断できません。
要旨が答えられないより難しい問いは、実施です。明快なバージョン番号は規制当局と研究者を確かに助けますが、提供者にはあらゆる変更を明らかにする商業的な動機がほとんどなく、誰も従う義務のない方式は根づかないかもしれません。これが標準になるのか、よく論じられた願いにとどまるのかは、論文の外にあるものに左右されます。規制当局か大口の顧客が、安定したバージョン管理を取引の条件にするかどうかです。今のところ価値は、問題を正確に名づけることにあり、それは、解決がまだ見えなくても必要な第一歩です。