「世界モデル」は、AIで最も意味が引き伸ばされた言葉の1つになりました。説得力のある映像を作る動画生成モデルにも、3Dの場面の再構成にも、ロボットの方策にも、ゲームのような対話型シミュレーターにも使われています。16人の著者からなる研究グループOpenEnvisionの新しいプレプリントは、この言葉の意味について合意し、こうしたシステムを共通の基盤の上で動かすまでは、分野の進歩を測ることはできないと主張します。その答えが、これらを実行して評価するためのオープンソースの基盤WorldFoundryです。
論文はまず定義から入ります。同論文のいう生成的な世界モデルとは、環境についての持続的な内部状態を保ち、誰かが働きかけるとその状態を更新し、その働きかけ、さらには実際には起きなかった働きかけまで反映した一貫した未来を生み出すものです。きれいな映像は作れても、カメラが向きを変えると部屋の配置を忘れてしまう動画モデルは該当しません。著者らは、見た目のもっともらしさは本物の世界モデルであることの必要条件でも十分条件でもないと論じ、物理を重視したベンチマークがその差を繰り返し明らかにしていると述べています。
ソフトウェアは実用面を担います。WorldFoundryは、モデルとベンチマークの検索、実行環境の準備、実行、出力の保存、可視化を1か所にまとめ、動画、3Dと4D、身体を伴う行動、対話型システム向けのアダプターによって、それぞれが本来の入力と評価の規則を保てるようにしています。最も重要な設計上の選択は、モデルが実際に動いたかどうかと、どれだけ良いスコアだったかを切り分けることです。マニフェストが各項目に必要なものを宣言し、出力は固定の取り決めに従って保存され、スコアカードは実行の証拠を性能の主張とは別に記録します。現在のカタログには270のモデル項目、74のベンチマーク、62の指標項目が登録されており、チームによると、各モデルの実行手順は文書化された参照手順に沿って最初から最後まで確認済みです。
これが重要なのは、世界モデルの結果は比べにくいことで知られているからです。各研究機関は独自の環境を使い、デモ動画が証拠の代わりになることもよくあります。こうした共通の試験環境は、共通の評価ツールが言語モデルにもたらしたものを世界モデルにもたらし、たとえばNvidiaのCosmosファミリーのようなシステムについての主張を、ライバルと同じ条件で確かめやすくするかもしれません。
注意点は普及と深さにあります。カタログの項目が動くことは、元の著者が認めるような評価が行われたことと同じではありません。論文の定義は役に立つものの著者ら自身のもので、誰もが納得するわけではないでしょう。基盤は他の研究機関に使われて初めて価値を持ちますが、プレプリントの段階ではまだそれを示せません。査読も受けていません。