NVIDIAは世界モデルCosmos 3を、動画生成器というよりシミュレーターに近い振る舞いをするツール群に仕立てました。4つの新しいチェックポイントはいずれもCosmos 3 Nanoから事後学習されたもので、Hugging Faceで公開されています。自動運転車やロボットアームを開発するチームは、センサーデータを生成し、運転や制御のポリシーとループさせて再生できます。テスト車両や手作りのシミュレーションシーンに費用をかけている人にとって、注目する理由はそこにあります。
各チェックポイントの役割は絞られています。Cosmos3-Nano-Transfer-Autoは魚眼レンズを含む最大11台のカメラ向けに同期した走行動画を生成し、LiDARも同時に出力できます。シーンマップが道路の配置と交通を決め、テキストプロンプトが天候、光、時間帯を決めます。Cosmos3-Nano-Sim-Autoはこれを蒸留した高速版で、数回のノイズ除去ステップで短い区間を逐次生成するため、ポリシーが見たものに反応できます。Cosmos3-Nano-Sim-Transferは物理シミュレーターからの深度、セグメンテーション、エッジ、ぼかしのマップを受け取り、写実的なカラー動画に変換します。物理計算はシミュレーター側に残ります。Cosmos3-Nano-Sim-Bimanualは双腕ロボットの動作から次のフレームを予測し、YAMとAgiBotのハードウェアに対応しています。
ライセンスはOpenMDW1.1で、その条件のもとで商用利用が認められています。ハードウェアの要求は高く、NVIDIAの推論環境はGB200 1基で検証されたもので、同社はこれ が最低要件ではないと強調しています。つまり小さなGPUでの動作は確認されていません。学習は4段階で行われ、最後の段階ではモデルが自ら生成した履歴から学ぶことで、長い生成で小さな誤差が積み重ならないようにしています。初期の関心は確かにあり、モデルページにはそれぞれ約2,850から6,320のダウンロード数が表示されています。
当サイトのCosmos 3レビューはロボットと自動車向けの汎用世界モデルとして紹介していますが、今回のチェックポイントはその実用面の展開で、ポリシーが行動し世界が応答する閉ループ試験を狙っています。多くのチームにとって重要な比較対象は、従来のシミュレーターやゲームエンジンによるレンダリングです。Cosmosはそれらを置き換えるものではありません。Sim-Transferは物理計算を明確にシミュレーターに任せ、写実的な見た目だけを担います。合成データが弱いのは、まさにその見た目の部分であることが多いのです。
注意点の一部はNVIDIA自身が認めています。同社は、これらのモデルがポリシーの学習と評価に十分忠実なのはどのような場面かをまだ見極めていないとしています。それこそがシミュレーターの存在意義です。長い生成では依然として誤差が蓄積しうるとも述べています。ブログ記事には解像度、フレームレート、クリップの長さ、ベンチマークの数値が示されておらず、学習可能なパラメーター数を16Bとする一方、モデルカードは15Bとしています。ハードウェアを見積もるチームは、決める前にモデルカードとリンク先の技術レポートを確認すべきです。