NVIDIA Cosmos 3とは？
Cosmos 3は、NVIDIAがフィジカルAI向けに2026年5月31日に公開したオープンな世界基盤モデルのファミリーだ。1つのMixture-of-Transformersネットワークが、テキスト・画像・動画を読んでテキストで答える自己回帰型のリーズナーと、画像、48 kHzステレオ音声付きの動画、ロボットや車両の行動を生成する拡散型ジェネレーターを組み合わせている。構成はNano(160億パラメータ、リーズナー80億とジェネレーター80億)、Super(640億、320億と320億)、そして7月からはJetsonクラスの機器向けの40億パラメータのEdgeがある。
2026年11月5日、NVIDIAはNanoから追加学習した対話型シミュレーション用のチェックポイント4種を加えた。Transfer-Autoは最大11台のカメラで同期した走行映像を、任意でLiDARも含め、天候や照明を変えて描き出す。Sim-Autoはそのストリーミング版で、カメラとLiDARのフレームを塊ごとに返すため、運転ポリシーが行動して結果を見ることができる。Sim-Transferは物理シミュレーターの深度・セグメンテーション・エッジのマ ップをリアルな動画に変える。Sim-Bimanualは、ポリシーやジョイスティックで動かすYAMとAgiBotの双腕ロボットが見る映像を予測する。
重みはすべてOpenMDW 1.1ライセンスで、商用・非商用ともに利用できる。ジェネレーターは256p、480p、720pで動作し、1クリップあたり5〜400フレーム、既定では189フレームを生成する。NVIDIAが検証しているのはLinux上のBF16のみだ。
NVIDIA Cosmos 3は使う価値があるか？
Cosmos 3の価値は動画生成モデルとしてより、観察し、予測し、行動できる1つのオープンモデルである点にある。同じ重みでシーンを説明し、ある行動の後に起きることを描き、変化を引き起こした行動を推定し、ポリシーの次の一手を予測される結果とともに出力する。NVIDIAは、PAI-Bench、R-Bench、Physics-IQ、RoboLab、VANTAGE-Benchでオープンモデルの首位に立ち、Artificial Analysisのオープンウェイト部門でテキストから画像、音声なしの画像から動画のランキングで1位になったとしている。これはNVIDIA自身の主張で、11月9日時点で音声ありの画像から動画のランキングにCosmosモデルは載っていなかった。
11月のチェックポイントはこれを閉ループのシミュレーションにする。Sim-AutoとSim-Bimanualは4ステップのノイズ除去に蒸留され、さらに自分の出力で学習して、小さな誤差が実行中に積み重ならないようにしてある。潜在空間の1ステップはRGBの4フレームに相当する。NVIDIAは足りない点も率直に書いている。Sim-Autoでループを閉じるには自前のシミュレーション実行環境とシーンマップのレンダラーが必要で、これらのモデルがポリシーの学習や評価をどこまで確実に支えられるかはまだ わからないという。
主なコストはハードウェアだ。Superについて、NVIDIAはH200、H100、A100の8基でのvLLM-Omniを推奨しており、50ステップの動画に約55秒、H200の2基では約3分かかる。NanoはH200の1基で動き、RTX PRO 6000のワークステーションを想定している。Sim-BimanualはGB200の1基で検証された。NIMコンテナがあるのは今のところリーズナーだけで、FP8とNVFP4のチェックポイントはNVIDIAによれば最大2倍速く動く。
Genie 4のようなクローズドな世界モデルに対する最もはっきりした強みはライセンスだ。OpenMDW 1.1は商用利用を認め、NVIDIAは追加学習のレシピ、コーディングエージェント用のスキル、ロボット・走行・倉庫シーンの合成データセットを公開している。モデルカードは、出力はシミュレーターなしで物理を近似したもので物理的に正確だとみなすべきではないと警告しており、チームはどのポリシーも実機で検証する必要がある。
真価を発揮する場面
8台のカメラを積んだ車両を持つ自動運転スタートアップのシミュレーションエンジニア
記録済みの走行から、夜の雨やまぶしい逆光といった珍しい場面を知覚モデルの学習用に増やす
Transfer-Autoを車両のカメラ配置で追加学習し、記録した各シーンをシーンマップとテキストのプロンプトから新しい天候と照明で描き直す。重みは無料で、費用は追加学習と生成のGPU時間だ。
AgiBotまたはYAMの双腕ロボットを持つロボット学習の研究者
実機の時間を予約せずにポリシーのチェックポイントを評価する
Sim-Bimanualを学習済みシミュレーターとして使い、ポリシーの行動を入力して予測されたカメラ映像を受け取り、チェックポイントを順位付けしてから上位だけを実機で試す。NVIDIAはこの用途がまだ実証されていないと注意している。
倉庫ロボットメーカーのプロダクト責任者
従量課金のライセンスやクローズドなAPIに頼らずに世界モデルを製品に組み込む
OpenMDW 1.1のもとで微調整したNanoを製品に載せ、顧客先のRTX PRO 6000ワークステーションで動かすか、40億パラメータのEdgeをJetsonで動かし、ホスティング型モデルへの呼び出しごとの支払いを避ける。
導入前に確認すること
- 導入
- Hugging Faceからダウンロードし、Dockerイメージvllm/vllm-omni:cosmos3で提供するか、DiffusersでCosmos3OmniPipelineを読み込む。LinuxとAmpere、Hopper、BlackwellのいずれかのGPUが必須。シミュレーション用チェックポイントにはDockerとNVIDIA Container Toolkitも必要だ。
- 連携
- Diffusers、vLLM 0.21(CUDA 13)または0.19.1(CUDA 12.8)、vLLM-Omni、SGLang。NGCのリーズナー用NIM、build.nvidia.comのNanoのデモ、NVIDIAのcosmos-frameworkリポジトリにある学習コードとエージェント用スキル。
- データとプライバシー
- OpenMDW 1.1は商用・非商用の利用を認め、自前でホストすればデータは手元に残る。NVIDIAによると学習には393のデータセットから13億件のデータを使った。
- 大規模利用時のコスト
- Super:H200、H100、A100の8基を推奨し、H200で50ステップの動画に約55秒。4ステップに蒸留したSuperはNVIDIAの数字で最大25倍速い。NanoはH200の1基に収まる。必要なVRAMは非公開で、層ごとのオフロードが小さめのGPUで役立つ。
- 制限
- 出力は256p〜720p、5〜400フレーム。動画入力は5フレーム、音声入力は0.5秒まで。行動はFranka、AgiBot、UR、WidowXなど一覧にあるロボットのみ。SGLangは動画から動画、音声、行動の生成に未対応。時間的な不整合や不正確な物理的相互作用といった破綻が出ることがある。
良い点
- シーンの推論、動画の予測、ロボットの行動を1つのオープンモデルで
- OpenMDW 1.1ライセンスで商用利用可
- 走行と双腕ロボット向けのストリーミング用チェックポイントで閉ループ実行
- 追加学習のレシピ、エージェント用スキル、合成データセットを公開
気になる点
- Superはデータセンター向けGPUを8基要求、H200で50ステップの動画に約55秒
- ベンチマーク首位はNVIDIAの自己申告で、独立したランキングではまだ確認できない
- 閉ループの走行には自前のシミュレーション実行環境とシーンマップのレンダラーが必要
- ジェネレーターのNIMもホスティング型の推論プロバイダーもまだない
おすすめの人
NVIDIAのハードウェアを使い、商用ライセンスのオープンな世界モデルを自社のセンサーやロボットに合わせて追加学習したいロボティクス・自動運転チーム。
NVIDIA Cosmos 3の代替
NVIDIA Cosmos 3：よくある質問
- NVIDIA Cosmos 3は使う価値があるか？
- Cosmos 3はロボティクスや自動運転のチームが土台にするオープンな世界モデルだが、新しいシミュレーション用チェックポイントは完成品のシミュレーターではなく、シミュレーターとGPUクラスターを持つチーム向けの部品だ。 評価は5点満点中4.2点です。
- NVIDIA Cosmos 3の料金は？
- OpenMDW 1.1ライセンスで無料、商用利用可。リーズナーのNIMコンテナにはNGCのAPIキーが必要。ホスティング料金は非公開で、Hugging Faceの推論プロバイダーは提供していない。
- NVIDIA Cosmos 3の欠点は？
- Superはデータセンター向けGPUを8基要求、H200で50ステップの動画に約55秒; ベンチマーク首位はNVIDIAの自己申告で、独立したランキングではまだ確認できない; 閉ループの走行には自前のシミュレーション実行環境とシーンマップのレンダラーが必要; ジェネレーターのNIMもホスティング型の推論プロバイダーもまだない.
- NVIDIA Cosmos 3は誰に向いているか？
- NVIDIAのハードウェアを使い、商用ライセンスのオープンな世界モデルを自社のセンサーやロボットに合わせて追加学習したいロボティクス・自動運転チーム。
- チームや本番環境でNVIDIA Cosmos 3を使うと費用はいくらか？
- Super:H200、H100、A100の8基を推奨し、H200で50ステップの動画に約55秒。4ステップに蒸留したSuperはNVIDIAの数字で最大25倍速い。NanoはH200の1基に収まる。必要なVRAMは非公開で、層ごとのオフロードが小さめのGPUで役立つ。
- NVIDIA Cosmos 3は企業データを扱っても安全か？
- OpenMDW 1.1は商用・非商用の利用を認め、自前でホストすればデータは手元に残る。NVIDIAによると学習には393のデータセットから13億件のデータを使った。
- NVIDIA Cosmos 3の代わりになるものは？
- 当サイトでレビューした中で最も近い代替はGenie 4, LingBot-World 2.0 (Infinity), LTX-2.5 、 HunyuanVideo 1.5です。
回答確認日：2026年11月9日
NVIDIA Cosmos 3の開発元の方へ：この評価をサイトに掲載できます
