Qu’est-ce que NVIDIA Cosmos 3 ?
Cosmos 3 est la famille de modèles de fondation de monde ouverts de NVIDIA pour l'IA physique, publiée le 31 mai 2026. Un seul réseau Mixture-of-Transformers associe un raisonneur autorégressif, qui lit texte, images et vidéo et répond en texte, à un générateur par diffusion qui produit des images, de la vidéo avec un son stéréo à 48 kHz et des actions pour robots ou véhicules. Il existe en version Nano (16 milliards de paramètres, 8 milliards pour le raisonneur et 8 milliards pour le générateur), Super (64 milliards, 32 plus 32) et, depuis juillet, Edge, un modèle de 4 milliards pour les appareils de la classe Jetson.
Le 5 novembre 2026, NVIDIA a ajouté quatre checkpoints post-entraînés à partir de Nano pour la simulation interactive. Transfer-Auto produit des images de conduite synchronisées sur 11 caméras au plus, avec LiDAR en option, sous différentes météos et lumières ; Sim-Auto en est la version en streaming, qui renvoie les images caméra et LiDAR bloc par bloc pour qu'une politique de conduite agisse et voie le résultat ; Sim-Transfer transforme les cartes de profondeur, de segmentation et de contours d'un simulateur physique en vidéo réaliste ; Sim-Bimanual prédit ce que voient les robots à deux bras YAM et AgiBot pilotés par une politique ou un joystick.
Tous les poids sont sous licence OpenMDW 1.1, qui autorise l'usage commercial et non commercial. Le générateur travaille en 256p, 480p ou 720p et produit de 5 à 400 images par clip, 189 par défaut. NVIDIA ne le teste que sous Linux, en BF16.
NVIDIA Cosmos 3 vaut-il le coup ?
Cosmos 3 compte moins comme générateur vidéo que comme un modèle ouvert unique capable d'observer, de prédire et d'agir. Les mêmes poids décrivent une scène, rendent ce qui suit une action, déduisent l'action à l'origine d'un changement et livrent le prochain geste d'une politique avec sa conséquence prévue. NVIDIA affirme qu'il mène les modèles ouverts sur PAI-Bench, R-Bench, Physics-IQ, RoboLab et VANTAGE-Bench, et qu'il a dominé les classements à poids ouverts d'Artificial Analysis en texte-vers-image et image-vers-vidéo sans audio. Ce sont les chiffres de NVIDIA ; le 9 novembre, le classement image-vers-vidéo avec audio ne comptait aucun modèle Cosmos.
Les checkpoints de novembre en font une simulation en boucle fermée. Sim-Auto et Sim-Bimanual ont été distillés à quatre étapes de débruitage, puis entraînés sur leurs propres sorties pour que les petites erreurs ne s'accumulent pas au fil d'un déroulé ; chaque pas latent couvre quatre images RVB. NVIDIA reconnaît franchement les manques : Sim-Auto exige votre propre environnement de simulation et un moteur de rendu de cartes de scène pour fermer la boucle, et le billet admet qu'on ignore encore où ces modèles peuvent appuyer de façon fiable l'apprentissage et l'évaluation de politiques.
Le matériel est le premier poste de coût. Pour Super, NVIDIA recommande vLLM-Omni sur huit GPU H200, H100 ou A100, où une vidéo en 50 étapes prend environ 55 secondes, contre environ 3 minutes sur deux H200. Nano tourne sur une H200 et vise une station de travail RTX PRO 6000 ; Sim-Bimanual a été testé sur une GB200. Seul le raisonneur dispose pour l'instant d'un conteneur NIM, avec des checkpoints FP8 et NVFP4 qui, selon NVIDIA, vont jusqu'à deux fois plus vite.
La licence est son avantage le plus net sur les modèles de monde fermés comme Genie 4 : OpenMDW 1.1 permet l'usage commercial, et NVIDIA publie des recettes de post-entraînement, des skills pour agents de code et des jeux de données synthétiques de robotique, de conduite et d'entrepôt. La fiche du modèle prévient que les sorties approchent la physique sans simulateur et ne doivent pas être prises pour exactes ; une équipe valide donc toujours ses politiques sur du vrai matériel.
Là où il fait la différence
Un ingénieur simulation dans une start-up de conduite autonome équipée d'un banc de 8 caméras
Multiplier les scènes rares (pluie de nuit, éblouissement) à partir de trajets enregistrés pour entraîner la perception
Post-entraînez Transfer-Auto sur la disposition des caméras, puis rendez chaque scène enregistrée sous une nouvelle météo et une nouvelle lumière à partir de cartes de scène et d'un prompt texte. Les poids sont gratuits ; le coût, c'est le temps GPU de post-entraînement et de génération.
Une chercheuse en apprentissage robotique avec un montage à deux bras AgiBot ou YAM
Noter des checkpoints de politique sans réserver des heures sur le robot physique
Servez-vous de Sim-Bimanual comme simulateur appris : envoyez les actions de la politique, récupérez les vues caméra prédites et classez les checkpoints avant de tester les meilleurs sur le matériel. NVIDIA prévient que ce n'est pas encore prouvé pour l'évaluation de politiques.
Un responsable produit chez un fournisseur de robotique d'entrepôt
Bâtir sur un modèle de monde sans licence à l'usage ni API fermée
Intégrez un Nano affiné au produit sous OpenMDW 1.1 et faites-le tourner sur des stations RTX PRO 6000 chez le client, ou le modèle Edge de 4 milliards sur Jetson, plutôt que de payer chaque appel à un modèle hébergé.
Avant de vous engager
- Mise en route
- Téléchargez depuis Hugging Face et servez avec l'image Docker vllm/vllm-omni:cosmos3, ou chargez Cosmos3OmniPipeline dans Diffusers ; Linux et un GPU Ampere, Hopper ou Blackwell sont requis. Les checkpoints de simulation demandent en plus Docker et le NVIDIA Container Toolkit.
- Intégrations
- Diffusers, vLLM 0.21 (CUDA 13) ou 0.19.1 (CUDA 12.8), vLLM-Omni et SGLang ; NIM du raisonneur sur NGC ; démos de Nano sur build.nvidia.com ; code d'entraînement et skills pour agents dans le dépôt cosmos-framework de NVIDIA.
- Données et confidentialité
- OpenMDW 1.1 autorise l'usage commercial et non commercial, et en auto-hébergement les données restent en local. Selon NVIDIA, l'entraînement a utilisé 1,3 milliard de points de données issus de 393 jeux.
- Coût à grande échelle
- Super : huit GPU H200, H100 ou A100 recommandés, environ 55 secondes par vidéo en 50 étapes sur H200 ; le Super distillé à quatre étapes est jusqu'à 25 fois plus rapide, selon NVIDIA. Nano tient sur une H200. Les besoins en VRAM ne sont pas publiés ; le déchargement couche par couche aide sur les petits GPU.
- Limites
- Sortie de 256p à 720p, de 5 à 400 images ; entrée vidéo limitée à 5 images et audio à 0,5 seconde ; actions seulement pour les robots listés, comme Franka, AgiBot, UR et WidowX. SGLang ne gère ni la vidéo-vers-vidéo, ni le son, ni la génération d'actions. Parmi les artefacts : incohérence temporelle et interactions physiques imprécises.
Les points forts
- Un seul modèle ouvert pour raisonner sur une scène, prédire la vidéo et produire des actions de robot
- La licence OpenMDW 1.1 autorise l'usage commercial
- Checkpoints en streaming pour la conduite et les robots à deux bras, en boucle fermée
- Recettes de post-entraînement, skills pour agents et données synthétiques publiées
Les points faibles
- Super réclame huit GPU de centre de données ; environ 55 secondes par vidéo en 50 étapes sur H200
- Les premières places aux benchmarks sont annoncées par NVIDIA ; les classements indépendants ne les confirment pas encore
- La conduite en boucle fermée exige votre propre environnement de simulation et rendu de cartes de scène
- Pas encore de NIM pour le générateur ni de fournisseur d'inférence hébergé
Idéal pour
Équipes de robotique et de conduite autonome sur matériel NVIDIA qui veulent un modèle de monde ouvert, sous licence commerciale, à post-entraîner sur leurs propres capteurs et robots.
Alternatives à NVIDIA Cosmos 3
NVIDIA Cosmos 3 : questions fréquentes
- NVIDIA Cosmos 3 vaut-il le coup ?
- Cosmos 3 est le modèle de monde ouvert sur lequel une équipe de robotique ou de conduite construit, mais les nouveaux checkpoints de simulation sont des kits pour équipes dotées d'un simulateur et d'une grappe de GPU, pas des simulateurs clés en main. Nous lui donnons 4.2 sur 5.
- Combien coûte NVIDIA Cosmos 3 ?
- Gratuit sous licence OpenMDW 1.1, usage commercial autorisé. Le conteneur NIM du raisonneur exige une clé API NGC ; tarifs hébergés non publiés, et aucun fournisseur d'inférence de Hugging Face ne le sert.
- Quels sont les inconvénients de NVIDIA Cosmos 3 ?
- Super réclame huit GPU de centre de données ; environ 55 secondes par vidéo en 50 étapes sur H200; les premières places aux benchmarks sont annoncées par NVIDIA ; les classements indépendants ne les confirment pas encore; la conduite en boucle fermée exige votre propre environnement de simulation et rendu de cartes de scène; pas encore de NIM pour le générateur ni de fournisseur d'inférence hébergé.
- À qui s’adresse NVIDIA Cosmos 3 ?
- Équipes de robotique et de conduite autonome sur matériel NVIDIA qui veulent un modèle de monde ouvert, sous licence commerciale, à post-entraîner sur leurs propres capteurs et robots.
- Combien coûte NVIDIA Cosmos 3 pour une équipe ou en production ?
- Super : huit GPU H200, H100 ou A100 recommandés, environ 55 secondes par vidéo en 50 étapes sur H200 ; le Super distillé à quatre étapes est jusqu'à 25 fois plus rapide, selon NVIDIA. Nano tient sur une H200. Les besoins en VRAM ne sont pas publiés ; le déchargement couche par couche aide sur les petits GPU.
- NVIDIA Cosmos 3 est-il sûr pour les données de l’entreprise ?
- OpenMDW 1.1 autorise l'usage commercial et non commercial, et en auto-hébergement les données restent en local. Selon NVIDIA, l'entraînement a utilisé 1,3 milliard de points de données issus de 393 jeux.
- Quelles sont les meilleures alternatives à NVIDIA Cosmos 3 ?
- Les alternatives les plus proches que nous avons testées sont Genie 4, LingBot-World 2.0 (Infinity), LTX-2.5 et HunyuanVideo 1.5.
Réponses vérifiées le 9 nov. 2026.
Vous éditez NVIDIA Cosmos 3 ? Affichez cette note sur votre site
