NVIDIA a transformé son modèle du monde Cosmos 3 en une série d'outils qui se comportent davantage comme un simulateur que comme un générateur de vidéo. Les quatre nouveaux checkpoints, tous post-entraînés à partir de Cosmos 3 Nano et publiés sur Hugging Face, permettent aux équipes qui développent des voitures autonomes et des bras robotiques de générer des données de capteurs et de les rejouer en boucle avec une politique de conduite ou de commande. Pour qui finance des flottes d'essai ou des scènes de simulation construites à la main, c'est la raison de s'y intéresser.
Chaque checkpoint a une tâche précise. Cosmos3-Nano-Transfer-Auto produit une vidéo de conduite synchronisée pour 11 caméras au plus, objectifs fisheye compris, et peut fournir du LiDAR en parallèle ; une carte de scène fixe le tracé de la route et le trafic, un prompt textuel fixe la météo, la lumière et l'heure. Cosmos3-Nano-Sim-Auto est une version distillée et plus rapide qui génère de courts segments pas à pas en quelques passes de débruitage, pour qu'une politique puisse réagir à ce qu'elle voit. Cosmos3-Nano-Sim-Transfer prend des cartes de profondeur, de segmentation, de contours et de flou issues d'un simulateur physique et les rend en vidéo couleur réaliste, la physique restant dans le simulateur. Cosmos3-Nano-Sim-Bimanual prédit les images suivantes à partir des actions d'un robot à deux bras, avec prise en charge du matériel YAM et AgiBot.
La licence est OpenMDW1.1, qui autorise l'usage commercial selon ses conditions. La barre matérielle est haute : la configuration de service de NVIDIA a été testée sur un seul GB200, et l'entreprise précise qu'il ne s'agit pas d'un minimum, si bien que les GPU plus modestes n'ont pas été éprouvés. L'entraînement s'est fait en quatre étapes, la dernière faisant apprendre au modèle à partir de son propre historique généré pour que les petites erreurs ne s'accumulent pas sur de longues séquences. L'intérêt initial est réel : les pages des modèles affichent chacune entre 2 850 et 6 320 téléchargements environ.
Notre test de Cosmos 3 décrit un modèle du monde généraliste pour les robots et les voitures ; ces checkpoints en sont la mise en pratique, tournée vers les essais en boucle fermée où une politique agit et le monde répond. La comparaison qui compte pour la plupart des équipes est celle avec les simulateurs classiques et le rendu par moteur de jeu. Cosmos ne les remplace pas : Sim-Transfer s'appuie explicitement sur l'un d'eux pour la physique et n'apporte que le rendu réaliste, là où les données synthétiques pèchent souvent.
Les réserves viennent en partie de NVIDIA. L'entreprise reconnaît ne pas avoir encore établi dans quels cas ces modèles sont assez fidèles pour entraîner et évaluer des politiques, ce qui est pourtant la raison d'être d'un simulateur. Les erreurs peuvent encore s'accumuler sur de longues générations. Le billet ne donne ni résolution, ni fréquence d'images, ni durée des clips, ni résultats de benchmarks, et il annonce 16B paramètres entraînables alors que les fiches des modèles indiquent 15B. Les équipes qui dimensionnent leur matériel devraient vérifier les fiches et le rapport technique lié avant de s'engager.