Was ist NVIDIA Cosmos 3?
Cosmos 3 ist NVIDIAs Familie offener Welt-Grundmodelle für Physical AI, veröffentlicht am 31. Mai 2026. Ein einziges Mixture-of-Transformers-Netz verbindet einen autoregressiven Reasoner, der Text, Bilder und Video liest und in Text antwortet, mit einem Diffusionsgenerator, der Bilder, Video mit Stereoton in 48 kHz sowie Aktionen für Roboter oder Fahrzeuge erzeugt. Es gibt Nano (16 Mrd. Parameter, 8 Mrd. Reasoner plus 8 Mrd. Generator), Super (64 Mrd., 32 plus 32) und seit Juli ein Edge-Modell mit 4 Mrd. Parametern für Geräte der Jetson-Klasse.
Am 5. November 2026 kamen vier aus Nano nachtrainierte Checkpoints für interaktive Simulation hinzu. Transfer-Auto rendert synchrone Fahraufnahmen über bis zu 11 Kameras, optional mit LiDAR, bei wechselndem Wetter und Licht; Sim-Auto ist die Streaming-Version, die Kamera- und LiDAR-Bilder Stück für Stück liefert, sodass eine Fahrstrategie handeln und das Ergebnis sehen kann; Sim-Transfer verwandelt Tiefen-, Segmentierungs- und Kantenkarten eines Physiksimulators in realistisches Video; Sim-Bimanual sagt voraus, was zweiarmige Roboter von YAM und AgiBot sehen, während eine Strategie oder ein Joystick sie steuert.
Alle Gewichte stehen unter der Lizenz OpenMDW 1.1, die kommerzielle und nichtkommerzielle Nutzung erlaubt. Der Generator arbeitet in 256p, 480p oder 720p und erzeugt 5 bis 400 Frames pro Clip, standardmäßig 189. NVIDIA testet ihn nur unter Linux in BF16.
Lohnt sich NVIDIA Cosmos 3?
Cosmos 3 zählt weniger als Videogenerator denn als ein offenes Modell, das beobachten, vorhersagen und handeln kann. Dieselben Gewichte beschreiben eine Szene, rendern, was nach einer Aktion geschieht, erschließen die Aktion hinter einer Veränderung und geben den nächsten Zug einer Strategie samt vorhergesagter Folge aus. NVIDIA meldet, dass es unter offenen Modellen auf PAI-Bench, R-Bench, Physics-IQ, RoboLab und VANTAGE-Bench führt und die Open-Weight-Ranglisten von Artificial Analysis für Text-to-Image und Image-to-Video ohne Audio anführte. Das sind NVIDIAs eigene Angaben; am 9. November stand auf der Image-to-Video-Rangliste mit Audio kein Cosmos-Modell.
Die November-Checkpoints machen daraus eine Simulation im geschlossenen Regelkreis. Sim-Auto und Sim-Bimanual wurden auf vier Entrauschungsschritte destilliert und dann auf ihren eigenen Ausgaben trainiert, damit sich kleine Fehler über einen Durchlauf nicht aufschaukeln; jeder latente Schritt deckt vier RGB-Frames ab. NVIDIA benennt die Lücke offen: Sim-Auto braucht deine eigene Simulationslaufzeit und einen Renderer für Szenenkarten, um den Kreis zu schließen, und laut Beitrag ist noch unklar, wo diese Modelle Lernen und Bewerten von Strategien verlässlich stützen können.
Hardware ist der Hauptkostenpunkt. Für Super empfiehlt NVIDIA vLLM-Omni auf acht GPUs vom Typ H200, H100 oder A100, wo ein Video mit 50 Schritten etwa 55 Sekunden dauert, auf zwei H200 etwa 3 Minuten. Nano läuft auf einer H200 und zielt auf eine Workstation mit RTX PRO 6000; Sim-Bimanual wurde auf einer GB200 getestet. Bisher hat nur der Reasoner einen NIM-Container, mit Checkpoints in FP8 und NVFP4, die laut NVIDIA bis zu doppelt so schnell laufen.
Die Lizenz ist der klarste Vorteil gegenüber geschlossenen Weltmodellen wie Genie 4: OpenMDW 1.1 erlaubt kommerzielle Nutzung, und NVIDIA veröffentlicht Rezepte fürs Nachtraining, Skills für Coding-Agenten und synthetische Datensätze für Robotik-, Fahr- und Lagerszenen. Die Modellkarte warnt, dass die Ausgaben Physik ohne Simulator nur annähern und nicht als physikalisch genau gelten sollten; ein Team prüft jede Strategie also weiterhin auf echter Hardware.
Wo es sich lohnt
Ein Simulationsingenieur bei einem Start-up für autonomes Fahren mit einem Rig aus 8 Kameras
Seltene Szenen (Regen bei Nacht, Blendung) aus aufgezeichneten Fahrten für das Wahrnehmungstraining vervielfachen
Trainiere Transfer-Auto auf die Kameraanordnung des Rigs nach und rendere dann jede aufgezeichnete Szene aus Szenenkarten und einem Textprompt unter neuem Wetter und Licht. Die Gewichte sind kostenlos; die Kosten sind die GPU-Zeit für Nachtraining und Erzeugung.
Eine Forscherin für Roboterlernen mit einem zweiarmigen Aufbau von AgiBot oder YAM
Strategie-Checkpoints bewerten, ohne Stunden am echten Roboter zu buchen
Nutze Sim-Bimanual als gelernten Simulator: Gib die Aktionen der Strategie hinein, erhalte vorhergesagte Kamerabilder zurück und ordne die Checkpoints, bevor du die besten auf Hardware testest. NVIDIA warnt, dass dies für die Bewertung von Strategien noch nicht erwiesen ist.
Ein Produktverantwortlicher bei einem Anbieter von Lagerrobotik
Auf einem Weltmodell aufbauen ohne nutzungsabhängige Lizenz oder geschlossene API
Liefere ein feinabgestimmtes Nano unter OpenMDW 1.1 im Produkt aus und betreibe es auf Workstations mit RTX PRO 6000 beim Kunden oder das Edge-Modell mit 4 Mrd. Parametern auf Jetson, statt pro Aufruf für ein gehostetes Modell zu zahlen.
Bevor du dich festlegst
- Einrichtung
- Von Hugging Face herunterladen und mit dem Docker-Image vllm/vllm-omni:cosmos3 bereitstellen oder Cosmos3OmniPipeline in Diffusers laden; Linux und eine GPU der Generation Ampere, Hopper oder Blackwell sind Pflicht. Die Simulations-Checkpoints brauchen zusätzlich Docker und das NVIDIA Container Toolkit.
- Integrationen
- Diffusers, vLLM 0.21 (CUDA 13) oder 0.19.1 (CUDA 12.8), vLLM-Omni und SGLang; NIM des Reasoners auf NGC; Demos von Nano auf build.nvidia.com; Trainingscode und Agenten-Skills im Repo cosmos-framework von NVIDIA.
- Daten und Datenschutz
- OpenMDW 1.1 erlaubt kommerzielle und nichtkommerzielle Nutzung, und beim Selbsthosten bleiben die Daten lokal. Laut NVIDIA nutzte das Training 1,3 Milliarden Datenpunkte aus 393 Datensätzen.
- Kosten im großen Maßstab
- Super: acht GPUs vom Typ H200, H100 oder A100 empfohlen, etwa 55 Sekunden pro Video mit 50 Schritten auf H200; das auf vier Schritte destillierte Super ist laut NVIDIA bis zu 25-mal schneller. Nano passt auf eine H200. Der VRAM-Bedarf ist nicht veröffentlicht; schichtweises Auslagern hilft auf kleineren GPUs.
- Grenzen
- Ausgabe in 256p bis 720p, 5 bis 400 Frames; Videoeingabe auf 5 Frames und Audio auf 0,5 Sekunden begrenzt; Aktionen nur für gelistete Roboter wie Franka, AgiBot, UR und WidowX. SGLang fehlen Video-zu-Video, Ton und Aktionserzeugung. Zu den Artefakten zählen zeitliche Inkonsistenz und ungenaue physische Interaktionen.
Was gut ist
- Ein offenes Modell für Szenenverständnis, Videovorhersage und Roboteraktionen
- Lizenz OpenMDW 1.1 erlaubt kommerzielle Nutzung
- Streaming-Checkpoints für Fahren und zweiarmige Roboter für Durchläufe im geschlossenen Regelkreis
- Rezepte fürs Nachtraining, Agenten-Skills und synthetische Datensätze veröffentlicht
Was nicht
- Super will acht Rechenzentrums-GPUs; etwa 55 Sekunden pro Video mit 50 Schritten auf H200
- Die Benchmark-Führung meldet NVIDIA selbst; unabhängige Ranglisten bestätigen sie noch nicht
- Fahren im geschlossenen Regelkreis braucht eigene Simulationslaufzeit und Renderer für Szenenkarten
- Noch kein NIM für den Generator und kein gehosteter Inferenzanbieter
Am besten für
Robotik- und Autonomes-Fahren-Teams auf NVIDIA-Hardware, die ein offenes, kommerziell lizenziertes Weltmodell auf eigene Sensoren und Roboter nachtrainieren wollen.
Alternativen zu NVIDIA Cosmos 3
NVIDIA Cosmos 3: häufige Fragen
- Lohnt sich NVIDIA Cosmos 3?
- Cosmos 3 ist das offene Weltmodell, auf dem ein Robotik- oder Fahrteam aufbaut, aber die neuen Simulations-Checkpoints sind Bausätze für Teams mit Simulator und GPU-Cluster, keine fertigen Simulatoren. Wir bewerten es mit 4.2 von 5.
- Was kostet NVIDIA Cosmos 3?
- Kostenlos unter der Lizenz OpenMDW 1.1, kommerzielle Nutzung erlaubt. Der NIM-Container des Reasoners braucht einen NGC-API-Schlüssel; gehostete Preise nicht veröffentlicht, und kein Inferenzanbieter auf Hugging Face bietet es an.
- Welche Nachteile hat NVIDIA Cosmos 3?
- Super will acht Rechenzentrums-GPUs; etwa 55 Sekunden pro Video mit 50 Schritten auf H200; Die Benchmark-Führung meldet NVIDIA selbst; unabhängige Ranglisten bestätigen sie noch nicht; Fahren im geschlossenen Regelkreis braucht eigene Simulationslaufzeit und Renderer für Szenenkarten; Noch kein NIM für den Generator und kein gehosteter Inferenzanbieter.
- Für wen eignet sich NVIDIA Cosmos 3?
- Robotik- und Autonomes-Fahren-Teams auf NVIDIA-Hardware, die ein offenes, kommerziell lizenziertes Weltmodell auf eigene Sensoren und Roboter nachtrainieren wollen.
- Was kostet NVIDIA Cosmos 3 für ein Team oder im Produktivbetrieb?
- Super: acht GPUs vom Typ H200, H100 oder A100 empfohlen, etwa 55 Sekunden pro Video mit 50 Schritten auf H200; das auf vier Schritte destillierte Super ist laut NVIDIA bis zu 25-mal schneller. Nano passt auf eine H200. Der VRAM-Bedarf ist nicht veröffentlicht; schichtweises Auslagern hilft auf kleineren GPUs.
- Ist NVIDIA Cosmos 3 sicher für Firmendaten?
- OpenMDW 1.1 erlaubt kommerzielle und nichtkommerzielle Nutzung, und beim Selbsthosten bleiben die Daten lokal. Laut NVIDIA nutzte das Training 1,3 Milliarden Datenpunkte aus 393 Datensätzen.
- Was sind die besten Alternativen zu NVIDIA Cosmos 3?
- Die nächsten Alternativen, die wir getestet haben, sind Genie 4, LingBot-World 2.0 (Infinity), LTX-2.5 und HunyuanVideo 1.5.
Antworten geprüft am 9. Nov. 2026.
Du entwickelst NVIDIA Cosmos 3? Zeig diese Bewertung auf deiner Website
