NVIDIA hat sein Weltmodell Cosmos 3 in eine Reihe von Werkzeugen verwandelt, die sich eher wie ein Simulator als wie ein Videogenerator verhalten. Die vier neuen Checkpoints, alle per Post-Training aus Cosmos 3 Nano entstanden und auf Hugging Face veröffentlicht, erlauben Teams, die selbstfahrende Autos und Roboterarme entwickeln, Sensordaten zu erzeugen und in einer Schleife mit einer Fahr- oder Steuerungs-Policy abzuspielen. Wer für Testflotten oder handgebaute Simulationsszenen bezahlt, hat damit einen Grund, genauer hinzusehen.
Jeder Checkpoint hat eine eng umrissene Aufgabe. Cosmos3-Nano-Transfer-Auto erzeugt synchronisiertes Fahrvideo für bis zu 11 Kameras, Fischaugen eingeschlossen, und kann zugleich LiDAR ausgeben; eine Szenenkarte legt Straßenverlauf und Verkehr fest, ein Text-Prompt Wetter, Licht und Tageszeit. Cosmos3-Nano-Sim-Auto ist eine destillierte, schnellere Version, die kurze Abschnitte Schritt für Schritt in wenigen Entrauschungsdurchgängen erzeugt, sodass eine Policy auf das Gesehene reagieren kann. Cosmos3-Nano-Sim-Transfer nimmt Tiefen-, Segmentierungs-, Kanten- und Unschärfekarten aus einem Physiksimulator und macht daraus realistisches Farbvideo, während die Physik im Simulator bleibt. Cosmos3-Nano-Sim-Bimanual sagt die nächsten Bilder aus den Aktionen eines zweiarmigen Roboters voraus und unterstützt YAM- und AgiBot-Hardware.
Die Lizenz ist OpenMDW1.1, die kommerzielle Nutzung nach ihren Bedingungen erlaubt. Die Hardwarehürde ist hoch: NVIDIAs Serving-Setup wurde auf einer einzelnen GB200 getestet, und das Unternehmen betont, dass dies kein Minimum ist, kleinere GPUs sind also unerprobt. Das Training lief in vier Stufen, zuletzt lernte das Modell aus seiner eigenen erzeugten Vorgeschichte, damit sich kleine Fehler über lange Läufe nicht aufschaukeln. Das frühe Interesse ist echt, die Modellseiten zeigen jeweils zwischen etwa 2.850 und 6.320 Downloads.
Unser Test von Cosmos 3 beschreibt ein allgemeines Weltmodell für Roboter und Autos; diese Checkpoints sind die praktische Umsetzung, ausgerichtet auf Tests im geschlossenen Regelkreis, bei denen eine Policy handelt und die Welt reagiert. Der für die meisten Teams relevante Vergleich ist der mit klassischen Simulatoren und Game-Engine-Rendering. Cosmos ersetzt sie nicht: Sim-Transfer stützt sich für die Physik ausdrücklich auf einen Simulator und liefert nur das realistische Aussehen, an dem synthetische Daten oft scheitern.
Die Vorbehalte kommen teils von NVIDIA selbst. Das Unternehmen räumt ein, noch nicht geklärt zu haben, wo diese Modelle treu genug sind, um Policies zu trainieren und zu bewerten, und genau darum geht es bei einem Simulator. Fehler können sich bei langen Generierungen weiterhin aufsummieren. Der Blogbeitrag nennt weder Auflösung noch Bildrate, Cliplänge oder Benchmark-Werte, und er gibt 16B trainierbare Parameter an, während die Model Cards 15B nennen. Teams, die Hardware planen, sollten vorher die Cards und den verlinkten technischen Bericht prüfen.