Hersteller autonomer Fahrzeuge testen ihre Software zunehmend in erzeugten Welten statt nur auf echten Straßen. Damit das funktioniert, müssen sich die simulierten Autos um das Testfahrzeug glaubwürdig verhalten, und die Simulation muss der vorgegebenen Route folgen. BirdDreams, ein Preprint, zu dessen Autoren Forscher gehören, die die Arbeit bei NVIDIA erledigt haben, geht beide Probleme an, indem das Modell neben der Kameraansicht eine einfache Draufsicht der Szene mitentwirft.
Die Idee ist schlicht. Zu lernen, wie sich andere Fahrzeuge bewegen, nur aus einer Frontkamera ist schwer, weil Bewegung mit Aussehen verwoben ist und Autos einander verdecken. Frühere Fahrwelt-Modelle umgingen das, indem sie die künftigen Wege der umgebenden Fahrzeuge vorgaben. Das bringt Kontrolle, verlangt aber, dass jemand diese Wege liefert. BirdDreams erzeugt stattdessen zwei Videos gleichzeitig: die normale Perspektivansicht und eine schematische Vogelperspektive, die Straßen und Fahrzeuge als einfache Formen in festem Maßstab zeigt. Zwei Video-Diffusionsmodelle, eines pro Strom, teilen Aufmerksamkeit, sodass jedes das andere informiert. Die Draufsicht lässt sich leichter auswerten, die Kameraansicht behält Details, die die Karte weglässt, etwa Ampeln.
Die Steuerung läuft über die Karte. Damit das simulierte Auto einer Route folgt, verschiebt und dreht das System das letzte Draufsicht-Bild entlang des gewünschten Wegs und nutzt das Ergebnis als weichen Hinweis, wie sich die Szene scheinbar bewegen sollte. Bei der Anwendung braucht es nur ein einziges Kamerabild, ohne hochauflösende Karte oder Fahrzeugzustände. Trainiert wurde mit rund 670 Stunden Fahrdaten aus RDS-HQ-1M und dem nuScenes-Trainingssatz von 700 Szenen, etwa 3,9 Stunden.
Auf den Benchmarks PhysicalAI-AV und nuScenes folgt BirdDreams laut den Autoren vorgegebenen Routen genauer als frühere Weltmodelle wie Vista, GEM und DrivingDojo. In einem Vergleich lag der minimale durchschnittliche Verschiebungsfehler bei 6,15 gegenüber 7,76 beim nächstbesten Konkurrenten, einer mit denselben Daten trainierten Version von OmniDreams. Menschliche Bewerter hielten das Verhalten der umgebenden Fahrzeuge für realistischer als bei einer Basisversion nur mit Kamera.
Das ist Forschung für Simulationsteams, kein Produkt. Die Draufsicht wird im Training aus menschlichen Annotationen gerendert, der Ansatz hängt also von gut beschrifteten Daten ab. Die Ergebnisse stammen aus der eigenen Auswertung der Autoren, das Abstract nennt wenige Details zur Nutzerstudie, und die Arbeit ist nicht begutachtet. Ob glaubwürdigerer simulierter Verkehr zu sichererer Fahrsoftware in der echten Welt führt, ist eine eigene Frage, die das Paper nicht prüft.