Les entreprises de conduite autonome testent de plus en plus leurs logiciels dans des mondes générés plutôt que seulement sur de vraies routes. Pour que cela fonctionne, les voitures simulées autour du véhicule d'essai doivent se comporter de façon crédible, et la simulation doit suivre l'itinéraire demandé. BirdDreams, une prépublication dont les auteurs comptent des chercheurs ayant mené ce travail chez NVIDIA, traite les deux problèmes en faisant imaginer au modèle un plan simple vu du dessus de la scène, à côté de la vue caméra.
L'idée est directe. Apprendre comment bougent les autres véhicules à partir d'une seule caméra frontale est difficile, car le mouvement se mêle à l'apparence et les voitures se masquent entre elles. Les modèles de monde antérieurs pour la conduite contournaient cela en fournissant les trajectoires futures des véhicules alentour, ce qui donne du contrôle mais suppose que quelqu'un fournisse ces trajectoires. BirdDreams génère plutôt deux vidéos à la fois : la vue en perspective habituelle et une vue de dessus schématique qui représente routes et véhicules par des formes simples à échelle fixe. Deux modèles de diffusion vidéo, un par flux, partagent leur attention pour que chacun informe l'autre. La vue de dessus est plus facile à exploiter ; la vue caméra conserve des détails que le plan omet, comme les feux.
Le pilotage passe par le plan. Pour que la voiture simulée suive un itinéraire donné, le système déplace et fait pivoter la dernière image vue de dessus le long du trajet demandé et s'en sert comme d'une indication souple de la façon dont la scène devrait sembler bouger. À l'usage, il ne lui faut qu'une seule image de caméra, sans carte haute définition ni état des véhicules. L'entraînement a utilisé environ 670 heures de conduite issues de RDS-HQ-1M, plus la partie d'entraînement de nuScenes, soit 700 scènes et environ 3,9 heures.
Sur les bancs d'essai PhysicalAI-AV et nuScenes, les auteurs indiquent que BirdDreams suit les itinéraires demandés plus fidèlement que des modèles de monde antérieurs comme Vista, GEM et DrivingDojo. Dans une comparaison, son erreur de déplacement moyenne minimale était de 6,15 contre 7,76 pour le concurrent le plus proche, une version d'OmniDreams entraînée sur les mêmes données. Des évaluateurs humains ont jugé le comportement des véhicules alentour plus réaliste que celui d'une version de base limitée à la caméra.
C'est de la recherche pour équipes de simulation, pas un produit. La vue de dessus est rendue à partir d'annotations humaines pendant l'entraînement, et l'approche dépend donc de données bien étiquetées. Les résultats viennent de l'évaluation des auteurs, le résumé donne peu de détails sur l'étude humaine, et le travail n'a pas été relu par des pairs. Qu'un trafic généré plus plausible se traduise par des logiciels de conduite plus sûrs dans le monde réel est une autre question que l'article ne teste pas.