Las empresas de conducción autónoma prueban cada vez más su software en mundos generados y no solo en carreteras reales. Para que funcione, los coches simulados alrededor del vehículo de prueba deben comportarse de forma creíble, y la simulación debe seguir la ruta que se le indica. BirdDreams, un preprint entre cuyos autores hay investigadores que hicieron el trabajo en NVIDIA, aborda ambos problemas haciendo que el modelo imagine un mapa cenital sencillo de la escena junto a la vista de la cámara.
La idea es directa. Aprender cómo se mueven otros vehículos solo con una cámara frontal es difícil, porque el movimiento se mezcla con la apariencia y los coches se tapan unos a otros. Los modelos anteriores de mundo para conducción lo resolvían introduciendo las trayectorias futuras de los vehículos de alrededor, lo que da control pero obliga a que alguien proporcione esas trayectorias. BirdDreams genera en cambio dos vídeos a la vez: la vista en perspectiva normal y una vista cenital esquemática que muestra carreteras y vehículos como formas simples a escala fija. Dos modelos de difusión de vídeo, uno por flujo, comparten atención para que cada uno informe al otro. La vista cenital es más fácil de razonar; la de cámara conserva detalles que el mapa omite, como los semáforos.
El control llega a través del mapa. Para que el coche simulado siga una ruta dada, el sistema desplaza y gira el último fotograma cenital a lo largo del recorrido pedido y usa el resultado como una pista suave de cómo debería parecer que se mueve la escena. En inferencia solo necesita una imagen de cámara, sin mapa de alta definición ni datos del estado de los vehículos. El entrenamiento usó unas 670 horas de conducción del conjunto RDS-HQ-1M más la partición de entrenamiento de nuScenes, de 700 escenas y unas 3,9 horas.
En los bancos de pruebas PhysicalAI-AV y nuScenes, los autores informan de que BirdDreams sigue las rutas indicadas con más fidelidad que modelos de mundo anteriores como Vista, GEM y DrivingDojo. En una comparación, su error de desplazamiento medio mínimo fue de 6,15 frente a 7,76 del rival más cercano, una versión de OmniDreams entrenada con los mismos datos. Evaluadores humanos juzgaron más realista su comportamiento de los vehículos de alrededor que el de una versión base solo con cámara.
Es investigación para equipos de simulación, no un producto. La vista cenital se genera a partir de anotaciones humanas durante el entrenamiento, así que el método depende de datos bien etiquetados. Los resultados proceden de la evaluación de los propios autores, el resumen da pocos detalles del estudio humano y el trabajo no ha pasado revisión por pares. Si un tráfico generado más verosímil se traduce en software de conducción más seguro en el mundo real es otra cuestión que el artículo no pone a prueba.