Empresas de direção autônoma testam cada vez mais seus softwares em mundos gerados, e não só em ruas de verdade. Para isso funcionar, os carros simulados em volta do veículo de teste precisam se comportar de forma crível, e a simulação precisa seguir a rota indicada. O BirdDreams, um preprint cujos autores incluem pesquisadores que fizeram o trabalho na NVIDIA, ataca os dois problemas fazendo o modelo imaginar um mapa simples visto de cima ao lado da visão da câmera.
A ideia é direta. Aprender como outros veículos se movem só com uma câmera frontal é difícil, porque o movimento se mistura com a aparência e os carros escondem uns aos outros. Modelos de mundo anteriores para direção contornavam isso fornecendo as trajetórias futuras dos veículos ao redor, o que dá controle, mas exige que alguém forneça essas trajetórias. O BirdDreams gera dois vídeos ao mesmo tempo: a vista em perspectiva normal e uma vista esquemática de cima que mostra ruas e veículos como formas simples em escala fixa. Dois modelos de difusão de vídeo, um para cada fluxo, compartilham atenção para que um informe o outro. A vista de cima é mais fácil de interpretar; a da câmera guarda detalhes que o mapa omite, como semáforos.
O controle vem pelo mapa. Para o carro simulado seguir uma rota, o sistema desloca e gira o último quadro visto de cima ao longo do caminho pedido e usa o resultado como uma dica suave de como a cena deveria parecer se mover. Na inferência, precisa só de uma imagem de câmera, sem mapa de alta definição nem dados de estado dos veículos. O treino usou cerca de 670 horas de direção do conjunto RDS-HQ-1M mais a divisão de treino do nuScenes, com 700 cenas e cerca de 3,9 horas.
Nos benchmarks PhysicalAI-AV e nuScenes, os autores relatam que o BirdDreams segue as rotas indicadas com mais fidelidade que modelos de mundo anteriores como Vista, GEM e DrivingDojo. Numa comparação, o erro mínimo de deslocamento médio foi de 6,15 contra 7,76 do rival mais próximo, uma versão do OmniDreams treinada com os mesmos dados. Avaliadores humanos consideraram o comportamento dos veículos ao redor mais realista que o de uma versão base só com câmera.
É pesquisa para equipes de simulação, não um produto. A vista de cima é gerada a partir de anotações humanas no treino, então o método depende de dados bem rotulados. Os resultados vêm da avaliação dos próprios autores, o resumo dá poucos detalhes do estudo com pessoas e o trabalho não passou por revisão de pares. Se um tráfego gerado mais plausível se traduz em software de direção mais seguro no mundo real é outra questão que o artigo não testa.