자율주행 기업들은 실제 도로뿐 아니라 생성된 세계에서 소프트웨어를 시험하는 일이 늘고 있습니다. 그러려면 시험 차 량 주변의 가상 차량이 그럴듯하게 움직여야 하고, 시뮬레이션은 지시한 경로를 따라가야 합니다. NVIDIA에서 이 작업을 한 연구자들이 저자로 참여한 사전 공개 논문 BirdDreams는 모델이 카메라 화면과 함께 장면을 위에서 내려다본 단순한 지도도 상상하게 해 두 문제를 함께 다룹니다.
아이디어는 간단합니다. 전방 카메라만으로 다른 차량이 어떻게 움직이는지 배우기는 어렵습니다. 움직임이 겉모습과 얽혀 있고 차들이 서로를 가리기 때문입니다. 이전의 주행용 월드 모델은 주변 차량의 미래 경로를 입력으로 넣어 이를 피했는데, 제어는 쉬워지지만 누군가 그 경로를 제공해야 합니다. BirdDreams는 대신 두 영상을 동시에 만듭니다. 일반적인 원근 시점 영상과, 도로와 차량을 일정한 축척의 단순한 도형으로 보여 주는 도식적 조감 영상입니다. 흐름마다 하나씩, 두 개의 영상 확산 모델이 어텐션을 공유해 서로에게 정보를 줍니다. 조감도는 다루기 쉽고, 카메라 영상은 신호등처럼 지도가 빠뜨리는 세부를 담습니다.
제어는 지도를 통해 이뤄집니다. 가상 차량이 주어진 경로를 따르게 하려고, 시스템은 가장 최근의 조감 프레임을 요청된 경로를 따라 이동·회전시킨 뒤 그 결과를 장면이 어떻게 움직여 보여야 하는지에 대한 부드러운 힌트로 씁니다. 추론할 때는 카메라 이미지 한 장만 있으면 되고, 고정밀 지도나 차량 상태 입력은 필요 없습니다. 훈련에는 RDS-HQ-1M 데이터 세트의 약 670시간 주행과 nuScenes 훈련 분할의 700개 장면, 약 3.9시간을 썼습니다.
PhysicalAI-AV와 nuScenes 벤치마크에서 저자들은 BirdDreams가 Vista, GEM, DrivingDojo 같은 이전 월드 모델보다 입력 경로를 더 충실히 따른다고 보고합니다. 한 비교에서 최소 평균 변위 오차는 6.15로, 같은 데이터로 훈련한 OmniDreams 버전인 가장 가까운 경쟁 모델의 7.76보다 낮았습니다. 사람 평가자들은 주변 차량의 움직임이 카메라만 쓰는 기준 모델보다 더 현실적이라고 판단했습니다.
이는 시뮬레이션 팀을 위한 연구이지 제품이 아닙니다. 조감도는 훈련 중 사람이 단 주석으로 그려지므로, 이 방법은 라벨이 잘 붙은 데이터에 의존합니다. 결과는 저자들의 자체 평가이며, 초록에는 사람 평가의 세부가 부족하고, 동료 심사도 거치지 않았습니다. 생성된 교통이 더 그럴듯해지는 것이 실제 세계에서 더 안전한 주행 소프트웨어로 이어지는지는 논문이 시험하지 않은 별개의 문제입니다.