自動運転の企業は、実際の道路だけでなく、生成した世界でソフトウェアを試す機会を増やしています。それが成り立つには、試験車両の周りの模擬車両がもっともらしく振る舞い、指示したルートどおりにシミュレーションが進む必要があります。NVIDIA在籍時にこの研究を行った研究者を含むプレプリントBirdDreamsは、カメラの映像と並べて、シーンを真上から見た簡素な地図もモデルに思い描かせることで、両方の問題に取り組んでいます。
考え方は単純です。前方カメラだけから他の車両の動き方を学ぶのは難しく、動きが見た目と絡み合い、車同士が互いを隠してしまうからです。これまでの運転用ワールドモデルは、周囲の車両の将来の軌跡を入力として与えることでこれを回避していました。制御はしやすくなりますが、誰かがその軌跡を用意しなければなりません。BirdDreamsは代わりに二つの動画を同時に生成します。通常の視点の映像と、道路や車両を一定の縮尺の単純な図形で示す模式的な俯瞰映像です。流れごとに一つずつ、二つの動画拡散モデルが注意機構を共有し、互いに情報を与え合います。俯瞰図は扱いやすく、カメラ映像は信号機など地図が省く細部を残します。
制御は地図を通じて行います。模擬車両に指定のルートをたどらせるため、システムは最新の俯瞰フレームを指定された経路に沿って平行移動・回転させ、その結果を、シーンがどう動いて見えるべきかを示す緩やかな手がかりとして使います。推論時に必要なのはカメラ画像1枚だけで、高精度地図や車 両の状態の入力は要りません。学習には、RDS-HQ-1Mデータセットの約670時間の走行と、nuScenesの学習用分割の700シーン、約3.9時間を使いました。
PhysicalAI-AVとnuScenesのベンチマークで、著者らはBirdDreamsが、Vista、GEM、DrivingDojoなど以前のワールドモデルよりも指定ルートに忠実に従うと報告しています。ある比較では、最小平均変位誤差が6.15で、同じデータで学習したOmniDreamsの一版である最も近い競合の7.76を下回りました。人間の評価者は、周囲の車両の振る舞いがカメラのみの基準モデルより現実的だと判断しました。
これはシミュレーションに取り組むチーム向けの研究で、製品ではありません。俯瞰図は学習時に人手の注釈から描画されるため、この手法はラベルの整ったデータに依存します。結果は著者自身の評価によるもので、要旨では人間による評価の詳細が限られ、査読も受けていません。生成された交通がもっともらしくなることが、現実世界でより安全な運転ソフトウェアにつながるかどうかは、論文が検証していない別の問題です。