移動しながら建物の地図を作るロボットは、見たものにラベルを付けなければなりませんが、一度見え方が悪かっただけで誤ったラベルが記憶に残り続けることがあります。MITのSPARK LaboratoryでLuca Carlone氏が率い、大学院生のHarry Zhang氏とNicolas Gorlo氏が加わったチームは、保存されたラベルのうちどれが誤っている可能性が高いかを見つけ、後から修正するシステムを作りました。この研究、UQ-DAAAMはNeurIPSで発表される予定で、研究室の外でも重要な問題を扱っています。家庭用や倉庫用のロボットの有用性は、物がどこにあるかの記録の正確さで決まるからです。
このシステムは、同グループの以前の研究DAAAMを拡張したものです。DAAAMは視覚言語モデルで物体を説明する文を作り、それを3D地図に結び付けて、ロボットが後で質問に答えられるようにします。遠い、ぼやけた、暗い、あるいは一部しか見えない視点から作られた説明はしばしば誤っており、MITの発表では屋根の上の灰色の煙突が最初はリスと説明された例が示されています。UQ-DAAAMは、モデルが自分の言葉にどれだけ確信を持っていたかと、同じ物体の説明が視点ごとにどれだけ食い違うかを組み合わせて、物体ごとの不確かさを数値化します。しきい値を超えた物体には追加の視点が割り当てられます。選ぶのは、視覚モデルを再実行せずに有用なフレームを選べることを著者らが証明したルールです。その後、言語モデルが選ばれた説明を統合し、新しく明瞭なものを優先します。
公表された数値は心強いものの、範囲は限られています。このシステムは物体1つあ たりわずか2つの追加説明で、約92%の物体の曖昧さを解消し、説明の正確さは従来の最良手法より5%高くなりました。arXivの論文が挙げているベンチマークはOC-NaVQAの1つで、ロボットが何を、どこで、いつ見たかを問うテストです。速度に関する主張も正確さと同じくらい重要です。Carlone氏によれば、難しかったのは移動中のロボット上で確認を一瞬で実行させることでした。
この研究の要点は、視覚言語モデルを使うあらゆる製品に当てはまります。チャットボットは誤る可能性があるという一般的な注意書きで身を守れますが、誤ったラベルの物体に基づいて動くロボットにはそうした緩衝材がありません。複数の回答の食い違いを測るのは言語モデルの不確かさを推定する既知の方法であり、この研究はそれをモデル呼び出しの予算を固定した上で物理的な記憶に適用しています。そこが実機で使える理由です。
まだ分からない点もいくつかあります。MITの記事は使用したロボットや環境を明らかにしておらず、論文の要旨も主要な数値以外は示していないため、散らかって変化する空間でこの手法がどこまで通用するかはまだ分かりません。発表にある、除細動器を誤ってラベル付けする例は、重要性を説明するための想定であり、検証された事例ではありません。正確さの5%向上は控えめで、移動マニピュレータへの応用や不確かな場所にロボットを戻らせることなど、チームが挙げる次の段階はまだ計画にとどまっています。