ペットをしつけたり新しい同僚を教えたりしたことがある人なら、少しずつ形の違う同じ失敗を何度も直す苛立ちを知っているはずです。散らかったテーブルの上で経路を計画するロボットも同じ問題を抱えています。ノートパソコンを避けるよう言えばノートパソコンは避けますが、その隣のスマートフォンの上には、平気でコーヒーが満杯のカップを通してしまいます。MITとニューヨーク大学の研究者は、こうした訂正の裏にある意図を読み取ろうとするシステムFLEXを開発し、今月のConference on Robot Learningで発表します。
FLEXは3つの段階で動きます。最初の「追加」では、利用者が挙げた物体を、そのタスクで気にすべきもののリストに加えます。これは従来の手法と同じです。2つ目の「一般化」が新しい部分で、大規模言語モデル(ここではGPT-4o)がリスト全体を見て、より広いカテゴリーを推論します。ノートパソコンは電子機器に、マグカップは壊れやすいものに、紙の束は燃えやすいものになります。3つ目の「マスク」では、ロボットの視覚システムが、リストにある物体のうちもう場面にないものを確かめて削除し、リストが際限なく伸びないようにします。この一連の処理は約5秒です。
チームは、ロボットアームがコーヒーを出す、ろうそくを動かす、ボウリングの球を運ぶという3つの場面でシミュレーションを行い、ボランティアが「ノートパソコンにこぼさないで」といった指示を入力しました。どの場合もロボットは文字どおりの指示と推論した規則の両方に従い、誰からも注意されていないスマートフォンを避けて動きました。
狙いは、人にすべての規則を細かく説明させる代わりに、ChatGPTの背後にあるようなモデルが膨大な文章から身につけた常識を借りることです。家庭用や介助用のロボットを、プログラムするのではなく話しかけて使えるようにしようという、より大きな流れにも沿っています。
現時点で根拠は多くありません。結果は大学のプレスリリースで説明された3つの模擬タスクによるもので、成功率や比較の数字は示されていません。一般化しすぎる言語モデルは、大事そうだと判断したあらゆる物を避けるような、臆病なロボットを生むおそれがあります。また、利用者がそうした推論をどのくらいの頻度で取り消す必要があるかも、まだ示されていません。照明も散らかり方もさまざまな実際の台所は、シミュレーターよりはるかに厳しく視覚の段階を試すことになります。