ロボットのデモは印象的ですが、そこから学べることは多くありません。洗濯物をたたむロボットの動画を見ても、何を学んだのか、なぜ失敗するのかはほとんどわかりません。Allen Institute for AI(Ai2)は、ロボット学習のシャーレのように使えるよう、あえて小さく作ったシミュレーション世界ToyBlocksを公開しました。研究者は1つの条件だけを変え、テストをやり直し、失敗の原因をたどることができます。
この世界は、ロボットアームと、文字や絵の付いたブロックが置かれたテーブルでできています。作業には押す、裏返す、積む、探すがあり、隠れた面を見るためにブロックを回す必要があることもあります。技能はNvidiaのIsaac Labで強化学習と動作計画によって学ばれ、計画器がそれをつないで長い作業にします。これにより、人が何時間も遠隔操作しなくても、実演データが自動で作られます。1台のGPUで数百の計画を並列に動かすと、実時間の最大24倍の速さになります。最初の公開には、85,336件の長い実演、約1,600時間分のロボットの実行記録、1.44億フレームに加え、学習済みモデル2つ、学習用コード、評価用データが含まれます。
最初の結果は示唆に富んでいます。pi0.5、ManiFlow、MolmoAct 2といった人気の行動モデルは、学習で見ていない領域や積み上げの高さにブロックが現れると、当初はうまく汎化できませんでした。Ai2は、この問題の解決にはほど遠いとしています。実機への移行はより良好で、ManiFlowの単一技能の成功率はシミュレーションで80.0%、実際のFrankaアームで81.1%でした。計画にMolmo 2を使う組み合わせのシステムは、文字をつづる作業でシミュレーションの55.5%、実機の50.0%(30回中15回)を成功させました。Ai2はさらに、Claude Opus 5.5をMCPのツール経由でエージェントとして動かしました。古典的なブロック積みの課題30問はすべて解き、より難しい、単語をつづる文字を探すか不可能だと判断する作業では63%で成功しました。つまずいたのは主に、似た形の文字と横向きのブロックです。エージェントが自分で実験し、技能の説明を自分で書き直すと、成功率は24%から63%に上がり、専門家の説明を使った場合の36%を上回りました。
当サイトのロボット向けモデルやClaude Opus 5.5の記事を追っている方にとって、役立つのは条件をそろえた比較です。結果が実際のアームにも当てはまることが確かめられた、共通でオープンな世界があれば、研究機関は選び抜かれた動画ではなく、同じ条件で主張を検証できます。
限界は設計そのものに含まれています。テーブルの上のブロックは物理的な作業のごく一部にすぎず、ここでうまく移行できても、布や液体、散らかった台所で同じようにいく保証はありません。実機での試行は少なく、統計的な確かさを得るにはもっと試行が必要だとAi2自身も述べています。これは開発元による公開時の解説で、査読を経た研究ではありません。