ロボットに新しい操作タスクを教える標準的な方法は、何十もの実演を集めて方策を学習させ、技能をネットワークの重みに焼き付けることです。新しいプレプリントは、凍結した言語モデルでも、コーディングエージェントがすでにやっていること、つまり試し、結果を見て、学んだことを書き留めるというやり方をすれば、より良い結果を出せると主張しています。ソフトウェアにおける端末の役割を、ここではシミュレーターが担います。
著者らはこの考え方を「世界を使った文脈内学習」と呼び、それを動かすプラットフォームRoboScriptを作りました。エージェントは1回の実演から出発して各タスクをシミュレーションで練習し、うまくいったことをプレーンテキストのTask Memoryにまとめ、そのメモリを凍結して、練習したことのない場面でテストされます。中心となる主張は、エージェントが記録するのは場面の見た目ではなく、どの物体がどんな役割を持つか、どの手順で失敗したかといった意味的な内容なので、新しい配置にも持ち越せるという点です。動作するエージェントが見るのはカメラ画像、深度、関節の値だけで、実際のロボットと同じ入力です。シミュレーターの座標などの特権的なデータが漏れたメモリは、チェッカーが拒否します。
RoboTwin 2.0ベンチマークの全50タスクで、RoboScriptはタスクごとに1回の実演、勾配更新なしで、きれいな場面とランダム化した場面を合わせた平均成功率83.4%を達成しました。50回の実演で学習した最強の方策は61.7%でした。見た目のランダム化での差はさらに大きく、広く使われている世界行動モデルFastWAMは、きれいな場面では77.8%なのに、照明や質感が変わると1.9%に落ちます。結果は組み込むモデルによって伸び、GPT-6.1-Solはきれいな場面とランダム化した場面で83.6%と83.2%、GPT-5.6-Lunaは79.8%と76.0%を記録し、軽量なDeepSeek-V4.1-Flashでさえ最良の学習済み方策を上回りました。著者らは、小さなアダプターを介してメモリを実物の双腕ロボットに移したことも報告しています。
興味深いのは、仕事の重心が移る場所です。より多くのデータと学習の代わりに、コストは推論、つまり練習と振り返りの際の大量のモデル呼び出しに移ります。GPTやClaudeを使ったコーディングエージェントをすでに運用しているチームなら、このループに見覚えがあるはずで、無駄な呼び出しから自信満々の間違いまで、同じ失敗も付いてくるでしょう。
注意点は大きなものです。結果はほぼすべて1つの模擬ベンチマークによるもので、実物のロボットの部分は幅広い検証というより実演です。練習には、タスクに対して十分に忠実なシミュレーターが前提となり、RoboTwinの場面なら簡単でも、実際の台所では難しくなります。私たちが読んだ範囲では、タスクごとの練習にかかるコストや時間は示されておらず、査読前のプレプリントです。