La méthode habituelle pour apprendre à un robot une nouvelle tâche de manipulation consiste à réunir des dizaines de démonstrations et à entraîner une politique, ce qui inscrit la compétence dans les poids du réseau. Un nouveau preprint soutient qu'un modèle de langage figé peut faire mieux en agissant comme les agents de programmation : essayer, observer ce qui se passe et noter ce qu'il a appris, un simulateur jouant le rôle que joue le terminal pour le logiciel.
Les auteurs appellent cette idée apprentissage en contexte par le monde et construisent une plateforme, RoboScript, pour la mettre en œuvre. À partir d'une seule démonstration, l'agent répète chaque tâche en simulation, condense ce qui fonctionne dans une Task Memory en texte brut, puis fige cette mémoire et est testé sur des scènes jamais répétées. L'argument central est que ce que l'agent retient est sémantique, comme le rôle de chaque objet ou les étapes ratées, et non l'apparence de la scène, ce qui lui permet de s'adapter à de nouvelles dispositions. Les agents qui agissent ne voient que les images de caméra, la profondeur et les mesures des articulations, comme un vrai robot, et un vérificateur rejette les mémoires qui laissent filtrer des coordonnées du simulateur ou d'autres données privilégiées.
Sur les 50 tâches du benchmark RoboTwin 2.0, RoboScript atteint 83,4 % de réussite moyenne en scènes propres et aléatoires, avec une démonstration par tâche et sans mise à jour des gradients. La meilleure politique entraînée, avec 50 démonstrations, atteint 61,7 %. Le contraste sous aléa visuel est plus net encore : FastWAM, un modèle d'action et de monde très utilisé, obtient 77,8 % en scènes propres mais 1,9 % dès que l'éclairage et les textures changent. Les résultats progressent avec le modèle branché : GPT-6.1-Sol obtient 83,6 % et 83,2 % en scènes propres et aléatoires, GPT-5.6-Luna 79,8 % et 76,0 %, et même le léger DeepSeek-V4.1-Flash dépasse la meilleure politique entraînée. Les auteurs indiquent aussi avoir transféré les mémoires vers un vrai robot à deux bras grâce à un petit adaptateur.
Le déplacement intéressant concerne l'endroit où se fait le travail. Au lieu de plus de données et d'entraînement, le coût passe à l'inférence : de nombreux appels au modèle pendant la répétition et la réflexion. Les équipes qui utilisent déjà des agents de programmation fondés sur GPT ou Claude reconnaîtront la boucle, et sans doute les mêmes défaillances, des appels gaspillés aux erreurs commises avec assurance.
Les réserves sont importantes. Les résultats viennent presque entièrement d'un seul benchmark simulé, et la partie sur le robot physique relève de la démonstration plus que du test étendu. La répétition suppose un simulateur assez fidèle à la tâche, ce qui est facile pour des scènes RoboTwin et difficile pour une vraie cuisine. Dans les sections que nous avons lues, l'article ne précise ni le coût ni la durée de la répétition par tâche, et il s'agit d'un preprint non relu par des pairs.