Der übliche Weg, einem Roboter eine neue Greifaufgabe beizubringen, besteht darin, Dutzende Vorführungen zu sammeln und eine Policy zu trainieren, sodass die Fähigkeit in den Gewichten des Netzes steckt. Ein neuer Preprint argumentiert, dass ein eingefrorenes Sprachmodell es besser machen kann, wenn es tut, was Programmieragenten schon tun: ausprobieren, beobachten, was passiert, und das Gelernte aufschreiben, wobei ein Simulator die Rolle übernimmt, die bei Software das Terminal spielt.
Die Autoren nennen die Idee World In-Context Learning und bauen dafür eine Plattform namens RoboScript. Ausgehend von einer einzigen Vorführung probt der Agent jede Aufgabe in der Simulation, verdichtet das Funktionierende zu einer Task Memory in Klartext, friert diese dann ein und wird in Szenen getestet, die er nie geprobt hat. Die zentrale These: Was der Agent speichert, ist semantisch, etwa welches Objekt welche Rolle spielt und welche Schritte schiefgingen, nicht, wie die Szene aussieht; deshalb lässt es sich auf neue Anordnungen übertragen. Die handelnden Agenten sehen nur Kamerabilder, Tiefe und Gelenkdaten, also dieselben Eingaben wie ein echter Roboter, und ein Linter weist Erinnerungen zurück, die Simulator-Koordinaten oder andere privilegierte Daten enthalten.
Bei allen 50 Aufgaben des Benchmarks RoboTwin 2.0 erreichte RoboScript über saubere und randomisierte Szenen hinweg eine mittlere Erfolgsquote von 83,4%, mit einer Vorführung pro Aufgabe und ohne Gradienten-Updates. Die stärkste trainierte Policy kam mit 50 Vorführungen auf 61,7%. Unter visueller Randomisierung ist der Kontrast noch größer: FastWAM, ein verbreitetes World Action Model, schafft 77,8% in sauberen Szenen, aber nur 1,9%, sobald sich Licht und Texturen ändern. Die Ergebnisse skalieren mit dem eingesetzten Modell: GPT-6.1-Sol erzielte 83,6% und 83,2% in sauberen und randomisierten Szenen, GPT-5.6-Luna 79,8% und 76,0%, und selbst das leichte DeepSeek-V4.1-Flash schlug die beste trainierte Policy. Die Autoren berichten zudem, dass sie die Erinnerungen über einen kleinen Adapter auf einen echten zweiarmigen Roboter übertragen haben.
Die interessante Verschiebung liegt darin, wo die Arbeit anfällt. Statt mehr Daten und mehr Training wandern die Kosten in die Inferenz: viele Modellaufrufe beim Proben und Reflektieren. Teams, die bereits Programmieragenten auf Basis von GPT oder Claude einsetzen, werden die Schleife wiedererkennen, und vermutlich auch dieselben Fehlerbilder, von verschwendeten Aufrufen bis zu selbstsicheren Irrtümern.
Die Vorbehalte wiegen schwer. Die Ergebnisse stammen fast vollständig aus einem einzigen simulierten Benchmark, und der Abschnitt zum echten Roboter ist eher eine Vorführung als ein breiter Test. Das Proben setzt einen Simulator voraus, der der Aufgabe treu genug ist, was bei RoboTwin-Szenen leicht und in einer echten Küche schwer ist. In den Abschnitten, die wir gelesen haben, nennt das Paper weder Kosten noch Dauer des Probens pro Aufgabe, und es ist ein Preprint ohne Begutachtung.