Roboter-Demos beeindrucken, lehren aber wenig: Ein Video eines Roboters, der Wäsche faltet, verrät selten, was er gelernt hat oder warum er scheitert. Ai2, das Allen Institute for AI, hat ToyBlocks veröffentlicht, eine bewusst kleine simulierte Welt, die wie eine Petrischale für das Roboterlernen funktionieren soll: Forschende können eine Sache ändern, einen Test wiederholen und einen Fehler zurückverfolgen.
Die Welt besteht aus einem Roboterarm und Klötzen mit Buchstaben oder Bildern auf einem Tisch. Zu den Aufgaben gehören Schieben, Umdrehen, Stapeln und Suchen, denn der Roboter muss einen Klotz eventuell drehen, um eine verdeckte Seite zu sehen. Fähigkeiten werden mit bestärkendem Lernen und Bewegungsplanung in Nvidias Isaac Lab gelernt, und ein Planer verkettet sie zu langen Aufgaben, sodass Vorführungen automatisch entstehen statt durch stundenlange menschliche Fernsteuerung. Hunderte Pläne parallel auf einer GPU erreichen bis zum 24-Fachen der Echtzeit. Die erste Veröffentlichung umfasst 85.336 lange Vorführungen, fast 1.600 Stunden Roboterausführung und 144 Millionen Einzelbilder, dazu zwei trainierte Modelle, Trainingscode und Evaluierungssätze.
Die ersten Befunde sind lehrreich. Verbreitete Aktionsmodelle, darunter pi0.5, ManiFlow und MolmoAct 2, verallgemeinerten anfangs schlecht, wenn Klötze in Bereichen oder Stapelhöhen auftauchten, die sie im Training nicht gesehen hatten; laut Ai2 ist das Problem längst nicht gelöst. Die Übertragung auf Hardware sah besser aus: ManiFlows Erfolg bei Einzelfähigkeiten lag in der Simulation bei 80,0% und an einem echten Franka-Arm bei 81,1%, und ein kombiniertes System mit Molmo 2 als Planer schaffte 55,5% der simulierten Buchstabieraufgaben und 50,0% der echten, 15 von 30. Ai2 ließ zudem Claude Opus 5.5 als Agenten über MCP-Werkzeuge arbeiten. Es löste alle 30 klassischen Stapelrätsel, und bei einer schwierigeren Aufgabe, Buchstaben für ein Wort zu finden oder die Aufgabe für unmöglich zu erklären, gelang es in 63% der Fälle; es stolperte vor allem über ähnlich aussehende Buchstaben und seitlich liegende Klötze. Als der Agent eigene Experimente durchführte und eigene Beschreibungen der Fähigkeiten schrieb, stieg der Erfolg von 24% auf 63%, mehr als die 36% mit den Beschreibungen eines Experten.
Für Leser unserer Berichte über Robotermodelle und über Claude Opus 5.5 liegt der Nutzen im kontrollierten Vergleich. Eine gemeinsame, offene Welt, deren Ergebnisse nachweislich auf einen echten Arm übertragbar sind, erlaubt Laboren, Behauptungen unter gleichen Bedingungen zu prüfen statt über ausgewählte Videos.
Die Grenzen sind im Design angelegt. Klötze auf einem Tisch sind ein schmaler Ausschnitt körperlicher Arbeit, und gute Übertragung hier garantiert keine Übertragung bei Stoff, Flüssigkeiten oder vollgestellten Küchen. Die Tests mit dem echten Roboter sind klein, und Ai2 sagt selbst, dass für statistische Sicherheit mehr Durchläufe nötig sind. Es handelt sich um einen Veröffentlichungsbericht des Entwicklers, keine begutachtete Studie.