Wer ein Haustier erzogen oder einen neuen Kollegen eingearbeitet hat, kennt den Frust, denselben Fehler in leicht abgewandelter Form immer wieder zu korrigieren. Ein Roboter, der seinen Weg über einen vollen Tisch plant, hat dasselbe Problem: Sag ihm, er soll den Laptop meiden, und er meidet den Laptop, schwenkt dann aber eine volle Kaffeetasse seelenruhig über das Handy daneben. Forschende am MIT und an der New York University haben ein System namens FLEX gebaut, das die Absicht hinter einer solchen Korrektur erkennen soll, und stellen es diesen Monat auf der Conference on Robot Learning vor.
FLEX arbeitet in drei Schritten. Im ersten, Hinzufügen, kommt ein vom Nutzer genanntes Objekt auf die Liste der Dinge, die für die Aufgabe wichtig sind; so funktionierten auch frühere Methoden. Der zweite, Verallgemeinern, ist neu: Ein großes Sprachmodell, hier GPT-4o, betrachtet alles auf dieser Liste und erschließt die übergeordnete Kategorie, sodass aus einem Laptop Elektronik wird, aus einer Tasse zerbrechliche Dinge und aus einem Papierstapel brennbare Gegenstände. Im dritten, Maskieren, prüft das Bildverarbeitungssystem des Roboters, welche gelisteten Objekte nicht mehr in der Szene sind, und streicht sie, damit die Liste nicht endlos wächst. Der ganze Ablauf dauert etwa fünf Sekunden.
Das Team testete das System in der Simulation mit einem Roboterarm, der Kaffee servierte, eine Kerze bewegte und eine Bowlingkugel trug, während Freiwillige Befehle wie "Verschütte nichts auf meinem Laptop" eintippten. In jedem Fall befolgte der Roboter die wörtliche Anweisung und die abgeleitete Regel und wich einem Handy aus, vor dem ihn niemand gewarnt hatte.
Die Idee ist, sich den gesunden Menschenverstand zu leihen, den ein Modell wie das hinter ChatGPT aus riesigen Textmengen aufnimmt, statt Menschen jede Regel ausbuchstabieren zu lassen. Das passt zu einem breiteren Bestreben, mit Haushalts- und Assistenzrobotern zu sprechen, statt sie zu programmieren.
Die Belege sind bislang dünn. Die Ergebnisse stammen aus drei simulierten Aufgaben, beschrieben in einer Pressemitteilung der Universität, ohne Erfolgsquoten oder Vergleichszahlen. Ein Sprachmodell, das zu stark verallgemeinert, könnte einen Roboter übervorsichtig machen, sodass er jedem Gegenstand ausweicht, den er für wertvoll hält, und die Arbeit zeigt noch nicht, wie oft Nutzer solche Schlüsse rückgängig machen müssten. Echte Küchen mit ihrem Licht und ihrer Unordnung werden den Bildverarbeitungsschritt weit härter prüfen als ein Simulator.