Ein Roboter, der beim Fahren eine Karte eines Gebäudes anlegt, muss benennen, was er sieht, und ein einziger schlechter Blick kann eine falsche Bezeichnung dauerhaft in seinem Gedächtnis hinterlassen. Ein Team des SPARK Laboratory am MIT unter Luca Carlone, mit den Doktoranden Harry Zhang und Nicolas Gorlo, hat ein System gebaut, das erkennt, welche gespeicherten Bezeichnungen wahrscheinlich falsch sind, und sie nachträglich korrigiert. Die Arbeit, UQ-DAAAM, wird auf der NeurIPS vorgestellt und behandelt ein Problem, das weit über das Labor hinaus zählt: Ein Haushalts- oder Lagerroboter ist nur so nützlich wie sein Wissen darüber, wo die Dinge sind.
Das System erweitert das frühere DAAAM der Gruppe, das mit einem Vision-Language-Modell Objekte beschreibt und diese Beschreibungen in einer 3D-Karte verankert, damit der Roboter später Fragen beantworten kann. Beschreibungen aus einer fernen, unscharfen, dunklen oder unvollständigen Ansicht sind oft falsch; die MIT-Meldung zeigt einen grauen Schornstein auf einem Dach, der zunächst als Eichhörnchen beschrieben wird. UQ-DAAAM bewertet die Unsicherheit jedes Objekts, indem es kombiniert, wie sicher sich das Modell seiner eigenen Worte war und wie stark Beschreibungen desselben Objekts aus verschiedenen Blickwinkeln voneinander abweichen. Objekte oberhalb eines Schwellenwerts erhalten zusätzliche Ansichten. Ausgewählt werden sie nach einer Regel, die nachweislich nützliche Bilder findet, ohne das Vision-Modell erneut laufen zu lassen. Ein Sprachmodell führt die ausgewählten Beschreibungen anschließend zusammen und bevorzugt neuere und klarere.
Die veröffentlichten Zahlen sind ermutigend, aber schmal. Das System löste die Mehrdeutigkeit bei etwa 92% der Objekte mit nur zwei zusätzlichen Beschreibungen pro Objekt, und seine Beschreibungen waren um 5% genauer als die der bisher besten Methode. Das arXiv-Paper nennt einen Benchmark, OC-NaVQA, einen Fragetest dazu, was ein Roboter wo und wann gesehen hat. Die Aussage zur Geschwindigkeit zählt ebenso viel wie die Genauigkeit: Laut Carlone bestand die Schwierigkeit darin, die Prüfung auf einem fahrenden Roboter in Sekundenbruchteilen laufen zu lassen.
Der allgemeine Punkt gilt für jedes Produkt, das auf Vision-Language-Modellen aufbaut. Chatbots sichern sich mit einem allgemeinen Hinweis ab, dass sie sich irren können; ein Roboter, der auf ein falsch benanntes Objekt reagiert, hat dieses Polster nicht. Die Uneinigkeit mehrerer Antworten zu messen ist ein bekannter Weg, Unsicherheit bei Sprachmodellen zu schätzen. Diese Arbeit überträgt ihn mit einem festen Budget an Modellaufrufen auf das räumliche Gedächtnis, und genau das macht ihn auf echter Hardware nutzbar.
Einiges bleibt offen. Der MIT-Artikel nennt weder die Roboter noch die Umgebungen, und das Abstract liefert keine Zahlen über die Kernwerte hinaus, daher ist noch unklar, wie gut die Methode in vollgestellten, sich verändernden Räumen funktioniert. Der falsch benannte Defibrillator in der Meldung ist ein Szenario zur Erklärung, kein getesteter Fall. Ein Genauigkeitsgewinn von 5% ist bescheiden, und die nächsten Schritte des Teams, darunter mobile Manipulatoren und das gezielte Zurückschicken des Roboters in unsichere Bereiche, sind noch Pläne.