Un robot qui cartographie un bâtiment en se déplaçant doit nommer ce qu'il voit, et un seul mauvais coup d'œil peut laisser une étiquette erronée dans sa mémoire pour de bon. Une équipe du SPARK Laboratory du MIT, dirigée par Luca Carlone avec les doctorants Harry Zhang et Nicolas Gorlo, a conçu un système qui repère les étiquettes enregistrées probablement fausses et revient les corriger. Ce travail, UQ-DAAAM, sera présenté à NeurIPS, et il touche un problème qui compte bien au-delà du laboratoire : un robot domestique ou d'entrepôt ne vaut que ce que vaut sa connaissance de l'emplacement des objets.
Le système prolonge DAAAM, un travail antérieur du groupe qui utilise un modèle vision-langage pour décrire les objets et fixe ces descriptions sur une carte 3D afin que le robot puisse répondre à des questions plus tard. Les descriptions faites à partir d'une vue lointaine, floue, sombre ou partielle sont souvent fausses ; l'annonce du MIT montre une cheminée grise sur un toit d'abord décrite comme un écureuil. UQ-DAAAM note l'incertitude de chaque objet en combinant la confiance du modèle dans ses propres mots et le désaccord entre les descriptions d'un même objet vu sous différents angles. Les objets au-dessus d'un seuil reçoivent des vues supplémentaires, choisies par une règle dont les auteurs ont démontré qu'elle sélectionne des images utiles sans relancer le modèle de vision, puis un modèle de langage fusionne les descriptions retenues en privilégiant les plus récentes et les plus nettes.
Les chiffres publiés sont encourageants mais étroits. Le système a levé l'ambiguïté pour environ 92% des objets avec seulement deux descriptions supplémentaires chacun, et ses descriptions étaient 5% plus exactes que celles de la meilleure méthode précédente. L'article sur arXiv cite un benchmark, OC-NaVQA, un test de questions sur ce qu'un robot a vu, où et quand. L'argument de vitesse compte autant que la précision : selon Carlone, la difficulté était de faire tourner la vérification en une fraction de seconde sur un robot en mouvement.
Le point général vaut pour tout produit fondé sur des modèles vision-langage. Les chatbots se couvrent par un avertissement générique sur leurs erreurs possibles ; un robot qui agit sur un objet mal identifié n'a pas ce filet. Mesurer le désaccord entre plusieurs réponses est une manière connue d'estimer l'incertitude des modèles de langage, et ce travail l'applique à la mémoire physique avec un budget fixe d'appels au modèle, ce qui la rend utilisable sur du vrai matériel.
Plusieurs points restent flous. L'article du MIT ne nomme ni les robots ni les environnements utilisés, et le résumé ne donne aucun chiffre au-delà des principaux, si bien qu'on ignore encore comment la méthode se comporte dans des espaces encombrés et changeants. Le défibrillateur mal identifié de l'annonce est un scénario pour expliquer l'enjeu, pas un cas testé. Un gain de précision de 5% reste modeste, et les prochaines étapes annoncées par l'équipe, dont les manipulateurs mobiles et le renvoi du robot vers les zones incertaines, ne sont encore que des projets.