Quiconque a dressé un animal ou formé un nouveau collègue connaît l'agacement de corriger la même erreur sous des formes à peine différentes. Un robot qui planifie sa trajectoire au-dessus d'une table encombrée a le même problème : dites-lui d'éviter l'ordinateur portable et il l'évitera, avant de faire passer tranquillement une tasse de café pleine au-dessus du téléphone posé à côté. Des chercheurs du MIT et de l'Université de New York ont conçu un système, FLEX, qui tente de saisir l'intention derrière une telle correction, et le présenteront ce mois-ci à la Conference on Robot Learning.
FLEX fonctionne en trois étapes. Dans la première, Ajouter, un objet mentionné par l'utilisateur rejoint la liste des éléments qui comptent pour la tâche, comme le faisaient déjà les méthodes antérieures. La deuxième, Généraliser, est la nouveauté : un grand modèle de langage, ici GPT-4o, examine tout ce qui figure sur cette liste et en déduit la catégorie plus large, si bien qu'un portable devient l'électronique, une tasse les objets fragiles et une pile de papier les objets inflammables. Dans la troisième, Masquer, le système de vision du robot vérifie quels objets de la liste ont quitté la scène et les retire, pour que la liste ne s'allonge pas sans fin. L'ensemble prend environ cinq secondes.
L'équipe l'a testé en simulation avec un bras robotique servant un café, déplaçant une bougie et portant une boule de bowling, pendant que des volontaires tapaient des consignes comme « Ne renverse rien sur mon portable ». À chaque fois, le robot a suivi l'instruction littérale et la règle déduite, contournant un téléphone dont personne ne lui avait parlé.
L'idée est d'emprunter le bon sens qu'un modèle comme celui de ChatGPT acquiert à partir d'immenses quantités de texte, plutôt que de demander aux gens d'énoncer chaque règle. Elle s'inscrit dans un effort plus large pour parler aux robots domestiques et d'assistance au lieu de les programmer.
Les preuves restent minces. Les résultats proviennent de trois tâches simulées décrites dans un communiqué universitaire, sans taux de réussite ni chiffres de comparaison. Un modèle de langage qui généralise trop pourrait rendre un robot frileux, évitant tout objet qu'il juge précieux, et les travaux ne montrent pas encore à quelle fréquence les utilisateurs devraient annuler de telles déductions. Les vraies cuisines, avec leur éclairage et leur désordre, mettront l'étape de vision bien plus à l'épreuve qu'un simulateur.