Um robô que monta o mapa de um prédio enquanto se move precisa rotular o que vê, e uma única olhada ruim pode deixar um rótulo errado na memória dele para sempre. Uma equipe do SPARK Laboratory do MIT, liderada por Luca Carlone com os doutorandos Harry Zhang e Nicolas Gorlo, criou um sistema que identifica quais desses rótulos guardados provavelmente estão errados e volta para corrigi-los. O trabalho, UQ-DAAAM, será apresentado na NeurIPS e trata de um problema que importa muito além do laboratório: um robô doméstico ou de armazém só é tão útil quanto o registro que ele tem de onde as coisas estão.
O sistema amplia o DAAAM, trabalho anterior do grupo, que usa um modelo de visão e linguagem para descrever objetos e fixa essas descrições num mapa 3D para que o robô responda perguntas depois. Descrições feitas a partir de uma vista distante, borrada, escura ou parcial costumam estar erradas; o anúncio do MIT mostra uma chaminé cinza num telhado descrita primeiro como um esquilo. O UQ-DAAAM pontua a incerteza de cada objeto combinando a confiança do modelo nas próprias palavras com o quanto as descrições do mesmo objeto divergem entre ângulos diferentes. Objetos acima de um limite recebem vistas extras, escolhidas por uma regra que os autores provaram ser capaz de selecionar quadros úteis sem rodar o modelo de visão de novo, e um modelo de linguagem depois funde as descrições escolhidas, dando preferência às mais recentes e nítidas.
Os números divulgados são animadores, mas restritos. O sistema resolveu a ambiguidade de cerca de 92% dos objetos usando só duas descrições extras por objeto, e suas descrições foram 5% mais precisas que as do melhor método anterior. O artigo no arXiv cita um benchmark, OC-NaVQA, um teste de perguntas sobre o que um robô viu, onde e quando. A afirmação sobre velocidade pesa tanto quanto a precisão: segundo Carlone, a parte difícil foi fazer a verificação rodar em uma fração de segundo num robô em movimento.
A lição geral vale para qualquer produto baseado em modelos de visão e linguagem. Chatbots se protegem com um aviso genérico de que podem errar; um robô que age sobre um objeto rotulado errado não tem esse amortecedor. Medir a divergência entre várias respostas é uma forma conhecida de estimar a incerteza em modelos de linguagem, e este trabalho a aplica à memória física com um orçamento fixo de chamadas ao modelo, o que a torna utilizável em hardware real.
Várias questões continuam em aberto. O texto do MIT não informa os robôs nem os ambientes usados, e o resumo não traz números além dos principais, então ainda não se sabe como o método se sai em espaços bagunçados e em mudança. O desfibrilador rotulado errado no anúncio é um cenário para explicar o que está em jogo, não um caso testado. Um ganho de 5% em precisão é modesto, e os próximos passos citados pela equipe, como manipuladores móveis e mandar o robô de volta às áreas incertas, ainda são planos.