이동하면서 건물 지도를 만드는 로봇은 보이는 것에 라벨을 붙여야 하는데, 한 번 잘못 본 것만으로도 틀린 라벨이 기억에 계속 남을 수 있습니다. MIT SPARK Laboratory에서 Luca Carlone이 이끌고 대학원생 Harry Zhang과 Nicolas Gorlo가 참여한 팀은 저장된 라벨 가운데 틀렸을 가능성이 높은 것을 찾아내 다시 고치는 시스템을 만들었습니다. 이 연구인 UQ-DAAAM은 NeurIPS에서 발표될 예정이며, 연구실 밖에서도 중요한 문제를 다룹니다. 가정용이나 창고용 로봇의 쓸모는 물건이 어디에 있는지에 대한 기록이 얼마나 정확한지에 달려 있기 때문입니다.
이 시스템은 같은 그룹의 이전 연구인 DAAAM을 확장한 것입니다. DAAAM은 시각 언어 모델로 물체를 설명하는 문장을 만들고 이를 3D 지도에 연결해 로봇이 나중에 질문에 답할 수 있게 합니다. 멀거나 흐리거나 어둡거나 일부만 보이는 시점에서 만든 설명은 틀리는 경우가 많으며, MIT 발표에는 지붕 위의 회색 굴뚝이 처음에 다람쥐로 설명된 사례가 나옵니다. UQ-DAAAM은 모델이 자기 문장에 얼마나 확신했는지와 같은 물체에 대한 설명이 시점마다 얼마나 엇갈리는지를 결합해 물체별 불확실성 점수를 매깁니다. 기준값을 넘는 물체에는 추가 시점이 배정됩니다. 선택은 시각 모델을 다시 실행하지 않고도 유용한 프레임을 고를 수 있다고 저자들이 증명한 규칙에 따릅니다. 이후 언어 모델이 선택된 설명들을 통합하며, 더 최신이고 더 명확한 것을 우선합니다.
공개된 수치는 고무적이지만 범위가 좁습니다. 이 시스템은 물체당 추가 설명 두 개만으로 약 92%의 물체에서 모호함을 해소했고, 설명의 정확도는 기존 최고 방법보다 5% 높았습니다. arXiv 논문이 언급한 벤치마크는 OC-NaVQA 하나로, 로봇이 무엇을 어디서 언제 보았는지 묻는 시험입니다. 속도에 관한 주장도 정확도만큼 중요합니다. Carlone에 따르면 어려운 부분은 움직이는 로봇에서 이 확인 과정을 순식간에 실행되게 만드는 것이었습니다.
더 넓은 시사점은 시각 언어 모델 위에 만든 모든 제품에 해당합니다. 챗봇은 틀릴 수 있다는 일반적인 경고로 대비할 수 있지만, 잘못 라벨링된 물체를 바탕으로 행동하는 로봇에게는 그런 완충 장치가 없습니다. 여러 답변 사이의 불일치를 측정하는 것은 언어 모델의 불확실성을 추정하는 알려진 방법이며, 이 연구는 모델 호출 예산을 고정한 채 이를 물리적 기억에 적용했습니다. 실제 하드웨어에서 쓸 수 있는 이유가 바로 여기에 있습니다.
아직 불분명한 점도 여럿 있습니다. MIT 기사는 사용한 로봇과 환경을 밝히지 않았고, 논문 초록도 주요 수치 외에는 제시하지 않아, 어수선하고 변화하는 공간에서 이 방법이 얼마나 잘 작동할지는 아직 알 수 없습니다. 발표에 나오는 제세동기를 잘못 라벨링하는 사례는 중요성을 설명하기 위한 상황이지 시험한 사례가 아닙니다. 정확도 5% 향상은 크지 않으며, 이동형 매니퓰레이터 적용이나 불확실한 구역으로 로봇을 되돌려 보내는 것 등 팀이 밝힌 다음 단계는 아직 계획에 머물러 있습니다.