반려동물을 훈련시키거나 새 동료를 가르쳐 본 사람이라면 조금씩 모양만 다른 같은 실수를 계속 바로잡아야 하는 답답함을 압니다. 어지 러운 탁자 위로 경로를 계획하는 로봇도 같은 문제를 겪습니다. 노트북을 피하라고 하면 노트북은 피하지만, 바로 옆 휴대폰 위로는 커피가 가득 든 컵을 태연하게 지나가게 합니다. MIT와 뉴욕 대학교 연구진은 이런 교정 뒤에 숨은 의도를 읽어 내려는 시스템 FLEX를 만들었고, 이번 달 Conference on Robot Learning에서 발표합니다.
FLEX는 세 단계로 작동합니다. 첫 단계인 추가에서는 사용자가 말한 물체를 과제에서 신경 써야 할 목록에 넣습니다. 이전 방식도 이렇게 작동했습니다. 두 번째 단계인 일반화가 새로운 부분으로, 대형 언어 모델(여기서는 GPT-4o)이 목록 전체를 보고 더 넓은 범주를 추론합니다. 노트북은 전자 기기가, 머그잔은 깨지기 쉬운 물건이, 종이 더미는 불에 잘 타는 물건이 됩니다. 세 번째 단계인 마스크에서는 로봇의 비전 시스템이 목록에 있던 물체 중 더 이상 장면에 없는 것을 확인해 지워, 목록이 끝없이 늘어나지 않게 합니다. 이 전체 과정은 약 5초가 걸립니다.
팀은 로봇 팔이 커피를 내오고, 초를 옮기고, 볼링공을 나르는 세 가지 상황을 시뮬레이션으로 시험했고, 자원자들이 "내 노트북에 쏟지 마" 같은 명령을 입력했습니다. 모든 경우에 로봇은 문자 그대로의 지시와 추론한 규칙을 함께 따랐고, 아무도 경고하지 않은 휴대폰도 피해 갔습니다.
사람에게 모든 규칙을 일일이 설명하게 하는 대신, ChatGPT 뒤에 있는 것과 같은 모델이 방대한 글에서 익힌 상식을 빌려 오자는 발상입니다. 가정용·보조용 로봇을 프로그래밍하는 대신 말로 다루게 하려는 더 큰 흐름과도 맞닿아 있습니다.
아직 근거는 빈약합니다. 결과는 대학 보도자료에 소개된 세 가지 모의 과제에서 나왔고, 성공률이나 비교 수치는 나와 있지 않습니다. 지나치게 일반화하는 언어 모델은 소중해 보이는 모든 물건을 피하는 소심한 로봇을 만들 수 있으며, 사용자가 그런 추론을 얼마나 자주 되돌려야 할지도 아직 보여 주지 못했습니다. 조명도 어수선함도 제각각인 실제 부엌은 시뮬레이터보다 훨씬 혹독하게 비전 단계를 시험할 것입니다.