로봇에게 새로운 조작 과제를 가르치는 표준 방법은 수십 번의 시연을 모아 정책을 학습시키고, 그 기술을 네트워크 가중치에 새겨 넣는 것입니다. 새 프리프린트는 고정된 언어 모델도 코딩 에이전트가 이미 하는 방식, 즉 시도하고 결과를 보고 배운 것을 적어 두는 방식을 따르면 더 잘할 수 있다고 주장합니다. 소프트웨어에서 터미널이 하는 역할을 여기서는 시뮬레이터가 맡습니다.
저자들은 이 아이디어를 세계 기반 맥락 내 학습이라고 부르고, 이를 돌리는 플랫폼 RoboScript를 만들었습니다. 에이전트는 시연 한 번에서 출발해 각 과제를 시뮬레이션에서 연습하고, 잘된 점을 일반 텍스트 형태의 Task Memory로 정리한 뒤, 그 메모리를 고정한 채 연습한 적 없는 장면에서 시험을 받습니다. 핵심 주장은 에이전트가 저장하는 것이 장면의 겉모습이 아니라 어떤 물체가 어떤 역할을 하는지, 어떤 단계가 잘못됐는지 같은 의미 정보라서 새로운 배치에도 옮겨 쓸 수 있다는 것입니다. 행동하는 에이전트는 실제 로봇과 같은 입력인 카메라 영상, 깊이, 관절 값만 보며, 시뮬레이터 좌표 같은 특권 데이터가 새어 든 메모리는 검사 도구가 거부합니다.
RoboTwin 2.0 벤치마크의 50개 과제 전체에서 RoboScript는 과제당 시연 한 번, 경사 업데이트 없이 깨끗한 장면과 무작위 장면을 합친 평균 성공률 83.4%를 기록했습니다. 시연 50번으로 학습한 가장 강한 정책은 61.7%였습니다. 시각적 무작위화에서는 차이가 더 큽니다. 널리 쓰이는 세계 행동 모델 FastWAM은 깨끗한 장면에서 77.8%였지만 조명과 질감이 바뀌자 1.9%로 떨어졌습니다. 결과는 연결하는 모델에 따라 좋아졌습니다. GPT-6.1-Sol은 깨끗한 장면과 무작위 장면에서 83.6%와 83.2%, GPT-5.6-Luna는 79.8%와 76.0%를 기록했고, 가벼운 DeepSeek-V4.1-Flash조차 가장 좋은 학습 정책을 앞섰습니다. 저자들은 작은 어댑터를 통해 메모리를 실제 양팔 로봇으로 옮겼다고도 보고했습니다.
흥미로운 변화는 일이 일어나는 자리입니다. 더 많은 데이터와 학습 대신 비용이 추론, 즉 연습과 반성 과정의 수많은 모델 호출로 옮겨 갑니다. GPT나 Claude 기반 코딩 에이전트를 이미 쓰는 팀이라면 이 순환이 익숙할 것이고, 낭비되는 호출부터 자신만만한 실수까지 같은 실패 양상도 따라올 가능성이 큽니다.
주의할 점은 무겁습니다. 결과는 거의 전부 하나의 모의 벤치마크에서 나왔고, 실제 로봇 부분은 폭넓은 검증이라기보다 시연입니다. 연습은 과제에 충분히 충실한 시뮬레이터를 전제로 하는데, RoboTwin 장면에서는 쉬워도 실제 부엌에서는 어렵습니다. 저희가 읽은 부분에서는 과제당 연습 비용이나 시간이 나와 있지 않으며, 동료 심사를 거치지 않은 프리프린트입니다.