로봇 시연은 인상적이지만 거기서 배울 것은 많지 않습니다. 빨래를 개는 로봇 영상은 로 봇이 무엇을 배웠는지, 왜 실패하는지 거의 알려 주지 않습니다. Allen Institute for AI(Ai2)는 로봇 학습의 페트리 접시처럼 쓰도록 일부러 작게 만든 시뮬레이션 세계 ToyBlocks를 공개했습니다. 연구자는 한 가지만 바꾸고, 시험을 다시 돌리고, 실패 원인을 추적할 수 있습니다.
이 세계는 로봇 팔과 글자나 그림이 그려진 블록이 놓인 탁자로 이뤄집니다. 작업에는 밀기, 뒤집기, 쌓기, 찾기가 있으며, 숨겨진 면을 보려고 블록을 돌려야 할 때도 있습니다. 기술은 Nvidia의 Isaac Lab에서 강화 학습과 동작 계획으로 익히고, 계획기가 이를 이어 긴 작업으로 만듭니다. 덕분에 사람이 몇 시간씩 원격 조종하지 않아도 시연 데이터가 자동으로 만들어집니다. GPU 한 대에서 수백 개의 계획을 병렬로 돌리면 실제 시간의 최대 24배 속도가 납니다. 첫 공개에는 긴 시연 85,336건, 약 1,600시간의 로봇 실행 기록, 1.44억 프레임과 함께 학습된 모델 두 개, 학습 코드, 평가 세트가 들어 있습니다.
초기 결과는 시사하는 바가 큽니다. pi0.5, ManiFlow, MolmoAct 2 등 인기 있는 행동 모델은 학습 때 보지 못한 영역이나 쌓기 높이에 블록이 나타나자 처음에는 잘 일반화하지 못했고, Ai2는 이 문제가 해결과는 거리가 멀다고 말합니다. 실제 하드웨어로의 이전은 더 나았습니다. ManiFlow의 단일 기술 성공률은 시뮬레이션에서 80.0%, 실제 Franka 팔에서 81.1%였고, 계획에 Molmo 2를 쓴 결합 시스템은 글자 맞추기 작업에서 시뮬레이션의 55.5%, 실제의 50.0%(30번 중 15번)를 성공했습니다. Ai2는 Claude Opus 5.5도 MCP 도구를 통해 에이전트로 돌렸습니다. 고전적인 블록 쌓기 문제 30개를 모두 풀었고, 단어에 필요한 글자를 찾거나 불가능하다고 판단하는 더 어려운 작업에서는 63%를 성공했습 니다. 주로 비슷하게 생긴 글자와 옆으로 놓인 블록에서 실수했습니다. 에이전트가 직접 실험하고 기술 설명을 스스로 써 넣자 성공률은 24%에서 63%로 올라, 전문가가 쓴 설명을 쓸 때의 36%를 앞섰습니다.
저희의 로봇 모델과 Claude Opus 5.5 관련 기사를 따라온 독자에게 유용한 것은 통제된 비교입니다. 결과가 실제 로봇 팔로도 이어진다는 것이 확인된 공개 공용 세계가 있으면, 연구소들은 골라 낸 영상이 아니라 같은 조건에서 주장을 검증할 수 있습니다.
한계는 설계 안에 들어 있습니다. 탁자 위 블록은 물리적 작업의 좁은 일부일 뿐이며, 여기서 이전이 잘된다고 천, 액체, 어수선한 부엌에서도 잘된다는 보장은 없습니다. 실제 로봇 시험은 규모가 작고, Ai2 스스로도 통계적 확신을 얻으려면 더 많은 실행이 필요하다고 말합니다. 이것은 개발사의 공개 설명이며 동료 심사를 거친 연구가 아닙니다.