NVIDIA가 세계 모델 Cosmos 3를 영상 생성기보다는 시뮬레이터에 가깝게 작동하는 도구 묶음으로 바꿨 습니다. 새로 나온 체크포인트 4종은 모두 Cosmos 3 Nano에서 사후 학습한 것으로 Hugging Face에 공개되었으며, 자율주행차와 로봇 팔을 개발하는 팀이 센서 데이터를 생성하고 이를 주행 또는 제어 정책과 반복 루프로 재생할 수 있게 해 줍니다. 시험 차량이나 수작업 시뮬레이션 장면에 비용을 쓰는 사람이라면 이것이 주목할 이유입니다.
각 체크포인트는 좁은 역할을 맡습니다. Cosmos3-Nano-Transfer-Auto는 어안 렌즈를 포함해 최대 11대 카메라용 동기화 주행 영상을 만들고 LiDAR도 함께 출력할 수 있습니다. 장면 지도가 도로 배치와 교통을 정하고, 텍스트 프롬프트가 날씨, 조명, 시간대를 정합니다. Cosmos3-Nano-Sim-Auto는 이를 증류한 더 빠른 버전으로, 몇 번의 노이즈 제거 단계만으로 짧은 구간을 순차적으로 생성해 정책이 본 것에 반응할 수 있게 합니다. Cosmos3-Nano-Sim-Transfer는 물리 시뮬레이터의 깊이, 분할, 윤곽, 흐림 맵을 받아 사실적인 컬러 영상으로 렌더링하며, 물리 계산은 시뮬레이터에 남겨 둡니다. Cosmos3-Nano-Sim-Bimanual은 양팔 로봇의 동작으로부터 다음 프레임을 예측하며 YAM과 AgiBot 하드웨어를 지원합니다.
라이선스는 OpenMDW1.1로, 그 조건 안에서 상업적 이용을 허용합니다. 하드웨어 문턱은 높습니다. NVIDIA의 서빙 구성은 GB200 한 대에서 시험했으며, 회사는 이것이 최소 사양이 아니라고 강조하므로 더 작은 GPU에서는 검증되지 않았습니다. 학습은 4단계로 진행되었고, 마지막 단계에서는 모델이 스스로 생성한 이력으로 학습해 긴 생성 과정에서 작은 오류가 쌓이지 않도록 했습니다. 초기 관심은 분명해서 모델 페이지마다 약 2,850에서 6,320회의 다운로드가 표시됩니다.
저희 Cosmos 3 리뷰는 로봇과 자동차를 위한 범용 세계 모 델을 다루는데, 이번 체크포인트는 그 실용적인 후속편으로 정책이 행동하고 세계가 반응하는 폐루프 시험을 겨냥합니다. 대부분의 팀에게 중요한 비교 대상은 기존 시뮬레이터와 게임 엔진 렌더링입니다. Cosmos가 이를 대체하지는 않습니다. Sim-Transfer는 물리 계산을 명시적으로 시뮬레이터에 맡기고 사실적인 외관만 제공하는데, 합성 데이터가 흔히 약한 부분이 바로 이 외관입니다.
주의할 점 일부는 NVIDIA 스스로 밝혔습니다. 회사는 이 모델들이 정책 학습과 평가에 충분히 충실한 경우가 어디인지 아직 정하지 못했다고 말하는데, 그것이 시뮬레이터의 존재 이유입니다. 긴 생성에서는 여전히 오류가 누적될 수 있습니다. 블로그 글에는 해상도, 프레임 속도, 클립 길이, 벤치마크 수치가 없으며, 학습 가능한 파라미터를 16B로 적은 반면 모델 카드에는 15B로 나와 있습니다. 하드웨어 규모를 잡는 팀은 결정하기 전에 모델 카드와 연결된 기술 보고서를 확인해야 합니다.