NVIDIA Cosmos 3의 개요
Cosmos 3는 NVIDIA가 피지컬 AI용으로 2026년 5월 31일 공개한 오픈 월드 파운데이션 모델 제품군이다. 하나의 Mixture-of-Transformers 네트워크가 텍스트·이미지·영상을 읽고 텍스트로 답하는 자기회귀 리즈너와, 이미지, 48 kHz 스테레오 오디오가 붙은 영상, 로봇이나 차량의 행동을 만들어 내는 확산 생성기를 묶는다. Nano(160억 파라미터, 리즈너 80억과 생성기 80억), Super(640억, 320억과 320억), 그리고 7월부터 Jetson급 기기를 위한 40억 파라미터 Edge 모델이 있다.
2026년 11월 5일 NVIDIA는 Nano에서 추가 학습한 대화형 시뮬레이션용 체크포인트 네 개를 내놓았다. Transfer-Auto는 최대 11대의 카메라에 걸쳐 동기화된 주행 영상을, 선택적으로 LiDAR까지, 날씨와 조명을 바꿔 가며 렌더링한다. Sim-Auto는 그 스트리밍 버전으로, 카메라와 LiDAR 프레임을 덩어리 단위로 돌려줘 주행 정책이 행동하고 결과를 볼 수 있게 한다. Sim-Transfer는 물리 시뮬레이터의 깊이·분할·윤곽 맵을 사실적인 영상으로 바꾼다. Sim-Bimanual은 정책이나 조이스틱이 움직이는 YAM과 AgiBot 양팔 로봇이 보게 될 장면을 예측한다.
모든 가중치는 OpenMDW 1.1 라이선스로, 상업적·비상업적 사용을 모두 허용한다. 생성기는 256p, 480p, 720p로 작동하며 클립당 5~400프레임, 기본 189프레임을 만든다. NVIDIA는 Linux에서 BF16으로만 검증한다.
NVIDIA Cosmos 3, 쓸 만한 가치가 있습니까?
Cosmos 3의 의미는 영상 생성기보다는 관찰하고 예측하고 행동하는 하나의 오픈 모델이라는 데 있다. 같은 가중치로 장면을 설명하고, 어떤 행동 뒤에 벌어질 일을 렌더링하고, 변화를 일으킨 행동을 추론하고, 정책의 다음 동작을 예상 결과와 함께 내놓는다. NVIDIA는 PAI-Bench, R-Bench, Physics-IQ, RoboLab, VANTAGE-Bench에서 오픈 모델 1위이며, Artificial Analysis의 오픈 가중치 텍스트-투-이미지와 오디오 없는 이미지-투-비디오 순위에서 정상에 올랐다고 밝힌다. 모두 NVIDIA 자신의 주장이며, 11월 9일 기준 오디오 포함 이미지-투-비디오 순위에는 Cosmos 모델이 없었다.
11월 체크포인트는 이를 폐루프 시뮬레이션으로 바꾼다. Sim-Auto와 Sim-Bimanual은 네 단계의 노이즈 제거로 증류한 뒤 자체 출력으로 다시 학습해, 작은 오류가 실행 중에 쌓이지 않도록 했다. 잠재 공간의 한 단계는 RGB 네 프레임에 해당한다. NVIDIA는 빈틈도 솔직히 밝힌다. Sim-Auto로 루프를 닫으려면 자체 시뮬레이션 런타임과 장면 맵 렌더러가 필요하고, 이 모델들이 정책 학습과 평가를 어디까지 믿을 만하게 뒷받침할 수 있는지는 아직 분명하지 않다고 글에 적었다.
주된 비용은 하드웨어다. Super에는 H200, H100, A100 여덟 장에서 vLLM-Omni를 권장하며, 50단계 영상 하나에 약 55초, H200 두 장이면 약 3분이 걸린다. Nano는 H200 한 장에서 돌아가고 RTX PRO 6000 워크스테이션을 겨냥한다. Sim-Bimanual은 GB200 한 장에서 검증됐다. NIM 컨테이너가 있는 것은 아직 리즈너뿐이며, NVIDIA에 따르면 FP8과 NVFP4 체크포인트는 최대 두 배 빠르다.
Genie 4 같은 폐쇄형 월드 모델에 대한 가장 뚜렷한 강점은 라이선스다. OpenMDW 1.1은 상업적 사용을 허용하고, NVIDIA는 추가 학습 레시피, 코딩 에이전트용 스킬, 로봇·주행·창 고 장면의 합성 데이터셋을 공개한다. 모델 카드는 출력이 시뮬레이터 없이 물리를 근사한 것이라 물리적으로 정확하다고 봐서는 안 된다고 경고하므로, 팀은 여전히 모든 정책을 실제 하드웨어에서 검증해야 한다.
제 역할을 하는 곳
카메라 8대 차량을 운영하는 자율주행 스타트업의 시뮬레이션 엔지니어
기록된 주행에서 야간 비, 눈부심 같은 드문 장면을 인식 학습용으로 불리기
Transfer-Auto를 차량의 카메라 배치에 맞춰 추가 학습한 뒤, 기록된 각 장면을 장면 맵과 텍스트 프롬프트로 새 날씨와 조명 아래 다시 렌더링한다. 가중치는 무료이고, 비용은 추가 학습과 생성에 드는 GPU 시간이다.
AgiBot이나 YAM 양팔 로봇을 갖춘 로봇 학습 연구자
실제 로봇 시간을 예약하지 않고 정책 체크포인트를 평가하기
Sim-Bimanual을 학습된 시뮬레이터로 쓴다. 정책의 행동을 넣고 예측된 카메라 화면을 받아 체크포인트 순위를 매긴 뒤, 상위 몇 개만 실제 하드웨어에서 시험한다. NVIDIA는 정책 평가 용도가 아직 입증되지 않았다고 경고한다.
창고 로봇 업체의 제품 책임자
사용량 기반 라이선스나 폐쇄형 API 없이 월드 모델 위에 제품 만들기
OpenMDW 1.1 아래 미세 조정한 Nano를 제품에 넣어 고객사의 RTX PRO 6000 워크스테이션에서 돌리거나, 40억 파라미터 Edge 모델을 Jetson에서 돌려 호스팅 모델에 호출마다 돈을 내지 않는다.
도입 전 확인할 점
- 설정
- Hugging Face에서 내려받아 Docker 이미지 vllm/vllm-omni:cosmos3로 서비스하거나 Diffusers에서 Cosmos3OmniPipeline을 불러온다. Linux와 Ampere, Hopper, Blackwell GPU가 필수다. 시뮬레이션 체크포인트에는 Docker와 NVIDIA Container Toolkit도 필요하다.
- 연동
- Diffusers, vLLM 0.21(CUDA 13) 또는 0.19.1(CUDA 12.8), vLLM-Omni, SGLang. NGC의 리즈너 NIM, build.nvidia.com의 Nano 데모, NVIDIA cosmos-framework 저장소의 학습 코드와 에이전트 스킬.
- 데이터와 개인정보
- OpenMDW 1.1은 상업적·비상업적 사용을 허용하며, 직접 호스팅하면 데이터가 로컬에 남는다. NVIDIA에 따르면 학습에는 393개 데이터셋에서 13억 개의 데이터 포인트를 썼다.
- 대규모 사용 시 비용
- Super: H200, H100, A100 여덟 장 권장, H200에서 50단계 영상당 약 55초. 네 단계로 증류한 Super는 NVIDIA 수치 로 최대 25배 빠르다. Nano는 H200 한 장에 들어간다. 필요한 VRAM은 공개되지 않았으며, 레이어 단위 오프로드가 작은 GPU에서 도움이 된다.
- 제한
- 출력 256p~720p, 5~400프레임. 영상 입력은 5프레임, 오디오는 0.5초까지. 행동은 Franka, AgiBot, UR, WidowX 등 목록에 있는 로봇만. SGLang은 영상-투-영상, 소리, 행동 생성을 지원하지 않는다. 시간적 불일치와 부정확한 물리적 상호작용 같은 결함이 나타난다.
좋은 점
- 장면 추론, 영상 예측, 로봇 행동을 하나의 오픈 모델로
- OpenMDW 1.1 라이선스로 상업적 사용 가능
- 주행과 양팔 로봇용 스트리밍 체크포인트로 폐루프 실행
- 추가 학습 레시피, 에이전트 스킬, 합성 데이터셋 공개
아쉬운 점
- Super는 데이터센터 GPU 여덟 장 필요, H200에서 50단계 영상당 약 55초
- 벤치마크 1위는 NVIDIA 자체 발표이며 독립 순위로는 아직 확인되지 않음
- 폐루프 주행에는 자체 시뮬레이션 런타임과 장면 맵 렌더러 필요
- 생성기 NIM도 호스팅 추론 제공업체도 아직 없음
추천 대상
NVIDIA 하드웨어에서 상업 라이선스의 오픈 월드 모델을 자체 센서와 로봇에 맞게 추가 학습하려는 로보틱스·자율주행 팀.
NVIDIA Cosmos 3 대안
NVIDIA Cosmos 3: 자주 묻는 질문
- NVIDIA Cosmos 3, 쓸 만한 가치가 있습니까?
- Cosmos 3는 로보틱스나 주행 팀이 기반으로 삼을 오픈 월드 모델이지만, 새 시뮬레이션 체크포인트는 완성된 시뮬레이터가 아니라 시뮬레이터와 GPU 클러스터를 갖춘 팀을 위한 부품이다. 평점은 5점 만점에 4.2점입니다.
- NVIDIA Cosmos 3의 가격은 얼마입니까?
- OpenMDW 1.1 라이선스로 무료, 상업적 사용 허용. 리즈너 NIM 컨테이너에는 NGC API 키가 필요. 호스팅 요금은 공개되지 않았고, Hugging Face 추론 제공업체 중 서비스하는 곳은 없다.
- NVIDIA Cosmos 3의 단점은 무엇입니까?
- Super는 데이터센터 GPU 여덟 장 필요, H200에서 50단계 영상당 약 55초; 벤치마크 1위는 NVIDIA 자체 발표이며 독립 순위로는 아직 확인되지 않음; 폐루프 주행에는 자체 시뮬레이션 런타임과 장면 맵 렌더러 필요; 생성기 NIM도 호스팅 추론 제공업체도 아직 없음.
- NVIDIA Cosmos 3에 적합한 사람은 누구입니까?
- NVIDIA 하드웨어에서 상업 라이선스의 오픈 월드 모델을 자체 센서와 로봇에 맞게 추가 학습하려는 로보틱스·자율주행 팀.
- 팀이나 프로덕션 환경에서 NVIDIA Cosmos 3의 비용은 얼마입니까?
- Super: H200, H100, A100 여덟 장 권장, H200에서 50단계 영상당 약 55초. 네 단계로 증류한 Super는 NVIDIA 수치로 최대 25배 빠르다. Nano는 H200 한 장에 들어간다. 필요한 VRAM은 공개되지 않았으며, 레이어 단위 오프로드가 작은 GPU에서 도움이 된다.
- NVIDIA Cosmos 3에 회사 데이터를 맡겨도 안전합니까?
- OpenMDW 1.1은 상업적·비상업적 사용을 허용하며, 직접 호스팅하면 데이터가 로컬에 남는다. NVIDIA에 따르면 학습에는 393개 데이터셋에서 13억 개의 데이터 포인트를 썼다.
- NVIDIA Cosmos 3의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Genie 4, LingBot-World 2.0 (Infinity), LTX-2.5 및 HunyuanVideo 1.5입니다.
답변 확인일: 2026년 11월 9일.
NVIDIA Cosmos 3 개발사입니까? 이 평점을 사이트에 표시하십시오
