O que é NVIDIA Cosmos 3?
O Cosmos 3 é a família de modelos fundacionais de mundo abertos da NVIDIA para IA física, lançada em 31 de maio de 2026. Uma única rede Mixture-of-Transformers une um raciocinador autorregressivo, que lê texto, imagens e vídeo e responde em texto, a um gerador por difusão que produz imagens, vídeo com áudio estéreo a 48 kHz e ações para robôs ou veículos. Há o Nano (16 bilhões de parâmetros, 8 bilhões de raciocinador mais 8 bilhões de gerador), o Super (64 bilhões, 32 mais 32) e, desde julho, um modelo Edge de 4 bilhões para dispositivos da classe Jetson.
Em 5 de novembro de 2026 a NVIDIA adicionou quatro checkpoints pós-treinados a partir do Nano para simulação interativa. O Transfer-Auto gera imagens de direção sincronizadas em até 11 câmeras, com LiDAR opcional, sob clima e luz variados; o Sim-Auto é sua versão em streaming, que devolve quadros de câmera e LiDAR em blocos para que uma política de direção aja e veja o resultado; o Sim-Transfer transforma mapas de profundidade, segmentação e bordas de um simulador físico em vídeo realista; o Sim-Bimanual prevê o que os robôs de dois braços YAM e AgiBot veem enquanto uma política ou um joystick os conduz.
Todos os pesos estão sob a licença OpenMDW 1.1, que permite uso comercial e não comercial. O gerador trabalha em 256p, 480p ou 720p e produz de 5 a 400 quadros por clipe, 189 por padrão. A NVIDIA só o testa em Linux, em BF16.
NVIDIA Cosmos 3 vale a pena?
O Cosmos 3 importa menos como gerador de vídeo do que como um único modelo aberto capaz de observar, prever e agir. Os mesmos pesos descrevem uma cena, mostram o que acontece depois de uma ação, deduzem a ação por trás de uma mudança e entregam o próximo movimento de uma política com a consequência prevista. A NVIDIA afirma que ele lidera entre os modelos abertos no PAI-Bench, R-Bench, Physics-IQ, RoboLab e VANTAGE-Bench, e que ficou no topo dos rankings de pesos abertos da Artificial Analysis de texto para imagem e de imagem para vídeo sem áudio. São números da própria NVIDIA; em 9 de novembro o ranking de imagem para vídeo com áudio não tinha nenhum modelo Cosmos.
Os checkpoints de novembro transformam isso em simulação de malha fechada. O Sim-Auto e o Sim-Bimanual foram destilados para quatro etapas de remoção de ruído e depois treinados com as próprias saídas, para que pequenos erros não se acumulem ao longo de uma execução; cada passo latente cobre quatro quadros RGB. A NVIDIA é franca sobre a lacuna: o Sim-Auto precisa do seu próprio ambiente de simulação e de um renderizador de mapas de cena para fechar a malha, e o post admite que ainda não está claro onde esses modelos podem apoiar de forma confiável o aprendizado e a avaliação de políticas.
O hardware é o principal custo. Para o Super, a NVIDIA recomenda vLLM-Omni em oito GPUs H200, H100 ou A100, onde um vídeo de 50 etapas leva cerca de 55 segundos, ou cerca de 3 minutos em duas H200. O Nano roda em uma H200 e mira uma estação de trabalho com RTX PRO 6000; o Sim-Bimanual foi testado em uma GB200. Por enquanto só o raciocinador tem contêiner NIM, com checkpoints FP8 e NVFP4 que, segundo a NVIDIA, rodam até duas vezes mais rápido.
A licença é a vantagem mais clara sobre modelos de mundo fechados como o Genie 4: a OpenMDW 1.1 permite uso comercial, e a NVIDIA publica receitas de pós-treinamento, skills para agentes de código e conjuntos de dados sintéticos de robótica, direção e armazéns. O card do modelo avisa que as saídas aproximam a física sem simulador e não devem ser tratadas como fisicamente exatas, então a equipe ainda valida qualquer política em hardware real.
Onde ele se destaca
Um engenheiro de simulação em uma startup de direção autônoma com um conjunto de 8 câmeras
Multiplicar cenas raras (chuva à noite, ofuscamento) a partir de trajetos gravados para treinar a percepção
Pós-treine o Transfer-Auto com a disposição de câmeras do veículo e depois gere cada cena gravada com novo clima e luz a partir de mapas de cena e um prompt de texto. Os pesos são gratuitos; o custo é o tempo de GPU para pós-treinar e gerar.
Uma pesquisadora de aprendizado robótico com uma montagem de dois braços AgiBot ou YAM
Pontuar checkpoints de política sem reservar horas no robô físico
Use o Sim-Bimanual como simulador aprendido: envie as ações da política, receba as vistas de câmera previstas e ordene os checkpoints antes de testar os melhores no hardware. A NVIDIA avisa que isso ainda não está comprovado para avaliar políticas.
Um líder de produto em um fornecedor de robótica para armazéns
Construir sobre um modelo de mundo sem licença por uso nem API fechada
Embarque um Nano ajustado no produto sob a OpenMDW 1.1 e rode-o em estações RTX PRO 6000 no cliente, ou o modelo Edge de 4 bilhões no Jetson, em vez de pagar por chamada a um modelo hospedado.
Antes de decidir
- Configuração
- Baixe do Hugging Face e sirva com a imagem Docker vllm/vllm-omni:cosmos3, ou carregue o Cosmos3OmniPipeline no Diffusers; exige Linux e uma GPU Ampere, Hopper ou Blackwell. Os checkpoints de simulação também precisam de Docker e do NVIDIA Container Toolkit.
- Integrações
- Diffusers, vLLM 0.21 (CUDA 13) ou 0.19.1 (CUDA 12.8), vLLM-Omni e SGLang; NIM do raciocinador na NGC; demos do Nano em build.nvidia.com; código de treinamento e skills para agentes no repositório cosmos-framework da NVIDIA.
- Dados e privacidade
- A OpenMDW 1.1 permite uso comercial e não comercial, e na hospedagem própria os dados ficam locais. Segundo a NVIDIA, o treinamento usou 1,3 bilhão de pontos de dados de 393 conjuntos.
- Custo em escala
- Super: oito GPUs H200, H100 ou A100 recomendadas, cerca de 55 segundos por vídeo de 50 etapas em H200; o Super destilado para quatro etapas é até 25 vezes mais rápido, segundo a NVIDIA. O Nano cabe em uma H200. A necessidade de VRAM não é publicada; o descarregamento por camadas ajuda em GPUs menores.
- Limites
- Saída de 256p a 720p, de 5 a 400 quadros; entrada de vídeo limitada a 5 quadros e de áudio a 0,5 segundo; ações só para os robôs listados, como Franka, AgiBot, UR e WidowX. O SGLang não suporta vídeo para vídeo, som nem geração de ações. Entre os artefatos estão inconsistência temporal e interações físicas imprecisas.
O que é bom
- Um único modelo aberto para raciocinar sobre cenas, prever vídeo e gerar ações de robô
- A licença OpenMDW 1.1 permite uso comercial
- Checkpoints em streaming para direção e robôs de dois braços, em malha fechada
- Receitas de pós-treinamento, skills para agentes e dados sintéticos publicados
O que não é
- O Super pede oito GPUs de data center; cerca de 55 segundos por vídeo de 50 etapas em H200
- As lideranças em benchmarks são declaradas pela NVIDIA; rankings independentes ainda não confirmam
- Direção em malha fechada exige seu próprio ambiente de simulação e renderizador de mapas de cena
- Ainda sem NIM do gerador nem provedor de inferência hospedado
Ideal para
Equipes de robótica e direção autônoma com hardware NVIDIA que querem um modelo de mundo aberto, com licença comercial, para pós-treinar com seus próprios sensores e robôs.
Alternativas ao NVIDIA Cosmos 3
NVIDIA Cosmos 3: perguntas frequentes
- NVIDIA Cosmos 3 vale a pena?
- O Cosmos 3 é o modelo de mundo aberto sobre o qual uma equipe de robótica ou direção constrói, mas os novos checkpoints de simulação são kits para equipes com simulador e cluster de GPUs, não simuladores prontos. Damos nota 4.2 de 5.
- Quanto custa NVIDIA Cosmos 3?
- Gratuito sob a licença OpenMDW 1.1, uso comercial permitido. O contêiner NIM do raciocinador exige uma chave de API da NGC; preços hospedados não publicados, e nenhum provedor de inferência do Hugging Face o oferece.
- Quais são as desvantagens de NVIDIA Cosmos 3?
- O Super pede oito GPUs de data center; cerca de 55 segundos por vídeo de 50 etapas em H200; as lideranças em benchmarks são declaradas pela NVIDIA; rankings independentes ainda não confirmam; direção em malha fechada exige seu próprio ambiente de simulação e renderizador de mapas de cena; ainda sem NIM do gerador nem provedor de inferência hospedado.
- Para quem NVIDIA Cosmos 3 é indicado?
- Equipes de robótica e direção autônoma com hardware NVIDIA que querem um modelo de mundo aberto, com licença comercial, para pós-treinar com seus próprios sensores e robôs.
- Quanto custa NVIDIA Cosmos 3 para uma equipe ou em produção?
- Super: oito GPUs H200, H100 ou A100 recomendadas, cerca de 55 segundos por vídeo de 50 etapas em H200; o Super destilado para quatro etapas é até 25 vezes mais rápido, segundo a NVIDIA. O Nano cabe em uma H200. A necessidade de VRAM não é publicada; o descarregamento por camadas ajuda em GPUs menores.
- NVIDIA Cosmos 3 é seguro para dados da empresa?
- A OpenMDW 1.1 permite uso comercial e não comercial, e na hospedagem própria os dados ficam locais. Segundo a NVIDIA, o treinamento usou 1,3 bilhão de pontos de dados de 393 conjuntos.
- Quais são as melhores alternativas ao NVIDIA Cosmos 3?
- As alternativas mais próximas que analisamos são Genie 4, LingBot-World 2.0 (Infinity), LTX-2.5 e HunyuanVideo 1.5.
Respostas verificadas em 9 de nov. de 2026.
Você faz o NVIDIA Cosmos 3? Mostre esta nota no seu site
