A NVIDIA transformou seu modelo de mundo Cosmos 3 num conjunto de ferramentas que se comportam mais como um simulador do que como um gerador de vídeo. Os quatro novos checkpoints, todos pós-treinados a partir do Cosmos 3 Nano e publicados no Hugging Face, permitem que equipes que desenvolvem carros autônomos e braços robóticos gerem dados de sensores e os reproduzam em ciclo com uma política de direção ou de controle. Para quem paga por frotas de teste ou cenas de simulação montadas à mão, esse é o motivo para olhar.
Cada checkpoint tem uma função específica. O Cosmos3-Nano-Transfer-Auto produz vídeo de direção sincronizado para até 11 câmeras, incluindo lentes olho de peixe, e pode gerar LiDAR junto; um mapa de cena define o traçado da via e o tráfego, e um prompt de texto define clima, luz e hora do dia. O Cosmos3-Nano-Sim-Auto é uma versão destilada e mais rápida que gera trechos curtos passo a passo em poucas etapas de remoção de ruído, para que uma política possa reagir ao que vê. O Cosmos3-Nano-Sim-Transfer recebe mapas de profundidade, segmentação, bordas e desfoque de um simulador físico e os transforma em vídeo colorido realista, deixando a física no simulador. O Cosmos3-Nano-Sim-Bimanual prevê os próximos quadros a partir das ações de um robô de dois braços, com suporte a hardware YAM e AgiBot.
A licença é a OpenMDW1.1, que permite uso comercial dentro dos seus termos. A exigência de hardware é alta: a configuração de serviço da NVIDIA foi testada numa única GB200, e a empresa ressalta que isso não é um mínimo, então GPUs menores não foram comprovadas. O treinamento teve quatro etapas, a última com o modelo aprendendo com o próprio histórico gerado para que pequenos erros não se acumulem em execuções longas. O interesse inicial é real: as páginas dos modelos mostram entre cerca de 2.850 e 6.320 downloads cada.
Nossa avaliação do Cosmos 3 descreve um modelo de mundo geral para robôs e carros; estes checkpoints são a aplicação prática, voltada a testes em circuito fechado, em que uma política age e o mundo responde. A comparação que importa para a maioria das equipes é com simuladores convencionais e renderização por motores de jogos. O Cosmos não os substitui: o Sim-Transfer depende explicitamente de um simulador para a física e só fornece a aparência realista, que é justamente onde dados sintéticos costumam falhar.
As ressalvas vêm em parte da própria NVIDIA. A empresa admite que ainda não definiu em que situações esses modelos são fiéis o bastante para treinar e avaliar políticas, que é a razão de ser de um simulador. Erros ainda podem se acumular em gerações longas. O post não informa resolução, taxa de quadros, duração dos clipes nem resultados de benchmarks, e cita 16B parâmetros treináveis enquanto os cartões dos modelos falam em 15B. Equipes dimensionando hardware devem conferir os cartões e o relatório técnico indicado antes de se comprometer.