¿Qué es NVIDIA Cosmos 3?
Cosmos 3 es la familia de modelos fundacionales de mundo abiertos de NVIDIA para IA física, publicada el 31 de mayo de 2026. Una única red Mixture-of-Transformers une un razonador autorregresivo, que lee texto, imágenes y vídeo y responde en texto, con un generador de difusión que produce imágenes, vídeo con audio estéreo a 48 kHz y acciones para robots o vehículos. Se ofrece como Nano (16.000 millones de parámetros, 8.000 millones de razonador más 8.000 millones de generador), Super (64.000 millones, 32 más 32) y, desde julio, un modelo Edge de 4.000 millones para dispositivos de clase Jetson.
El 5 de noviembre de 2026 NVIDIA añadió cuatro checkpoints post-entrenados a partir de Nano para simulación interactiva. Transfer-Auto genera imágenes de conducción sincronizadas en hasta 11 cámaras, con LiDAR opcional, con distintos climas e iluminación; Sim-Auto es su versión en streaming, que devuelve fotogramas de cámara y LiDAR por bloques para que una política de conducción actúe y vea el resultado; Sim-Transfer convierte los mapas de profundidad, segmentación y bordes de un simulador físico en vídeo realista; Sim-Bimanual predice lo que ven los robots de dos brazos YAM y AgiBot mientras los guía una política o un joystick.
Todos los pesos están bajo la licencia OpenMDW 1.1, que permite uso comercial y no comercial. El generador trabaja a 256p, 480p o 720p y genera de 5 a 400 fotogramas por clip, 189 por defecto. NVIDIA solo lo prueba en Linux y en BF16.
¿Merece la pena NVIDIA Cosmos 3?
Cosmos 3 importa menos como generador de vídeo que como un único modelo abierto capaz de observar, predecir y actuar. Los mismos pesos describen una escena, generan lo que ocurre tras una acción, deducen la acción que causó un cambio y devuelven el siguiente movimiento de una política con su consecuencia prevista. NVIDIA afirma que lidera entre los modelos abiertos en PAI-Bench, R-Bench, Physics-IQ, RoboLab y VANTAGE-Bench, y que encabezó las tablas de pesos abiertos de Artificial Analysis de texto a imagen y de imagen a vídeo sin audio. Son datos de la propia NVIDIA; el 9 de noviembre la tabla de imagen a vídeo con audio no incluía ningún modelo Cosmos.
Los checkpoints de noviembre convierten eso en simulación de bucle cerrado. Sim-Auto y Sim-Bimanual se destilaron a cuatro pasos de eliminación de ruido y luego se entrenaron con sus propias salidas para que los pequeños errores no se acumulen a lo largo de una ejecución; cada paso latente cubre cuatro fotogramas RGB. NVIDIA es franca sobre lo que falta: Sim-Auto necesita tu propio entorno de simulación y un renderizador de mapas de escena para cerrar el bucle, y el artículo reconoce que aún no está claro dónde pueden estos modelos apoyar de forma fiable el aprendizaje y la evaluación de políticas.
El hardware es el coste principal. Para Super, NVIDIA recomienda vLLM-Omni en ocho GPU H200, H100 o A100, donde un vídeo de 50 pasos tarda unos 55 segundos, o unos 3 minutos en dos H200. Nano funciona en una H200 y apunta a una estación de trabajo con RTX PRO 6000; Sim-Bimanual se probó en una GB200. Por ahora solo el razonador tiene contenedor NIM, con checkpoints FP8 y NVFP4 que según NVIDIA van hasta el doble de rápido.
La licencia es su ventaja más clara frente a modelos de mundo cerrados como Genie 4: OpenMDW 1.1 permite el uso comercial, y NVIDIA publica recetas de post-entrenamiento, skills para agentes de programación y conjuntos de datos sintéticos de robótica, conducción y almacenes. La ficha del modelo advierte que las salidas aproximan la física sin simulador y no deben tomarse como físicamente exactas, así que un equipo sigue validando cualquier política en hardware real.
Dónde se gana su sitio
Un ingeniero de simulación en una start-up de conducción autónoma con un equipo de 8 cámaras
Multiplicar escenas raras (lluvia nocturna, deslumbramiento) a partir de trayectos grabados para entrenar la percepción
Post-entrena Transfer-Auto con la disposición de cámaras del vehículo y luego genera cada escena grabada con nuevo clima e iluminación a partir de mapas de escena y un prompt de texto. Los pesos son gratis; el coste es el tiempo de GPU para post-entrenar y generar.
Una investigadora de aprendizaje robótico con un montaje de dos brazos AgiBot o YAM
Puntuar checkpoints de políticas sin reservar horas en el robot físico
Usa Sim-Bimanual como simulador aprendido: introduce las acciones de la política, recibe las vistas de cámara previstas y ordena los checkpoints antes de probar los mejores en hardware. NVIDIA advierte que aún no está demostrado para evaluar políticas.
Un responsable de producto en un proveedor de robótica para almacenes
Construir sobre un modelo de mundo sin licencia por uso ni API cerrada
Integra un Nano ajustado en el producto bajo OpenMDW 1.1 y ejecútalo en estaciones RTX PRO 6000 en casa del cliente, o el modelo Edge de 4.000 millones en Jetson, en lugar de pagar por llamada a un modelo alojado.
Antes de decidirte
- Puesta en marcha
- Descarga desde Hugging Face y sirve con la imagen Docker vllm/vllm-omni:cosmos3, o carga Cosmos3OmniPipeline en Diffusers; requiere Linux y una GPU Ampere, Hopper o Blackwell. Los checkpoints de simulación necesitan además Docker y el NVIDIA Container Toolkit.
- Integraciones
- Diffusers, vLLM 0.21 (CUDA 13) o 0.19.1 (CUDA 12.8), vLLM-Omni y SGLang; NIM del razonador en NGC; demos de Nano en build.nvidia.com; código de entrenamiento y skills para agentes en el repositorio cosmos-framework de NVIDIA.
- Datos y privacidad
- OpenMDW 1.1 permite uso comercial y no comercial, y al alojarlo tú mismo los datos se quedan en local. NVIDIA dice que el entrenamiento usó 1.300 millones de datos de 393 conjuntos.
- Coste a escala
- Super: se recomiendan ocho GPU H200, H100 o A100, unos 55 segundos por vídeo de 50 pasos en H200; el Super destilado a cuatro pasos es hasta 25 veces más rápido, según NVIDIA. Nano cabe en una H200. Los requisitos de VRAM no se publican; la descarga por capas ayuda en GPU más pequeñas.
- Límites
- Salida de 256p a 720p, de 5 a 400 fotogramas; entrada de vídeo limitada a 5 fotogramas y de audio a 0,5 segundos; acciones solo para los robots listados, como Franka, AgiBot, UR y WidowX. SGLang no admite vídeo a vídeo, sonido ni generación de acciones. Entre los artefactos hay incoherencia temporal e interacciones físicas imprecisas.
Lo bueno
- Un solo modelo abierto para razonar sobre escenas, predecir vídeo y generar acciones de robot
- La licencia OpenMDW 1.1 permite uso comercial
- Checkpoints en streaming de conducción y robots de dos brazos para ejecuciones en bucle cerrado
- Recetas de post-entrenamiento, skills para agentes y datos sintéticos publicados
Lo malo
- Super pide ocho GPU de centro de datos; unos 55 segundos por vídeo de 50 pasos en H200
- El liderazgo en benchmarks lo declara NVIDIA; las tablas independientes aún no lo confirman
- La conducción en bucle cerrado necesita tu propio entorno de simulación y renderizador de mapas de escena
- Todavía no hay NIM del generador ni proveedor de inferencia alojado
Ideal para
Equipos de robótica y conducción autónoma con hardware de NVIDIA que quieren un modelo de mundo abierto y con licencia comercial para post-entrenarlo con sus propios sensores y robots.
Alternativas a NVIDIA Cosmos 3
NVIDIA Cosmos 3: preguntas frecuentes
- ¿Merece la pena NVIDIA Cosmos 3?
- Cosmos 3 es el modelo de mundo abierto sobre el que construye un equipo de robótica o conducción, pero los nuevos checkpoints de simulación son kits para equipos con simulador y clúster de GPU, no simuladores terminados. Le damos un 4.2 sobre 5.
- ¿Cuánto cuesta NVIDIA Cosmos 3?
- Gratis bajo la licencia OpenMDW 1.1, uso comercial permitido. El contenedor NIM del razonador requiere una clave de API de NGC; precios alojados no publicados, y ningún proveedor de inferencia de Hugging Face lo sirve.
- ¿Qué inconvenientes tiene NVIDIA Cosmos 3?
- Super pide ocho GPU de centro de datos; unos 55 segundos por vídeo de 50 pasos en H200; el liderazgo en benchmarks lo declara NVIDIA; las tablas independientes aún no lo confirman; la conducción en bucle cerrado necesita tu propio entorno de simulación y renderizador de mapas de escena; todavía no hay NIM del generador ni proveedor de inferencia alojado.
- ¿Para quién es NVIDIA Cosmos 3?
- Equipos de robótica y conducción autónoma con hardware de NVIDIA que quieren un modelo de mundo abierto y con licencia comercial para post-entrenarlo con sus propios sensores y robots.
- ¿Cuánto cuesta NVIDIA Cosmos 3 para un equipo o en producción?
- Super: se recomiendan ocho GPU H200, H100 o A100, unos 55 segundos por vídeo de 50 pasos en H200; el Super destilado a cuatro pasos es hasta 25 veces más rápido, según NVIDIA. Nano cabe en una H200. Los requisitos de VRAM no se publican; la descarga por capas ayuda en GPU más pequeñas.
- ¿Es NVIDIA Cosmos 3 seguro para los datos de la empresa?
- OpenMDW 1.1 permite uso comercial y no comercial, y al alojarlo tú mismo los datos se quedan en local. NVIDIA dice que el entrenamiento usó 1.300 millones de datos de 393 conjuntos.
- ¿Cuáles son las mejores alternativas a NVIDIA Cosmos 3?
- Las alternativas más cercanas que hemos analizado son Genie 4, LingBot-World 2.0 (Infinity), LTX-2.5 y HunyuanVideo 1.5.
Respuestas comprobadas el 9 nov 2026.
¿Desarrollas NVIDIA Cosmos 3? Muestra esta nota en tu web
