NVIDIA ha convertido su modelo del mundo Cosmos 3 en un conjunto de herramientas que se comportan más como un simulador que como un generador de vídeo. Los cuatro nuevos checkpoints, todos post-entrenados a partir de Cosmos 3 Nano y publicados en Hugging Face, permiten a los equipos que desarrollan coches autónomos y brazos robóticos generar datos de sensores y reproducirlos en bucle con una política de conducción o de control. Para quien paga flotas de pruebas o escenas de simulación hechas a mano, ese es el motivo para mirarlos.
Cada checkpoint tiene una tarea concreta. Cosmos3-Nano-Transfer-Auto produce vídeo de conducción sincronizado para hasta 11 cámaras, incluidas lentes ojo de pez, y puede generar LiDAR a la vez; un mapa de escena fija el trazado de la vía y el tráfico, y un prompt de texto fija el tiempo, la luz y la hora del día. Cosmos3-Nano-Sim-Auto es una versión destilada y más rápida que genera fragmentos cortos paso a paso en unas pocas pasadas de eliminación de ruido, para que una política pueda reaccionar a lo que ve. Cosmos3-Nano-Sim-Transfer toma mapas de profundidad, segmentación, bordes y desenfoque de un simulador físico y los convierte en vídeo en color realista, dejando la física en el simulador. Cosmos3-Nano-Sim-Bimanual predice los siguientes fotogramas a partir de las acciones de un robot de dos brazos, con soporte para hardware YAM y AgiBot.
La licencia es OpenMDW1.1, que permite el uso comercial según sus condiciones. El listón de hardware es alto: la configuración de servicio de NVIDIA se probó en una sola GB200, y la empresa subraya que no es un mínimo, así que las GPU más pequeñas no están probadas. El entrenamiento se hizo en cuatro etapas, la última con el modelo aprendiendo de su propio historial generado para que los pequeños errores no se acumulen en recorridos largos. El interés inicial es real: las páginas de los modelos muestran entre unas 2.850 y 6.320 descargas cada una.
Nuestra reseña de Cosmos 3 describe un modelo del mundo general para robots y coches; estos checkpoints son su aplicación práctica, pensada para pruebas en bucle cerrado en las que una política actúa y el mundo responde. La comparación que importa a la mayoría de los equipos es con los simuladores convencionales y el renderizado con motores de videojuegos. Cosmos no los sustituye: Sim-Transfer depende expresamente de uno para la física y solo aporta el aspecto realista, que es justo donde suelen fallar los datos sintéticos.
Las reservas vienen en parte de la propia NVIDIA. Reconoce que aún no ha determinado en qué casos estos modelos son lo bastante fieles para entrenar y evaluar políticas, que es precisamente la razón de ser de un simulador. Los errores todavía pueden acumularse en generaciones largas. La entrada del blog no da resolución, tasa de fotogramas, duración de los clips ni cifras de benchmarks, e indica 16B parámetros entrenables mientras que las fichas de los modelos dicen 15B. Los equipos que dimensionen hardware deberían revisar las fichas y el informe técnico enlazado antes de comprometerse.