¿Qué es V-JEPA 2 and V-JEPA 2.1?
V-JEPA 2 es una familia de modelos de vídeo de Meta FAIR, publicada el 11 de junio de 2025 con pesos, código y tres nuevos benchmarks de física. Aprende mirando: si le muestras un vídeo con partes ocultas, predice una descripción comprimida de lo que falta en lugar de los píxeles que faltan. Meta lo entrenó con más de 1 millón de horas de vídeo de internet y 1 millón de imágenes, sin etiquetas humanas. El resultado es un codificador que convierte un clip de hasta 64 fotogramas en rasgos que un pequeño módulo añadido puede usar para clasificar acciones, anticipar lo que viene o responder preguntas junto a un modelo de lenguaje.
Eso lo convierte en un modelo del mundo de otra clase que un modelo de vídeo generativo. Veo o Genie pintan fotogramas que puedes ver. V-JEPA 2 nunca dibuja nada; predice en su propio resumen interno, lo que sale más barato e ignora detalles que no importan, como la forma exacta de las hojas. V-JEPA 2-AC, también de Meta, añade un pequeño predictor condicionado por acciones, entrenado con menos de 62 horas de vídeo de robots sin etiquetar del conjunto público DROID, para que un robot puntúe movimientos candidatos frente a una foto objetivo y elija el mejor.
El 16 de marzo de 2026 Meta publicó V-JEPA 2.1 en el mismo repositorio: cuatro codificadores nuevos de 80M a 2B parámetros a 384 píxeles de resolución, entrenados para que cada parche del fotograma lleve detalle útil y no solo el clip en conjunto. Es la versión por la que empezar para profundidad, seguimiento o robótica. Los checkpoints de V-JEPA 2 (de 300M a 1B parámetros) siguen siendo los empaquetados para Hugging Face Transformers. El código es MIT; las fichas de Hugging Face indican MIT o Apache 2.0, y Meta dice que los modelos están disponibles para uso comercial y de investigación.
¿Merece la pena V-JEPA 2 and V-JEPA 2.1?
V-JEPA 2 es el codificador de vídeo con licencia abierta más fuerte para entender el movimiento, y planifica para un robot real sin generar un solo fotograma. El mayor modelo de V-JEPA 2 de Meta obtiene un 77,3 % en Something-Something v2, una prueba que distingue acciones como empujar algo a la izquierda o a la derecha, frente al 69,7 % de InternVideo2-1B. En anticipación de acciones de Epic-Kitchens-100 alcanza 39,7 de recall at 5 frente a 27,6 del mejor anterior. Son cifras de la propia Meta, medidas con una pequeña sonda entrenada sobre el codificador congelado.
Los resultados con robots explican por qué importa el enfoque. Un modelo generativo planifica dibujando futuros posibles, y eso es lento: el artículo de Meta indica que Cosmos de NVIDIA tarda 4 minutos en elegir cada acción, así que una sola tarea de coger y colocar lleva más de una hora. V-JEPA 2-AC compara futuros en su propio espacio compacto y necesita 16 segundos por acción aun probando diez veces más opciones. En brazos Franka de dos laboratorios que nunca vio en el entrenamiento, agarró una taza el 60 % de las veces frente al 0 % de Cosmos y el 10 % de Octo, y completó coger y colocar con una taza el 80 % de las veces. El blog da entre el 65 % y el 80 % para coger y colocar objetos nuevos con subobjetivos visuales.
V-JEPA 2.1 sube el techo. Su artículo indica 40,8 de recall at 5 en Epic-Kitchens, 77,7 % en Something-Something v2, 7,71 mAP en anticipación a corto plazo de interacciones con objetos de Ego4D y una mejora de 20 puntos en agarre con robots reales frente a V-JEPA 2-AC. También produce mapas de profundidad aprovechables con una sonda lineal, 0,307 RMSE en NYUv2, algo para lo que la primera versión no estaba pensada. Todo ello es autodeclarado, y los checkpoints de 2.1 están en el servidor de descargas de Meta y no en Hugging Face.
Los límites son los de una publicación de investigación. La planificación funciona con una sola imagen objetivo y unos 16 segundos de predicción; tareas más largas como coger y colocar necesitan subobjetivos dados a mano. El artículo de Meta dice que los resultados eran sensibles a la posición de la cámara y que el equipo probó varias ubicaciones hasta que una funcionó. En las pruebas de física de la propia Meta, IntPhys 2, MVPBench y CausalVQA, las personas puntúan entre el 85 % y el 95 % mientras los modelos de vídeo actuales, V-JEPA 2 incluido, quedan muy por detrás, y en IntPhys 2 rondan el azar. Lee el movimiento mejor que los codificadores abiertos con los que Meta lo compara; todavía no entiende la física como la entiende un niño.
Dónde se gana su sitio
Un investigador de robótica con un brazo Franka y una sola cámara RGB
Hacer funcionar alcanzar, agarrar y coger y colocar en un laboratorio nuevo sin recoger datos de la tarea
Carga V-JEPA 2-AC con PyTorch Hub, dale una foto objetivo y deja que puntúe movimientos candidatos en cada paso. Meta indica entre un 60 % y un 80 % de éxito en tareas con tazas sin entrenamiento previo en ese entorno; cuenta con dedicar tiempo a encontrar una posición de cámara que funcione, como le pasó al propio equipo de Meta.
Un ingeniero de ML en una empresa de analítica deportiva con 10.000 clips etiquetados
Clasificar movimientos finos como tipos de salto o placajes
Congela un codificador de V-JEPA 2 y entrena solo una sonda atencional sobre sus rasgos, el método con el que Meta llegó al 90,2 % en Diving48. Meta publica checkpoints y configuraciones de sondas para SSv2, Diving48 y Epic-Kitchens, así que la primera referencia es un cambio de configuración.
Un equipo de producto en una start-up de gafas inteligentes o cámaras domésticas
Anticipar lo que una persona va a hacer en vídeo en primera persona
Usa como codificador V-JEPA 2.1, cuyo artículo indica 40,8 de recall at 5 en anticipación de acciones de Epic-Kitchens, y entrena una cabeza ligera con tus propias grabaciones. Los términos MIT y Apache no llevan ninguna de las restricciones de uso de las licencias propias de Meta para DINOv3 y Sapiens2.
Antes de decidirte
- Puesta en marcha
- Instala el repositorio de GitHub con pip en Python 3.12, o carga V-JEPA 2 con AutoModel y AutoVideoProcessor de Transformers; V-JEPA 2.1 y V-JEPA 2-AC se cargan con PyTorch Hub o descargando los checkpoints directamente. Un cuaderno de demostración clasifica un vídeo de ejemplo.
- Integraciones
- Hugging Face Transformers (solo V-JEPA 2), PyTorch Hub, timm y einops; el entrenamiento de sondas se ejecuta en local o en clústeres SLURM. El artículo de Meta alinea el codificador con un modelo de lenguaje de 8B para responder preguntas sobre vídeo.
- Datos y privacidad
- Autoalojado, el vídeo se queda en tu hardware. El código es MIT, con tres archivos bajo Apache 2.0; los pesos de Hugging Face figuran como MIT o Apache 2.0, sin registro previo ni restricciones de uso más allá de la licencia.
- Coste a escala
- Los codificadores van de 80M a 2B parámetros, así que el mayor cabe en una GPU de centro de datos; los 16 segundos por acción planificada de Meta se midieron en su propio hardware. Preentrenar desde cero está fuera del alcance de la mayoría: Meta calcula unos 60 años-GPU para ViT-g con clips de 64 fotogramas a 384 píxeles.
- Límites
- Clips de hasta 64 fotogramas, unos 16 segundos de predicción; planificar con una sola imagen objetivo solo cubre tareas cortas. Los resultados son autodeclarados, y en IntPhys 2 los modelos de vídeo actuales, V-JEPA 2 incluido, rondan el azar frente a personas casi perfectas.
Lo bueno
- 77,3 % en Something-Something v2 frente al 69,7 % de InternVideo2-1B (Meta)
- Planifica acciones de robot en 16 segundos cada una frente a los 4 minutos de Cosmos (Meta)
- Licencia permisiva: código MIT, pesos MIT o Apache 2.0 en Hugging Face
- V-JEPA 2.1 añade rasgos densos por parche para profundidad y seguimiento
Lo malo
- Devuelve rasgos, no respuestas; cada tarea necesita una sonda o cabeza entrenada
- La planificación robótica necesita subobjetivos en tareas largas y una cámara bien colocada
- Los pesos de V-JEPA 2.1 no están en Hugging Face ni en Transformers
- El cargador de vídeo depende de decord, que ya no se mantiene y no funciona en macOS
Ideal para
Investigadores de robótica y ML de vídeo que necesitan un codificador de vídeo congelado y con licencia permisiva para reconocer acciones, anticiparlas o planificar a partir de imágenes objetivo.
Alternativas a V-JEPA 2 and V-JEPA 2.1
V-JEPA 2 and V-JEPA 2.1: preguntas frecuentes
- ¿Merece la pena V-JEPA 2 and V-JEPA 2.1?
- V-JEPA 2 es el codificador de vídeo abierto a batir en movimiento y planificación robótica, pero te da rasgos y un código de investigación, no un producto terminado. Le damos un 4.2 sobre 5.
- ¿Cuánto cuesta V-JEPA 2 and V-JEPA 2.1?
- Gratis. Código bajo MIT; pesos publicados para uso comercial y de investigación, con fichas de Hugging Face que indican MIT o Apache 2.0. Meta no ofrece API alojada.
- ¿Qué inconvenientes tiene V-JEPA 2 and V-JEPA 2.1?
- Devuelve rasgos, no respuestas; cada tarea necesita una sonda o cabeza entrenada; la planificación robótica necesita subobjetivos en tareas largas y una cámara bien colocada; los pesos de V-JEPA 2.1 no están en Hugging Face ni en Transformers; el cargador de vídeo depende de decord, que ya no se mantiene y no funciona en macOS.
- ¿Para quién es V-JEPA 2 and V-JEPA 2.1?
- Investigadores de robótica y ML de vídeo que necesitan un codificador de vídeo congelado y con licencia permisiva para reconocer acciones, anticiparlas o planificar a partir de imágenes objetivo.
- ¿Cuánto cuesta V-JEPA 2 and V-JEPA 2.1 para un equipo o en producción?
- Los codificadores van de 80M a 2B parámetros, así que el mayor cabe en una GPU de centro de datos; los 16 segundos por acción planificada de Meta se midieron en su propio hardware. Preentrenar desde cero está fuera del alcance de la mayoría: Meta calcula unos 60 años-GPU para ViT-g con clips de 64 fotogramas a 384 píxeles.
- ¿Es V-JEPA 2 and V-JEPA 2.1 seguro para los datos de la empresa?
- Autoalojado, el vídeo se queda en tu hardware. El código es MIT, con tres archivos bajo Apache 2.0; los pesos de Hugging Face figuran como MIT o Apache 2.0, sin registro previo ni restricciones de uso más allá de la licencia.
- ¿Cuáles son las mejores alternativas a V-JEPA 2 and V-JEPA 2.1?
- Las alternativas más cercanas que hemos analizado son DINOv3, Genie 4, Molmo2-8B y HY-World 2.0.
Respuestas comprobadas el 9 nov 2026.
¿Desarrollas V-JEPA 2 and V-JEPA 2.1? Muestra esta nota en tu web
