Qu’est-ce que V-JEPA 2 and V-JEPA 2.1 ?
V-JEPA 2 est une famille de modèles vidéo de Meta FAIR, publiée le 11 juin 2025 avec poids, code et trois nouveaux benchmarks de physique. Il apprend en regardant : face à une vidéo dont des parties sont masquées, il prédit une description compressée de ce qui manque plutôt que les pixels manquants. Meta l'a entraîné sur plus d'un million d'heures de vidéo du web et un million d'images, sans aucune étiquette humaine. Le résultat est un encodeur qui transforme un clip de jusqu'à 64 images en caractéristiques qu'un petit module ajouté peut utiliser pour classer des actions, anticiper la suite ou répondre à des questions avec un modèle de langage.
C'est donc un modèle du monde d'un autre genre qu'un modèle vidéo génératif. Veo ou Genie peignent des images que l'on peut regarder. V-JEPA 2 ne dessine jamais rien ; il prédit dans son propre résumé interne, ce qui coûte moins cher et ignore les détails sans importance, comme la forme exacte des feuilles. V-JEPA 2-AC, de Meta également, ajoute un petit prédicteur conditionné par l'action, entraîné sur moins de 62 heures de vidéo robotique non étiquetée issue du jeu de données public DROID, pour qu'un robot note des mouvements candidats par rapport à une photo cible et choisisse le meilleur.
Le 16 mars 2026, Meta a publié V-JEPA 2.1 dans le même dépôt : quatre nouveaux encodeurs de 80M à 2B paramètres en 384 pixels, entraînés pour que chaque fragment de l'image porte des détails utiles, et pas seulement le clip dans son ensemble. C'est la version par laquelle commencer pour la profondeur, le suivi ou la robotique. Les checkpoints de V-JEPA 2 (300M à 1B paramètres) restent ceux empaquetés pour Hugging Face Transformers. Le code est sous MIT ; les fiches Hugging Face indiquent MIT ou Apache 2.0, et Meta déclare les modèles disponibles pour un usage commercial et de recherche.
V-JEPA 2 and V-JEPA 2.1 vaut-il le coup ?
V-JEPA 2 est l'encodeur vidéo sous licence ouverte le plus solide pour comprendre le mouvement, et il planifie pour un vrai robot sans générer une seule image. Le plus grand modèle V-JEPA 2 de Meta obtient 77,3 % sur Something-Something v2, un test qui distingue des actions comme pousser quelque chose vers la gauche ou vers la droite, contre 69,7 % pour InternVideo2-1B. En anticipation d'actions sur Epic-Kitchens-100, il atteint 39,7 de recall at 5 contre 27,6 pour le meilleur score précédent. Ces chiffres sont ceux de Meta, mesurés avec une petite sonde entraînée sur l'encodeur figé.
Les résultats en robotique montrent pourquoi l'approche compte. Un modèle génératif planifie en dessinant des futurs possibles, et c'est lent : l'article de Meta indique que Cosmos de NVIDIA met 4 minutes à choisir chaque action, si bien qu'une seule tâche de saisie et dépose prend plus d'une heure. V-JEPA 2-AC compare les futurs dans son propre espace compact et a besoin de 16 secondes par action tout en testant dix fois plus d'options. Sur des bras Franka dans deux laboratoires jamais vus à l'entraînement, il a saisi une tasse 60 % du temps contre 0 % pour Cosmos et 10 % pour Octo, et réussi la saisie et dépose d'une tasse 80 % du temps. Le blog donne 65 % à 80 % pour la saisie et dépose d'objets nouveaux avec des sous-objectifs visuels.
V-JEPA 2.1 relève le plafond. Son article annonce 40,8 de recall at 5 sur Epic-Kitchens, 77,7 % sur Something-Something v2, 7,71 mAP sur l'anticipation à court terme des interactions avec les objets d'Ego4D, et un gain de 20 points en saisie sur robot réel par rapport à V-JEPA 2-AC. Il produit aussi des cartes de profondeur exploitables avec une sonde linéaire, 0,307 RMSE sur NYUv2, ce pour quoi la première version n'était pas conçue. Tout cela est autodéclaré, et les checkpoints 2.1 se trouvent sur le serveur de téléchargement de Meta plutôt que sur Hugging Face.
Les limites sont celles d'une publication de recherche. La planification part d'une seule image cible sur environ 16 secondes de prédiction ; les tâches plus longues comme la saisie et dépose demandent des sous-objectifs fournis à la main. L'article de Meta indique que les résultats étaient sensibles à la position de la caméra et que l'équipe a essayé plusieurs emplacements avant d'en trouver un qui fonctionne. Sur les tests de physique de Meta, IntPhys 2, MVPBench et CausalVQA, les humains obtiennent 85 % à 95 % alors que les modèles vidéo actuels, V-JEPA 2 compris, restent loin derrière, et sur IntPhys 2 ils sont au niveau du hasard ou presque. Il lit le mouvement mieux que les encodeurs ouverts auxquels Meta le compare ; il ne comprend pas encore la physique comme un enfant.
Là où il fait la différence
Un chercheur en robotique équipé d'un bras Franka et d'une seule caméra RGB
Faire fonctionner atteinte, saisie et saisie-dépose dans un nouveau laboratoire sans collecter de données de tâche
Chargez V-JEPA 2-AC via PyTorch Hub, donnez-lui une photo cible et laissez-le noter les mouvements candidats à chaque étape. Meta annonce 60 % à 80 % de réussite sur les tâches avec tasse sans entraînement sur place ; prévoyez du temps pour trouver une position de caméra qui fonctionne, comme l'équipe de Meta elle-même.
Un ingénieur ML dans une société d'analyse sportive disposant de 10 000 clips étiquetés
Classer des mouvements fins comme des types de plongeon ou de plaquage
Figez un encodeur V-JEPA 2 et n'entraînez qu'une sonde attentive sur ses caractéristiques, la méthode qui a permis à Meta d'atteindre 90,2 % sur Diving48. Meta publie checkpoints et configurations de sondes pour SSv2, Diving48 et Epic-Kitchens, si bien que la première base de référence se résume à un changement de configuration.
Une équipe produit dans une start-up de lunettes connectées ou de caméras domestiques
Anticiper ce qu'une personne va faire dans une vidéo à la première personne
Prenez comme encodeur V-JEPA 2.1, dont l'article annonce 40,8 de recall at 5 en anticipation d'actions sur Epic-Kitchens, et entraînez une tête légère sur vos propres images. Les conditions MIT et Apache ne comportent aucune des restrictions d'usage des licences maison de Meta pour DINOv3 et Sapiens2.
Avant de vous engager
- Mise en route
- Installez le dépôt GitHub avec pip sous Python 3.12, ou chargez V-JEPA 2 avec AutoModel et AutoVideoProcessor de Transformers ; V-JEPA 2.1 et V-JEPA 2-AC se chargent via PyTorch Hub ou par téléchargement direct des checkpoints. Un notebook de démonstration classe une vidéo d'exemple.
- Intégrations
- Hugging Face Transformers (V-JEPA 2 uniquement), PyTorch Hub, timm et einops ; l'entraînement des sondes tourne en local ou sur des clusters SLURM. L'article de Meta aligne l'encodeur sur un modèle de langage de 8B pour répondre à des questions sur des vidéos.
- Données et confidentialité
- Auto-hébergé, la vidéo reste sur votre matériel. Le code est sous MIT, avec trois fichiers sous Apache 2.0 ; les poids Hugging Face sont indiqués MIT ou Apache 2.0, sans inscription préalable ni restriction d'usage au-delà de la licence.
- Coût à grande échelle
- Les encodeurs vont de 80M à 2B paramètres, le plus grand tient donc sur un GPU de centre de données ; les 16 secondes par action planifiée de Meta ont été mesurées sur son propre matériel. Le pré-entraînement depuis zéro est hors de portée de la plupart des équipes : Meta estime environ 60 années-GPU pour ViT-g sur des clips de 64 images en 384 pixels.
- Limites
- Clips de 64 images au plus, environ 16 secondes de prédiction ; planifier avec une seule image cible ne couvre que des tâches courtes. Les résultats sont autodéclarés, et sur IntPhys 2 les modèles vidéo actuels, V-JEPA 2 compris, sont au niveau du hasard ou presque face à des humains quasi parfaits.
Les points forts
- 77,3 % sur Something-Something v2 contre 69,7 % pour InternVideo2-1B (Meta)
- Planifie chaque action robotique en 16 secondes contre 4 minutes pour Cosmos (Meta)
- Licence permissive : code MIT, poids MIT ou Apache 2.0 sur Hugging Face
- V-JEPA 2.1 ajoute des caractéristiques denses par fragment pour la profondeur et le suivi
Les points faibles
- Produit des caractéristiques, pas des réponses ; chaque tâche demande une sonde ou une tête entraînée
- La planification robotique exige des sous-objectifs pour les tâches longues et une caméra bien placée
- Les poids de V-JEPA 2.1 ne sont ni sur Hugging Face ni dans Transformers
- Le chargeur vidéo dépend de decord, qui n'est plus maintenu et ne prend pas en charge macOS
Idéal pour
Chercheurs en robotique et en ML vidéo qui ont besoin d'un encodeur vidéo figé sous licence permissive pour reconnaître ou anticiper des actions, ou planifier à partir d'images cibles.
Alternatives à V-JEPA 2 and V-JEPA 2.1
V-JEPA 2 and V-JEPA 2.1 : questions fréquentes
- V-JEPA 2 and V-JEPA 2.1 vaut-il le coup ?
- V-JEPA 2 est l'encodeur vidéo ouvert à battre pour le mouvement et la planification robotique, mais il vous livre des caractéristiques et un code de recherche, pas un produit fini. Nous lui donnons 4.2 sur 5.
- Combien coûte V-JEPA 2 and V-JEPA 2.1 ?
- Gratuit. Code sous MIT ; poids publiés pour un usage commercial et de recherche, les fiches Hugging Face indiquant MIT ou Apache 2.0. Pas d'API hébergée par Meta.
- Quels sont les inconvénients de V-JEPA 2 and V-JEPA 2.1 ?
- Produit des caractéristiques, pas des réponses ; chaque tâche demande une sonde ou une tête entraînée; la planification robotique exige des sous-objectifs pour les tâches longues et une caméra bien placée; les poids de V-JEPA 2.1 ne sont ni sur Hugging Face ni dans Transformers; le chargeur vidéo dépend de decord, qui n'est plus maintenu et ne prend pas en charge macOS.
- À qui s’adresse V-JEPA 2 and V-JEPA 2.1 ?
- Chercheurs en robotique et en ML vidéo qui ont besoin d'un encodeur vidéo figé sous licence permissive pour reconnaître ou anticiper des actions, ou planifier à partir d'images cibles.
- Combien coûte V-JEPA 2 and V-JEPA 2.1 pour une équipe ou en production ?
- Les encodeurs vont de 80M à 2B paramètres, le plus grand tient donc sur un GPU de centre de données ; les 16 secondes par action planifiée de Meta ont été mesurées sur son propre matériel. Le pré-entraînement depuis zéro est hors de portée de la plupart des équipes : Meta estime environ 60 années-GPU pour ViT-g sur des clips de 64 images en 384 pixels.
- V-JEPA 2 and V-JEPA 2.1 est-il sûr pour les données de l’entreprise ?
- Auto-hébergé, la vidéo reste sur votre matériel. Le code est sous MIT, avec trois fichiers sous Apache 2.0 ; les poids Hugging Face sont indiqués MIT ou Apache 2.0, sans inscription préalable ni restriction d'usage au-delà de la licence.
- Quelles sont les meilleures alternatives à V-JEPA 2 and V-JEPA 2.1 ?
- Les alternatives les plus proches que nous avons testées sont DINOv3, Genie 4, Molmo2-8B et HY-World 2.0.
Réponses vérifiées le 9 nov. 2026.
Vous éditez V-JEPA 2 and V-JEPA 2.1 ? Affichez cette note sur votre site
