Was ist V-JEPA 2 and V-JEPA 2.1?
V-JEPA 2 ist eine Familie von Videomodellen von Meta FAIR, veröffentlicht am 11. Juni 2025 mit Gewichten, Code und drei neuen Physik-Benchmarks. Es lernt durch Zuschauen: Zeigt man ihm ein Video mit verdeckten Teilen, sagt es eine komprimierte Beschreibung der fehlenden Teile voraus statt der fehlenden Pixel. Meta trainierte es mit mehr als 1 Million Stunden Internetvideo und 1 Million Bildern, ganz ohne menschliche Labels. Heraus kommt ein Encoder, der einen Clip von bis zu 64 Frames in Merkmale verwandelt, mit denen ein kleines Zusatzmodul Aktionen klassifizieren, das Nächste vorhersagen oder zusammen mit einem Sprachmodell Fragen beantworten kann.
Damit ist es ein Weltmodell anderer Art als ein generatives Videomodell. Veo oder Genie malen Frames, die man ansehen kann. V-JEPA 2 zeichnet nie etwas; es sagt in seiner eigenen internen Zusammenfassung voraus, was billiger ist und Details ignoriert, die keine Rolle spielen, etwa die genaue Form von Blättern. Metas V-JEPA 2-AC ergänzt einen kleinen aktionsbedingten Prädiktor, trainiert mit weniger als 62 Stunden ungelabeltem Robotervideo aus dem öffentlichen Datensatz DROID, sodass ein Roboter mögliche Bewegungen an einem Zielfoto messen und die beste wählen kann.
Am 16. März 2026 veröffentlichte Meta V-JEPA 2.1 im selben Repository: vier neue Encoder von 80M bis 2B Parametern bei 384 Pixeln Auflösung, so trainiert, dass jedes Bildfeld nützliche Details trägt und nicht nur der Clip als Ganzes. Für Tiefe, Tracking oder Roboterarbeit ist es die Version, mit der man beginnen sollte. Die Checkpoints von V-JEPA 2 (300M bis 1B Parameter) bleiben die, die für Hugging Face Transformers verpackt sind. Der Code steht unter MIT; die Karten auf Hugging Face nennen MIT oder Apache 2.0, und Meta erklärt die Modelle für kommerzielle und Forschungszwecke verfügbar.
Lohnt sich V-JEPA 2 and V-JEPA 2.1?
V-JEPA 2 ist der stärkste frei lizenzierte Video-Encoder für das Verstehen von Bewegung, und er plant für einen echten Roboter, ohne einen einzigen Frame zu erzeugen. Metas größtes Modell von V-JEPA 2 erreicht 77,3 % auf Something-Something v2, einem Test, der Aktionen wie das Schieben von etwas nach links oder rechts unterscheidet, gegenüber 69,7 % für InternVideo2-1B. Bei der Aktionsvorhersage auf Epic-Kitchens-100 erreicht es 39,7 Recall at 5 gegenüber 27,6 für den bisherigen Bestwert. Diese Zahlen stammen von Meta selbst, gemessen mit einer kleinen trainierten Probe auf dem eingefrorenen Encoder.
Die Roboterergebnisse zeigen, warum der Ansatz zählt. Ein generatives Modell plant, indem es mögliche Zukünfte zeichnet, und das ist langsam: Metas Paper meldet, dass NVIDIAs Cosmos 4 Minuten braucht, um jede Aktion zu wählen, sodass ein einziger Pick-and-Place-Durchlauf über eine Stunde dauert. V-JEPA 2-AC vergleicht Zukünfte in seinem eigenen kompakten Raum und braucht 16 Sekunden pro Aktion, obwohl es zehnmal so viele Optionen durchprobiert. Auf Franka-Armen in zwei Laboren, die es im Training nie gesehen hatte, griff es eine Tasse in 60 % der Fälle, gegenüber 0 % für Cosmos und 10 % für Octo, und schaffte Pick-and-Place mit einer Tasse in 80 % der Fälle. Der Blog nennt 65 % bis 80 % für Pick-and-Place neuer Objekte mit visuellen Zwischenzielen.
V-JEPA 2.1 hebt die Obergrenze. Sein Paper meldet 40,8 Recall at 5 auf Epic-Kitchens, 77,7 % auf Something-Something v2, 7,71 mAP auf Ego4D bei der kurzfristigen Vorhersage von Objektinteraktionen und einen Gewinn von 20 Punkten beim Greifen mit echten Robotern gegenüber V-JEPA 2-AC. Es liefert außerdem brauchbare Tiefenkarten aus einer linearen Probe, 0,307 RMSE auf NYUv2, wofür die erste Version nicht gebaut war. All das ist selbst gemeldet, und die Checkpoints von 2.1 liegen auf Metas Download-Server statt auf Hugging Face.
Die Grenzen sind die einer Forschungsveröffentlichung. Die Planung arbeitet mit einem einzigen Zielbild über rund 16 Sekunden Vorhersage; längere Aufgaben wie Pick-and-Place brauchen von Hand vorgegebene Zwischenziele. Metas Paper sagt, dass die Ergebnisse empfindlich auf die Kameraposition reagierten und das Team mehrere Positionen ausprobierte, bevor eine funktionierte. Auf Metas eigenen Physiktests IntPhys 2, MVPBench und CausalVQA erreichen Menschen 85 % bis 95 %, während aktuelle Videomodelle, V-JEPA 2 eingeschlossen, weit zurückliegen, und auf IntPhys 2 liegen sie auf oder nahe Zufallsniveau. Es liest Bewegung besser als die offenen Encoder, mit denen Meta es vergleicht; Physik versteht es noch nicht so, wie ein Kind sie versteht.
Wo es sich lohnt
Ein Robotikforscher mit einem Franka-Arm und einer einzelnen RGB-Kamera
Greifen, Erreichen und Pick-and-Place in einem neuen Labor zum Laufen bringen, ohne Aufgabendaten zu sammeln
Lade V-JEPA 2-AC über PyTorch Hub, gib ihm ein Zielfoto und lass es bei jedem Schritt mögliche Bewegungen bewerten. Meta meldet 60 % bis 80 % Erfolg bei Aufgaben mit Tassen ohne Training vor Ort; rechne damit, Zeit in die Suche nach einer funktionierenden Kameraposition zu stecken, wie Metas eigenes Team.
Ein ML-Engineer bei einer Sportanalysefirma mit 10.000 gelabelten Clips
Feine Bewegungen wie Sprungarten oder Tacklings klassifizieren
Friere einen Encoder von V-JEPA 2 ein und trainiere nur eine Attentive Probe auf seinen Merkmalen, die Methode, mit der Meta 90,2 % auf Diving48 erreichte. Meta veröffentlicht Probe-Checkpoints und Konfigurationen für SSv2, Diving48 und Epic-Kitchens, die erste Baseline ist also eine Konfigurationsänderung.
Ein Produktteam bei einem Startup für Smart Glasses oder Heimkameras
Vorhersagen, was eine Person in Egoperspektive-Video gleich tun wird
Nutze V-JEPA 2.1, dessen Paper 40,8 Recall at 5 bei der Aktionsvorhersage auf Epic-Kitchens meldet, als Encoder und trainiere einen leichten Head auf eigenem Material. Die Bedingungen von MIT und Apache enthalten keine der Nutzungsbeschränkungen aus Metas eigenen Lizenzen für DINOv3 und Sapiens2.
Bevor du dich festlegst
- Einrichtung
- Das GitHub-Repo mit pip auf Python 3.12 installieren oder V-JEPA 2 mit AutoModel und AutoVideoProcessor aus Transformers laden; V-JEPA 2.1 und V-JEPA 2-AC laden über PyTorch Hub oder direkte Checkpoint-Downloads. Ein Demo-Notebook klassifiziert ein Beispielvideo.
- Integrationen
- Hugging Face Transformers (nur V-JEPA 2), PyTorch Hub, timm und einops; das Training von Probes läuft lokal oder auf SLURM-Clustern. Metas Paper koppelt den Encoder für Fragen zu Videos an ein Sprachmodell mit 8B Parametern.
- Daten und Datenschutz
- Selbst gehostet bleibt Video auf deiner Hardware. Der Code steht unter MIT, drei Dateien unter Apache 2.0; die Gewichte auf Hugging Face sind als MIT oder Apache 2.0 gelistet, ohne Zugangsschranke und ohne Nutzungsbeschränkungen über die Lizenz hinaus.
- Kosten im großen Maßstab
- Die Encoder reichen von 80M bis 2B Parametern, das größte passt also auf eine Rechenzentrums-GPU; Metas 16 Sekunden pro geplanter Aktion sind auf Metas eigener Hardware gemessen. Vortraining von Grund auf ist für die meisten Teams außer Reichweite: Meta schätzt rund 60 GPU-Jahre für ViT-g auf Clips mit 64 Frames und 384 Pixeln.
- Grenzen
- Clips von bis zu 64 Frames, etwa 16 Sekunden Vorhersage; Planung mit einem einzigen Zielbild deckt nur kurze Aufgaben ab. Die Ergebnisse sind selbst gemeldet, und auf IntPhys 2 liegen aktuelle Videomodelle einschließlich V-JEPA 2 auf oder nahe Zufallsniveau, Menschen dagegen nahezu fehlerfrei.
Was gut ist
- 77,3 % auf Something-Something v2 gegenüber 69,7 % für InternVideo2-1B (Meta)
- Plant Roboteraktionen in je 16 Sekunden gegenüber 4 Minuten bei Cosmos (Meta)
- Freizügige Lizenz: Code unter MIT, Gewichte auf Hugging Face unter MIT oder Apache 2.0
- V-JEPA 2.1 ergänzt dichte Merkmale pro Bildfeld für Tiefe und Tracking
Was nicht
- Liefert Merkmale, keine Antworten; jede Aufgabe braucht eine trainierte Probe oder einen Head
- Roboterplanung braucht Zwischenziele für längere Aufgaben und eine sorgfältig platzierte Kamera
- Gewichte von V-JEPA 2.1 sind weder auf Hugging Face noch in Transformers
- Der Video-Loader hängt an decord, das nicht mehr gepflegt wird und macOS nicht unterstützt
Am besten für
Forschende in Robotik und Video-ML, die einen eingefrorenen, frei lizenzierten Video-Encoder für Aktionserkennung, Vorhersage oder Planung anhand von Zielbildern brauchen.
Alternativen zu V-JEPA 2 and V-JEPA 2.1
V-JEPA 2 and V-JEPA 2.1: häufige Fragen
- Lohnt sich V-JEPA 2 and V-JEPA 2.1?
- V-JEPA 2 ist der offene Video-Encoder, den man für Bewegung und Roboterplanung schlagen muss, aber er liefert dir Merkmale und eine Forschungscodebasis, kein fertiges Produkt. Wir bewerten es mit 4.2 von 5.
- Was kostet V-JEPA 2 and V-JEPA 2.1?
- Kostenlos. Code unter MIT; Gewichte für kommerzielle und Forschungsnutzung freigegeben, die Karten auf Hugging Face nennen MIT oder Apache 2.0. Keine gehostete API von Meta.
- Welche Nachteile hat V-JEPA 2 and V-JEPA 2.1?
- Liefert Merkmale, keine Antworten; jede Aufgabe braucht eine trainierte Probe oder einen Head; Roboterplanung braucht Zwischenziele für längere Aufgaben und eine sorgfältig platzierte Kamera; Gewichte von V-JEPA 2.1 sind weder auf Hugging Face noch in Transformers; Der Video-Loader hängt an decord, das nicht mehr gepflegt wird und macOS nicht unterstützt.
- Für wen eignet sich V-JEPA 2 and V-JEPA 2.1?
- Forschende in Robotik und Video-ML, die einen eingefrorenen, frei lizenzierten Video-Encoder für Aktionserkennung, Vorhersage oder Planung anhand von Zielbildern brauchen.
- Was kostet V-JEPA 2 and V-JEPA 2.1 für ein Team oder im Produktivbetrieb?
- Die Encoder reichen von 80M bis 2B Parametern, das größte passt also auf eine Rechenzentrums-GPU; Metas 16 Sekunden pro geplanter Aktion sind auf Metas eigener Hardware gemessen. Vortraining von Grund auf ist für die meisten Teams außer Reichweite: Meta schätzt rund 60 GPU-Jahre für ViT-g auf Clips mit 64 Frames und 384 Pixeln.
- Ist V-JEPA 2 and V-JEPA 2.1 sicher für Firmendaten?
- Selbst gehostet bleibt Video auf deiner Hardware. Der Code steht unter MIT, drei Dateien unter Apache 2.0; die Gewichte auf Hugging Face sind als MIT oder Apache 2.0 gelistet, ohne Zugangsschranke und ohne Nutzungsbeschränkungen über die Lizenz hinaus.
- Was sind die besten Alternativen zu V-JEPA 2 and V-JEPA 2.1?
- Die nächsten Alternativen, die wir getestet haben, sind DINOv3, Genie 4, Molmo2-8B und HY-World 2.0.
Antworten geprüft am 9. Nov. 2026.
Du entwickelst V-JEPA 2 and V-JEPA 2.1? Zeig diese Bewertung auf deiner Website
