V-JEPA 2 and V-JEPA 2.1とは？
V-JEPA 2はMeta FAIRの動画モデルファミリーで、2025年6月11日に重み、コード、3つの新しい物理ベンチマークとともに公開されました。見ることで学びます。一部を隠した動画を見せると、欠けたピクセルそのものではなく、欠けた部分を圧縮した記述を予測します。Metaは100万時間を超えるインターネット動画と100万枚の画像で、人手のラベルなしに学習させました。その結果できたのは、最大64フレームのクリップを特徴量に変えるエンコーダーで、小さな追加モジュールがその特徴量を使って行動を分類したり、次に起きることを予測したり、言語モデルと組んで質問に答えたりできます。
つまり、生成型の動画モデルとは種類の違う世界モデルです。VeoやGenieは人が見られるフレームを描きます。V-JEPA 2は何も描かず、自分の内部の要約の中で予測します。そのほうが安く、葉の正確な形のような重要でない細部を無視できます。MetaのV-JEPA 2-ACは、公開データセットDROIDのラベルなしロボット動画62時間未満で学習した小さな行動条件付き予測器を加えたもので、ロボットが候補の動きを目標写真と照らして採点し、最良のものを選べるようにします。
2026年3月16日、Metaは同じリポジトリでV-JEPA 2.1を公開しました。384ピクセル解像度の80Mから2Bパラメータの新しいエンコーダー4つで、クリップ全体だけでなくフレームの各パッチが有用な細部を持つように学習されています。深度、トラッキング、ロボット用途ならこちらから始めるべきです。Hugging Face Transformers向けにパッケージされているのは、引き続きV-JEPA 2のチェックポイント(300Mから1Bパラメータ)です。コードはMITで、Hugging FaceのカードにはMITまたはApache 2.0と記載され、Metaは商用と研究の両方で利用できるとしています。
V-JEPA 2 and V-JEPA 2.1は使う価値があるか？
V-JEPA 2は、動きを理解するためのオープンライセンスの動画エンコーダーとして最も強力で、1枚のフレームも生成せずに実機ロボットの計画を立てます。MetaのV-JEPA 2最大モデルは、何かを左に押すか右に押すかといった行動を見分けるテストSomething-Something v2で77.3%を記録し、InternVideo2-1Bの69.7%を上回ります。Epic-Kitchens-100の行動予測ではrecall at 5が39.7で、従来の最高値27.6を上回ります。これらはMeta自身の数字で、凍結したエンコーダーの上に小さな学習済みプローブを載せて測ったものです。
ロボットでの結果が、この手法が重要な理由を示しています。生成モデルは起こりうる未来を描いて計画するため遅く、Metaの論文によればNVIDIAのCosmosは行動1つを選ぶのに4分かかり、ピック・アンド・プレース1回に1時間以上かかります。V-JEPA 2-ACは自分のコンパクトな空間で未来を比べ、10倍の候補を試しながらも行動1つあたり16秒で済みま す。学習で一度も見ていない2つの研究室のFrankaアームで、カップをつかむ成功率は60%で、Cosmosの0%、Octoの10%を上回り、カップのピック・アンド・プレースは80%で成功しました。ブログは、視覚的なサブゴールを使った新しい物体のピック・アンド・プレースで65%から80%としています。
V-JEPA 2.1は上限を引き上げます。論文によれば、Epic-Kitchensでrecall at 5が40.8、Something-Something v2で77.7%、Ego4Dの短期的な物体インタラクション予測で7.71 mAP、実機ロボットでのつかみ動作ではV-JEPA 2-ACより20ポイント向上しました。線形プローブから実用的な深度マップも得られ、NYUv2でRMSE 0.307と、初代が想定していなかった用途にも対応します。いずれも自己申告で、2.1のチェックポイントはHugging FaceではなくMetaのダウンロードサーバーにあります。
限界は研究用リリースのそれです。計画は1枚の目標画像から約16秒先までの予測で行い、ピック・アンド・プレースのような長いタスクには手で与えるサブゴールが必要です。Metaの論文は、結果がカメラ位置に敏感で、チームはうまくいく位置が見つかるまで何か所か試したと述べています。Meta独自の物理テストIntPhys 2、MVPBench、CausalVQAでは人間が85%から95%を取る一方、V-JEPA 2を含む現在の動画モデルは大きく後れを取り、IntPhys 2ではほぼ偶然と同じ水準です。Metaが比較したオープンなエンコーダーより動きをよく読み取りますが、子どものように物理を理解するにはまだ至っていません。
真価を発揮する場面
Frankaアームと1台のRGBカメラを持つロボティクス研究者
タスクのデータを集めずに、新しい研究室で到達、把持、ピック・アンド・プレースを動かす
PyTorch HubでV-JEPA 2-ACを読み込み、目標写真を与えて、各ステップで候補の動きを採点させます。Metaはその場での学習なしでカップのタスクに60%から80%の成功率を報告しています。Meta自身のチームと同じく、うまくいくカメラ位置を探す時間を見込んでください。
ラベル付きクリップを1万本持つスポーツ分析会社のMLエンジニア
飛び込みの種類やタックルのような細かい動きを分類する
V-JEPA 2のエンコーダーを凍結し、その特徴量の上でアテンティブ・プローブだけを学習させます。これはMetaがDiving48で90.2%に達した方法です。MetaはSSv2、Diving48、Epic-Kitchens向けのプローブのチェックポイントと設定を公開しているので、最初のベースラインは設定の変更だけで済みます。
スマートグラスや家庭用カメラのスタートアップの製品チーム
一人称視点の動画で、人が次に何をするかを予測する
Epic-Kitchensの行動予測でrecall at 5が40.8と論文が報告するV-JEPA 2.1をエンコーダーにし、自社の映像で軽いヘッドを学習させます。MITとApache の条件には、MetaがDINOv3とSapiens2に使う独自ライセンスの利用制限が一切ありません。
導入前に確認すること
- 導入
- Python 3.12でGitHubリポジトリをpipでインストールするか、TransformersのAutoModelとAutoVideoProcessorでV-JEPA 2を読み込みます。V-JEPA 2.1とV-JEPA 2-ACはPyTorch Hubかチェックポイントの直接ダウンロードで読み込みます。デモのノートブックがサンプル動画を分類します。
- 連携
- Hugging Face Transformers(V-JEPA 2のみ)、PyTorch Hub、timm、einops。プローブの学習はローカルでもSLURMクラスターでも動きます。Metaの論文は、動画の質問応答のためにエンコーダーを8Bの言語モデルと組み合わせています。
- データとプライバシー
- セルフホストなので、動画は自分のハードウェアにとどまります。コードはMITで、3つのファイルだけApache 2.0です。Hugging Faceの重みはMITまたはApache 2.0と記載され、利用申請はなく、ライセンス以外の利用制限もありません。
- 大規模利用時のコスト
- エンコーダーは80Mから2Bパラメータなので、最大のものでもデータセンター向けGPU 1基に収まります。計画1行動あたり16秒というMetaの数字は、Meta自身のハードウェアでの計測です。ゼロからの事前学習はほとんどのチームには現実的でなく、Metaは64フレーム・384ピクセルのクリップでのViT-gに約60 GPU年かかると見積もっています。
- 制限
- クリップは最大64フレーム、予測は約16秒先まで。1枚の目標画像からの計画は短いタスクにしか対応しません。結果は自己申告で、IntPhys 2ではV-JEPA 2を含む現在の動画モデルがほぼ偶然の水準にとどまり、人間はほぼ満点です。
良い点
- Something-Something v2で77.3%、InternVideo2-1Bは69.7%(Meta)
- ロボットの行動を1つ16秒で計画、Cosmosは4分(Meta)
- 寛容なライセンス:コードはMIT、Hugging Faceの重みはMITまたはApache 2.0
- V-JEPA 2.1は深度とトラッキング向けにパッチごとの密な特徴量を追加
気になる点
- 出力は答えではなく特徴量で、タスクごとに学習済みのプローブかヘッドが必要
- ロボットの計画には長いタスクでサブゴールが、そして慎重なカメラ配置が必要
- V-JEPA 2.1の重みはHugging FaceにもTransformersにもない
- 動画ローダーはメンテナンスが止まりmacOS非対応のdecordに依存
おすすめの人
行動認識、行動予測、目標画像からの計画のために、凍結して使える寛容ライセンスの動画エンコーダーを必要とするロボティクスと動画MLの研究者。
V-JEPA 2 and V-JEPA 2.1の代替
V-JEPA 2 and V-JEPA 2.1：よくある質問
- V-JEPA 2 and V-JEPA 2.1は使う価値があるか？
- V-JEPA 2は動きの理解とロボットの計画で倒すべきオープンな動画エンコーダーですが、手に入るのは特徴量と研究用コードであって、完成品ではありません。 評価は5点満点中4.2点です。
- V-JEPA 2 and V-JEPA 2.1の料金は？
- 無料。コードはMIT、重みは商用・研究利用向けに公開され、Hugging FaceのカードにはMITまたはApache 2.0と記載。Metaによるホスト型APIはありません。
- V-JEPA 2 and V-JEPA 2.1の欠点は？
- 出力は答えではなく特徴量で、タスクごとに学習済みのプローブかヘッドが必要; ロボットの計画には長いタスクでサブゴールが、そして慎重なカメラ配置が必要; V-JEPA 2.1の重みはHugging FaceにもTransformersにもない; 動画ローダーはメンテナンスが止まりmacOS非対応のdecordに依存.
- V-JEPA 2 and V-JEPA 2.1は誰に向いているか？
- 行動認識、行動予測、目標画像からの計画のために、凍結して使える寛容ライセンスの動画エンコーダーを必要とするロボティクスと動画MLの研究者。
- チームや本番環境でV-JEPA 2 and V-JEPA 2.1を使うと費用はいくらか？
- エンコーダーは80Mから2Bパラメータなので、最大のものでもデータセンター向けGPU 1基に収まります。計画1行動あたり16秒というMetaの数字は、Meta自身のハードウェアでの計測です。ゼロからの事前学習はほとんどのチームには現実的でな く、Metaは64フレーム・384ピクセルのクリップでのViT-gに約60 GPU年かかると見積もっています。
- V-JEPA 2 and V-JEPA 2.1は企業データを扱っても安全か？
- セルフホストなので、動画は自分のハードウェアにとどまります。コードはMITで、3つのファイルだけApache 2.0です。Hugging Faceの重みはMITまたはApache 2.0と記載され、利用申請はなく、ライセンス以外の利用制限もありません。
- V-JEPA 2 and V-JEPA 2.1の代わりになるものは？
- 当サイトでレビューした中で最も近い代替はDINOv3, Genie 4, Molmo2-8B 、 HY-World 2.0です。
回答確認日：2026年11月9日
V-JEPA 2 and V-JEPA 2.1の開発元の方へ：この評価をサイトに掲載できます
