V-JEPA 2 and V-JEPA 2.1의 개요
V-JEPA 2는 Meta FAIR의 영상 모델 제품군으로, 2025년 6월 11일 가중치, 코드, 새 물리 벤치마크 세 가지와 함께 공개됐습니다. 보면서 배웁니다. 일부를 가린 영상을 보여 주면, 빠진 픽셀 자체가 아니라 빠진 부분을 압축한 설명을 예측합니다. Meta는 100만 시간이 넘는 인터넷 영상과 100만 장의 이미지로, 사람이 단 라벨 없이 학습시켰습니다. 그 결과는 최대 64프레임 클립을 특징으로 바꾸는 인코더이며, 작은 추가 모듈이 이 특징을 써서 행동을 분류하거나 다음 일을 예측하거나 언어 모델과 함께 질문에 답할 수 있습니다.
그래서 생성형 영상 모델과는 다른 종류의 월드 모델입니다. Veo나 Genie는 사람이 볼 수 있는 프레임을 그립니다. V-JEPA 2는 아무것도 그리지 않고 자체 내부 요약 안에서 예측하는데, 이 방식이 더 싸고 나뭇잎의 정확한 모양처럼 중요하지 않은 세부를 무시합니다. Meta의 V-JEPA 2-AC는 공개 데이터셋 DROID의 라벨 없는 로봇 영상 62시간 미만으로 학습한 작은 행동 조건부 예측기를 더해, 로봇이 후보 동작을 목표 사진과 비교해 점수를 매기고 가장 좋은 것을 고르게 합니다.
2026년 3월 16일 Meta는 같은 저장소에 V-JEPA 2.1을 공개했습니다. 384픽셀 해상도의 80M~2B 파라미터 새 인코더 네 개로, 클립 전체만이 아니라 프레임의 모든 패치가 쓸모 있는 세부를 담도록 학습됐습니다. 깊이, 추적, 로봇 작업이라면 이 버전부터 시작하는 것이 맞습니다. Hugging Face Transformers용으로 패키징된 것은 여전히 V-JEPA 2 체크포인트(300M~1B 파라미터)입니다. 코드는 MIT이고, Hugging Face 카드에는 MIT 또는 Apache 2.0으로 표기되어 있으며, Meta는 상업적 용도와 연구 용도 모두에 쓸 수 있다고 밝힙니다.
V-JEPA 2 and V-JEPA 2.1, 쓸 만한 가치가 있습니까?
V-JEPA 2는 동작을 이해하는 데 가장 강력한 오픈 라이선스 영상 인코더이며, 프레임을 하나도 생성하지 않고 실제 로봇의 계획을 세웁니다. Meta의 가장 큰 V-JEPA 2 모델은 무언가를 왼쪽으로 미는지 오른쪽으로 미는지 같은 행동을 구분하는 Something-Something v2에서 77.3%를 기록해 InternVideo2-1B의 69.7%를 앞섭니다. Epic-Kitchens-100 행동 예측에서는 recall at 5가 39.7로, 이전 최고치 27.6을 넘습니다. 이 수치는 Meta 자체 결과로, 고정한 인코더 위에 작은 학습형 프로브를 얹어 측정했습니다.
로봇 결과가 이 접근이 중요한 이유를 보여 줍니다. 생성 모델은 가능한 미래를 그려서 계획하기 때문에 느립니다. Meta 논문에 따르면 NVIDIA의 Cosmos는 행동 하나를 고르는 데 4분이 걸려, 집어서 옮기기 한 번에 한 시간이 넘습니다. V-JEPA 2-AC는 자체의 압축된 공간에서 미래를 비교하며, 열 배 많은 후보를 시험하면서도 행동당 16초면 됩니다. 학습 때 본 적 없는 두 연구실의 Franka 로봇 팔에서 컵 잡기 성공률은 60%로 Cosmos의 0%, Octo의 10%를 앞섰고, 컵 집어서 옮기기는 80% 성공했습니다. 블로그는 시각적 하위 목표를 줄 때 새 물체 집어서 옮기기 성공률을 65%~80%로 제시합니다.
V-JEPA 2.1은 상한을 끌어올립니다. 논문에 따르면 Epic-Kitchens에서 recall at 5가 40.8, Something-Something v2에서 77.7%, Ego4D 단기 물체 상호작용 예측에서 7.71 mAP를 기록했고, 실제 로봇 잡기 성공률은 V-JEPA 2-AC보다 20포인트 높아졌습니다. 선형 프로브만으로 쓸 만한 깊이 지도도 뽑아내 NYUv2에서 RMSE 0.307을 기록했는데, 첫 버전은 이런 용도로 만들어지지 않았습니다. 모두 자체 보고 수치이며, 2.1 체크포인트는 Hugging Face가 아니라 Meta 다운로드 서버에 있습니다.
한계는 연구용 공개의 한계입니다. 계획은 목표 이미지 한 장으로 약 16초 앞까지 예측하며, 집어서 옮기기처럼 긴 작업에는 사람이 주는 하위 목표가 필요합니다. Meta 논문은 결과가 카메라 위치에 민감했고, 팀이 잘 되는 위치를 찾을 때까지 여러 위치를 시도했다고 밝힙니다. Meta 자체 물리 테스트인 IntPhys 2, MVPBench, CausalVQA에서 사람은 85%~95%를 기록하지만, V-JEPA 2를 포함한 현재 영상 모델은 크게 뒤처지며 IntPhys 2에서는 무작위 수준이거나 그에 가깝습니다. Meta가 비교한 오픈 인코더들보다 동작을 잘 읽어 내지만, 아이처럼 물리를 이해하는 단계에는 아직 이르지 못했습니다.
제 역할을 하는 곳
Franka 로봇 팔과 RGB 카메라 한 대를 가진 로보틱스 연구자
작업 데이터를 모으지 않고 새 연구실에서 뻗기, 잡기, 집어서 옮기기를 작동시키기
PyTorch Hub로 V-JEPA 2-AC를 불러와 목표 사진을 주고, 단계마다 후보 동작에 점수를 매기게 합니다. Meta는 현장 학습 없이 컵 작업에서 60%~80% 성공률을 보고합니다. Meta 팀이 그랬듯 잘 되는 카메라 위치를 찾는 데 시간이 든다는 점을 감안하세요.
라벨이 달린 클립 1만 개를 가진 스포츠 분석 회사의 ML 엔지니어
다이빙 종류나 태클 같은 세밀한 동작 분류하기
V-JEPA 2 인코더를 고정하고 그 특징 위에서 어텐티브 프로브만 학습시킵니다. Meta가 Diving48에서 90.2%에 도달한 방식입니다. Meta는 SSv2, Diving48, Epic-Kitchens용 프로브 체크포인트와 설정을 공개하므로, 첫 기준선은 설정만 바꾸면 됩니다.
스마트 글라스나 가정용 카메라 스타트업의 제품팀
1인칭 영상에서 사람이 곧 무엇을 할지 예측하기
논문에서 Epic-Kitchens 행동 예측 recall at 5가 40.8로 보고된 V-JEPA 2.1을 인코더로 쓰고, 자체 영상으로 가벼운 헤드를 학습시킵니다. MIT와 Apache 조건에는 Meta가 DINOv3와 Sapiens2에 쓰는 자체 라이선스의 이용 제한이 하나도 없습니다.
도입 전 확인할 점
- 설정
- Python 3.12에서 GitHub 저장소를 pip로 설치하거나, Transformers의 AutoModel과 AutoVideoProcessor로 V-JEPA 2를 불러옵니다. V-JEPA 2.1과 V-JEPA 2-AC는 PyTorch Hub나 체크포인트 직접 다운로드로 불러옵니다. 데모 노트북이 샘플 영상을 분류합니다.
- 연동
- Hugging Face Transformers(V-JEPA 2만), PyTorch Hub, timm, einops. 프로브 학습은 로컬이나 SLURM 클러스터에서 돌립니다. Meta 논문은 영상 질의응답을 위해 인코더를 8B 언어 모델과 연결합니다.
- 데이터와 개인정보
- 자체 호스팅이므로 영상은 자기 하드웨어에 머뭅니다. 코드는 MIT이고 파일 세 개만 Apache 2.0입니다. Hugging Face 가중치는 MIT 또는 Apache 2.0으로 표기되어 있고, 승인 절차도 라이선스 외의 이용 제한도 없습니다.
- 대규모 사용 시 비용
- 인코더가 80M~2B 파라미터이므로 가장 큰 것도 데이터센터 GPU 한 장에 들어갑니다. 계획 행동당 16초라는 Meta 수치는 Meta 자체 하드웨어에서 잰 것입니다. 처음부터 사전학습하는 것은 대부분의 팀에게 불가능하며, Meta는 64프레임·384픽셀 클립의 ViT-g에 약 60 GPU-년이 든다고 추정합니다.
- 제한
- 클립은 최대 64프레임, 예측은 약 16초 앞까지. 목표 이미지 한 장으로 하는 계획은 짧은 작업만 다룹니다. 결과는 자체 보고이며, IntPhys 2에서는 V-JEPA 2를 포함한 현재 영상 모델이 무작위 수준이거나 그에 가깝고, 사람은 거의 만점입니다.
좋은 점
- Something-Something v2에서 77.3%, InternVideo2-1B는 69.7%(Meta)
- 로봇 행동 하나를 16초에 계획, Cosmos는 4분(Meta)
- 관대한 라이선스: 코드는 MIT, Hugging Face 가중치는 MIT 또는 Apache 2.0
- V-JEPA 2.1은 깊이와 추적을 위한 패치별 밀집 특징을 추가
아쉬운 점
- 답이 아니라 특징을 출력하므로 작업마다 학습된 프로브나 헤드가 필요
- 로봇 계획에는 긴 작업의 하위 목표와 신중한 카메라 배치가 필요
- V-JEPA 2.1 가중치는 Hugging Face에도 Transformers에도 없음
- 영상 로더가 유지보수가 끊기고 macOS를 지원하지 않는 decord에 의존
추천 대상
행동 인식, 행동 예측, 목표 이미지 기반 계획을 위해 고정해서 쓰는 관대한 라이선스의 영상 인코더가 필요한 로보틱스·영상 ML 연구자.
V-JEPA 2 and V-JEPA 2.1 대안
V-JEPA 2 and V-JEPA 2.1: 자주 묻는 질문
- V-JEPA 2 and V-JEPA 2.1, 쓸 만한 가치가 있습니까?
- V-JEPA 2는 동작 이해와 로봇 계획에서 넘어서야 할 오픈 영상 인코더이지만, 손에 쥐는 것은 특징과 연구용 코드이지 완성된 제품이 아닙니다. 평점은 5점 만점에 4.2점입니다.
- V-JEPA 2 and V-JEPA 2.1의 가격은 얼마입니까?
- 무료. 코드는 MIT, 가중치는 상업·연구 용도로 공개되었으며 Hugging Face 카드에는 MIT 또는 Apache 2.0으로 표기. Meta의 호스팅 API는 없습니다.
- V-JEPA 2 and V-JEPA 2.1의 단점은 무엇입니까?
- 답이 아니라 특징을 출력하므로 작업마다 학습된 프로브나 헤드가 필요; 로봇 계획에는 긴 작업의 하위 목표와 신중한 카메라 배치가 필요; V-JEPA 2.1 가중치는 Hugging Face에도 Transformers에도 없음; 영상 로더가 유지보수가 끊기고 macOS를 지원하지 않는 decord에 의존.
- V-JEPA 2 and V-JEPA 2.1에 적합한 사람은 누구입니까?
- 행동 인식, 행동 예측, 목표 이미지 기반 계획을 위해 고정해서 쓰는 관대한 라이선스의 영상 인코더가 필요한 로보틱스·영상 ML 연구자.
- 팀이나 프로덕션 환경에서 V-JEPA 2 and V-JEPA 2.1의 비용은 얼마입니까?
- 인코더가 80M~2B 파라미터이므로 가장 큰 것도 데이터센터 GPU 한 장에 들어갑니다. 계획 행동당 16초라는 Meta 수치는 Meta 자체 하드웨어에서 잰 것입니다. 처음부터 사전학습하는 것은 대부분의 팀에게 불가능하며, Meta는 64프레임·384픽셀 클립의 ViT-g에 약 60 GPU-년이 든다고 추정합니다.
- V-JEPA 2 and V-JEPA 2.1에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 영상은 자기 하드웨어에 머뭅니다. 코드는 MIT이고 파일 세 개만 Apache 2.0입니다. Hugging Face 가중치는 MIT 또는 Apache 2.0으로 표기되어 있고, 승인 절차도 라이선스 외의 이용 제한도 없습니다.
- V-JEPA 2 and V-JEPA 2.1의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 DINOv3, Genie 4, Molmo2-8B 및 HY-World 2.0입니다.
답변 확인일: 2026년 11월 9일.
V-JEPA 2 and V-JEPA 2.1 개발사입니까? 이 평점을 사이트에 표시하십시오
