O que é V-JEPA 2 and V-JEPA 2.1?
O V-JEPA 2 é uma família de modelos de vídeo da Meta FAIR, publicada em 11 de junho de 2025 com pesos, código e três novos benchmarks de física. Ele aprende assistindo: diante de um vídeo com partes escondidas, prevê uma descrição comprimida do que falta em vez dos pixels que faltam. A Meta o treinou com mais de 1 milhão de horas de vídeo da internet e 1 milhão de imagens, sem rótulos humanos. O resultado é um codificador que transforma um clipe de até 64 quadros em características que um pequeno módulo extra pode usar para classificar ações, antecipar o que vem a seguir ou responder perguntas junto com um modelo de linguagem.
Isso faz dele um modelo de mundo de outro tipo que um modelo de vídeo generativo. Veo ou Genie pintam quadros que você pode assistir. O V-JEPA 2 nunca desenha nada; ele prevê em seu próprio resumo interno, o que sai mais barato e ignora detalhes irrelevantes, como o formato exato das folhas. O V-JEPA 2-AC, também da Meta, acrescenta um pequeno preditor condicionado a ações, treinado com menos de 62 horas de vídeo de robôs sem rótulos do conjunto público DROID, para que um robô pontue movimentos candidatos contra uma foto de objetivo e escolha o melhor.
Em 16 de março de 2026 a Meta lançou o V-JEPA 2.1 no mesmo repositório: quatro novos codificadores de 80M a 2B parâmetros em resolução de 384 pixels, treinados para que cada trecho do quadro carregue detalhes úteis, e não só o clipe como um todo. É a versão para começar em profundidade, rastreamento ou robótica. Os checkpoints do V-JEPA 2 (de 300M a 1B parâmetros) continuam sendo os empacotados para o Hugging Face Transformers. O código é MIT; as fichas no Hugging Face indicam MIT ou Apache 2.0, e a Meta diz que os modelos estão disponíveis para uso comercial e de pesquisa.
V-JEPA 2 and V-JEPA 2.1 vale a pena?
O V-JEPA 2 é o codificador de vídeo com licença aberta mais forte para entender movimento, e planeja para um robô real sem gerar um único quadro. O maior modelo V-JEPA 2 da Meta marca 77,3% no Something-Something v2, um teste que distingue ações como empurrar algo para a esquerda ou para a direita, contra 69,7% do InternVideo2-1B. Na antecipação de ações do Epic-Kitchens-100 chega a 39,7 de recall at 5, contra 27,6 do melhor resultado anterior. Os números são da própria Meta, medidos com uma pequena sonda treinada sobre o codificador congelado.
Os resultados com robôs explicam por que a abordagem importa. Um modelo generativo planeja desenhando futuros possíveis, e isso é lento: o artigo da Meta relata que o Cosmos da NVIDIA leva 4 minutos para escolher cada ação, então uma única tarefa de pegar e colocar passa de uma hora. O V-JEPA 2-AC compara futuros em seu próprio espaço compacto e precisa de 16 segundos por ação, mesmo testando dez vezes mais opções. Em braços Franka de dois laboratórios que nunca viu no treino, pegou uma xícara em 60% das vezes, contra 0% do Cosmos e 10% do Octo, e concluiu pegar e colocar com uma xícara em 80% das vezes. O blog informa de 65% a 80% para pegar e colocar objetos novos com subobjetivos visuais.
O V-JEPA 2.1 eleva o teto. Seu artigo relata 40,8 de recall at 5 no Epic-Kitchens, 77,7% no Something-Something v2, 7,71 mAP na antecipação de curto prazo de interações com objetos do Ego4D e um ganho de 20 pontos na pegada com robôs reais sobre o V-JEPA 2-AC. Ele também produz mapas de profundidade aproveitáveis com uma sonda linear, 0,307 de RMSE no NYUv2, algo para o qual a primeira versão não foi feita. Tudo isso é autodeclarado, e os checkpoints do 2.1 ficam no servidor de downloads da Meta, não no Hugging Face.
Os limites são os de um lançamento de pesquisa. O planejamento parte de uma única imagem de objetivo, com cerca de 16 segundos de previsão; tarefas mais longas, como pegar e colocar, exigem subobjetivos dados à mão. O artigo da Meta diz que os resultados eram sensíveis à posição da câmera e que a equipe testou várias posições até uma funcionar. Nos testes de física da própria Meta, IntPhys 2, MVPBench e CausalVQA, pessoas marcam de 85% a 95%, enquanto os modelos de vídeo atuais, V-JEPA 2 incluído, ficam bem atrás, e no IntPhys 2 ficam no nível do acaso ou perto dele. Ele lê movimento melhor que os codificadores abertos com que a Meta o compara; ainda não entende física como uma criança entende.
Onde ele se destaca
Um pesquisador de robótica com um braço Franka e uma única câmera RGB
Fazer alcançar, pegar e pegar e colocar funcionarem num laboratório novo sem coletar dados da tarefa
Carregue o V-JEPA 2-AC pelo PyTorch Hub, dê a ele uma foto de objetivo e deixe-o pontuar movimentos candidatos a cada passo. A Meta relata de 60% a 80% de sucesso em tarefas com xícara sem treino no local; reserve tempo para achar uma posição de câmera que funcione, como a própria equipe da Meta precisou fazer.
Um engenheiro de ML numa empresa de análise esportiva com 10.000 clipes rotulados
Classificar movimentos finos, como tipos de salto ornamental ou de tackle
Congele um codificador V-JEPA 2 e treine só uma sonda de atenção sobre suas características, o método com que a Meta chegou a 90,2% no Diving48. A Meta publica checkpoints e configurações de sondas para SSv2, Diving48 e Epic-Kitchens, então a primeira linha de base é uma mudança de configuração.
Uma equipe de produto numa startup de óculos inteligentes ou câmeras domésticas
Antecipar o que uma pessoa vai fazer em vídeo em primeira pessoa
Use como codificador o V-JEPA 2.1, cujo artigo relata 40,8 de recall at 5 na antecipa ção de ações do Epic-Kitchens, e treine uma cabeça leve com suas próprias gravações. Os termos MIT e Apache não têm nenhuma das restrições de uso das licenças próprias da Meta para o DINOv3 e o Sapiens2.
Antes de decidir
- Configuração
- Instale o repositório do GitHub com pip no Python 3.12, ou carregue o V-JEPA 2 com AutoModel e AutoVideoProcessor do Transformers; o V-JEPA 2.1 e o V-JEPA 2-AC carregam pelo PyTorch Hub ou por download direto dos checkpoints. Um notebook de demonstração classifica um vídeo de exemplo.
- Integrações
- Hugging Face Transformers (só V-JEPA 2), PyTorch Hub, timm e einops; o treino de sondas roda localmente ou em clusters SLURM. O artigo da Meta alinha o codificador a um modelo de linguagem de 8B para responder perguntas sobre vídeo.
- Dados e privacidade
- Auto-hospedado, o vídeo fica no seu hardware. O código é MIT, com três arquivos sob Apache 2.0; os pesos no Hugging Face aparecem como MIT ou Apache 2.0, sem cadastro prévio e sem restrições de uso além da licença.
- Custo em escala
- Os codificadores vão de 80M a 2B parâmetros, então o maior cabe numa GPU de data center; os 16 segundos por ação planejada da Meta foram medidos no hardware dela. Pré-treinar do zero está fora do alcance da maioria das equipes: a Meta estima cerca de 60 GPU-anos para o ViT-g em clipes de 64 quadros a 384 pixels.
- Limites
- Clipes de até 64 quadros, cerca de 16 segundos de previsão; planejar com uma única imagem de objetivo só cobre tarefas curtas. Os resultados são autodeclarados, e no IntPhys 2 os modelos de vídeo atuais, V-JEPA 2 incluído, ficam no nível do acaso ou perto dele, enquanto pessoas acertam quase tudo.
O que é bom
- 77,3% no Something-Something v2 contra 69,7% do InternVideo2-1B (Meta)
- Planeja cada ação do robô em 16 segundos, contra 4 minutos do Cosmos (Meta)
- Licença permissiva: código MIT, pesos MIT ou Apache 2.0 no Hugging Face
- O V-JEPA 2.1 acrescenta características densas por trecho para profundidade e rastreamento
O que não é
- Entrega características, não respostas; cada tarefa precisa de uma sonda ou cabeça treinada
- O planejamento robótico exige subobjetivos em tarefas longas e uma câmera bem posicionada
- Os pesos do V-JEPA 2.1 não estão no Hugging Face nem no Transformers
- O carregador de vídeo depende do decord, que não é mais mantido e não roda no macOS
Ideal para
Pesquisadores de robótica e de ML de vídeo que precisam de um codificador de vídeo congelado e com licença permissiva para reconhecer ações, antecipá-las ou planejar a partir de imagens de objetivo.
Alternativas ao V-JEPA 2 and V-JEPA 2.1
V-JEPA 2 and V-JEPA 2.1: perguntas frequentes
- V-JEPA 2 and V-JEPA 2.1 vale a pena?
- O V-JEPA 2 é o codificador de vídeo aberto a ser batido em movimento e planejamento robótico, mas ele entrega características e um código de pesquisa, não um produto pronto. Damos nota 4.2 de 5.
- Quanto custa V-JEPA 2 and V-JEPA 2.1?
- Gratuito. Código sob MIT; pesos liberados para uso comercial e de pesquisa, com fichas no Hugging Face indicando MIT ou Apache 2.0. A Meta não oferece API hospedada.
- Quais são as desvantagens de V-JEPA 2 and V-JEPA 2.1?
- Entrega características, não respostas; cada tarefa precisa de uma sonda ou cabeça treinada; o planejamento robótico exige subobjetivos em tarefas longas e uma câmera bem posicionada; os pesos do V-JEPA 2.1 não estão no Hugging Face nem no Transformers; o carregador de vídeo depende do decord, que não é mais mantido e não roda no macOS.
- Para quem V-JEPA 2 and V-JEPA 2.1 é indicado?
- Pesquisadores de robótica e de ML de vídeo que precisam de um codificador de vídeo congelado e com licença permissiva para reconhecer ações, antecipá-las ou planejar a partir de imagens de objetivo.
- Quanto custa V-JEPA 2 and V-JEPA 2.1 para uma equipe ou em produção?
- Os codificadores vão de 80M a 2B parâmetros, então o maior cabe numa GPU de data center; os 16 segundos por ação planejada da Meta foram medidos no hardware dela. Pré-treinar do zero está fora do alcance da maioria das equipes: a Meta estima cerca de 60 GPU-anos para o ViT-g em clipes de 64 quadros a 384 pixels.
- V-JEPA 2 and V-JEPA 2.1 é seguro para dados da empresa?
- Auto-hospedado, o vídeo fica no seu hardware. O código é MIT, com três arquivos sob Apache 2.0; os pesos no Hugging Face aparecem como MIT ou Apache 2.0, sem cadastro prévio e sem restrições de uso além da licença.
- Quais são as melhores alternativas ao V-JEPA 2 and V-JEPA 2.1?
- As alternativas mais próximas que analisamos são DINOv3, Genie 4, Molmo2-8B e HY-World 2.0.
Respostas verificadas em 9 de nov. de 2026.
Você faz o V-JEPA 2 and V-JEPA 2.1? Mostre esta nota no seu site
