O que é Sapiens2?
O Sapiens2 é a segunda família de modelos de visão da Meta feita só para imagens de pessoas, lançada em 24 de abril de 2026 e aceita na ICLR 2026. Os backbones foram pré-treinados com um conjunto curado de 1 bilhão de imagens de pessoas, filtradas de um acervo de cerca de 4 bilhões, e vêm nos tamanhos 0,1B, 0,4B, 0,8B, 1B e 5B, além de uma variante de 1B treinada em 4096 por 3072 pixels. Eles trabalham nativamente com imagens de 1024 por 768 pixels.
Por cima vêm cinco modelos de tarefa. A estimativa de pose encontra 308 pontos-chave por pessoa, 274 deles no rosto, além de mãos e pés. A segmentação de partes do corpo distingue 29 partes. Os modelos de normais de superfície e de pointmaps estimam a forma e a posição 3D de cada pixel, e um modelo de matting de 1B, adicionado em 15 de maio de 2026, recorta uma pessoa com borda alfa suave. Pose, segmentação, normais e pointmaps vêm nos tamanhos 0,4B, 0,8B, 1B e 5B.
Ele substitui o Sapiens original de 2024, com grandes ganhos em todas as tarefas em comum, e herda seu esquema de treino do DINOv3. Os pesos são baixados sem cadastro, mas sob a Sapiens2 License, termos próprios da Meta que proíbem processamento biométrico, vigilância e deepfakes, além das exclusões militares e de ITAR das outras licenças de visão da Meta.
Sapiens2 vale a pena?
O Sapiens2 é um avanço claro sobre o antecessor e sobre backbones gerais em tudo que envolve pessoas. No artigo, o modelo de 5B chega a 82,3 mAP na estimativa de pose com 308 pontos-chave, contra 78,3 do Sapiens-2B original, e a 82,5 mIoU na segmentação de 29 partes do corpo, contra 58,2. O erro das normais de superfície cai, em média, de 12,38 para 6,73 graus, e até o modelo de 0,4B, com 8,63, supera a referência externa mais forte, o DAViD-L, com 10,73. Tudo é autodeclarado, nos conjuntos de teste dos autores.
Ele também supera o modelo geral com que aprendeu. Com o backbone congelado e só uma cabeça leve treinada, o Sapiens2-5B marca 74,7 mAP em pose contra 68,2 do DINOv3-7B e 69,6 mIoU em segmentação contra 67,6, mesmo sendo menor. Uma equipe que só se importa com pessoas tira mais do Sapiens2 do que do DINOv3; uma que também precisa de carros, prateleiras ou lavouras, não.
As peças se encaixam mais como uma caixa de ferramentas do que como um modelo único. A pose é top-down, então precisa antes de um detector de pessoas; o repositório indica o DETR ResNet-101 da Meta. Cada tarefa é um checkpoint separado, de modo que um pipeline que queira pose, máscaras e normais roda três modelos. O modelo de matting só existe em 1B, e o backbone 4K sai como modelo pré-treinado sem cabeças de tarefa. O artigo não traz números de velocidade, e o modelo de 5B custa cerca de 15,7 trilhões de operações por imagem.
A licença decide mais que os benchmarks. Além das exclusões militares e de ITAR de sempre, a Sapiens2 License proíbe vigilância, processamento biométrico, reidentificar pessoas, deepfakes e inferir dados de saúde ou demográficos sem consentimento, e permite que a Meta audite seu uso e mande apagar cópias. Rastrear poses para um app de fitness ou para provador virtual provavelmente fica dentro desses limites; qualquer coisa que reconheça ou trace perfil de indivíduos fica fora, e onde começa o "processamento biométrico" é pergunta para o seu jurídico.
Onde ele se destaca
Um engenheiro de computação gráfica numa startup de provador virtual
Obter a forma do corpo e máscaras precisas das partes a partir de uma única foto do cliente
Rode os checkpoints de segmentação e de pointmap em cada envio para obter 29 rótulos de partes e posições 3D por pixel onde ajustar as roupas. A Meta relata 82,5 mIoU de segmentação para o modelo de 5B; o de 1B é o ponto de partida mais barato.
Uma líder de visão computacional num app de treino físico
Avaliar a execução de exercícios em vídeo, incluindo a posição de mãos e pés
Detecte a pessoa com DETR e depois rode a pose do Sapiens2 para obter 308 pontos-chave por quadro. Antes do lançamento, peça ao jurídico que confirme que avaliar a execução fica fora da proibição de processamento biométrico da licença.
Uma artista de VFX num estúdio de pós-produção de 12 pessoas
Tirar mattes limpos de atores sem fundo verde
Use o modelo de matting de 1B, que devolve um matte alfa e o primeiro plano por quadro, como primeira passada antes do acabamento à mão. O Space de demonstração mostra resultados antes de qualquer instalação local; a proibição de deepfakes da licença exclui troca de rostos.
Antes de decidir
- Configuração
- Clone o repositório do GitHub e instale com pip no Python 3.12+ e PyTorch 2.7+, baixe os checkpoints do Hugging Face e rode os scripts de demonstração; a pose também precisa do detector DETR ResNet-101. O backbone sozinho carrega de um único arquivo Python independente.
- Integrações
- Demos no Hugging Face Spaces para pose, segmentação, normais, pointmaps e matting; scripts de treino para cada tarefa; construído sobre OpenMMLab e Accelerate. Sem integração ao Transformers.
- Dados e privacidade
- Auto-hospedado, as imagens ficam no seu hardware. A Sapiens2 License proíbe vigilância, processamento biométrico, reidentificação, deepfakes e inferência de dados sensíveis sem consentimento, exige cumprir GDPR, CCPA e leis de biometria, e permite que a Meta audite o uso e exija a exclusão.
- Custo em escala
- Os modelos de tarefa de 1B ocupam cerca de 3 GB de pesos em 16 bits e o de 5B cerca de 10 GB, pela nossa conta, então uma GPU de data center atende qualquer um; os scripts de demonstração usam por padrão dois jobs por GPU em oito GPUs. A Meta não publica números de vazão.
- Limites
- Treinado em 1024 por 768 pixels; o backbone 4K não tem cabeças de tarefa publicadas. A pose é top-down e falha onde o detector de pessoas erra. Os resultados são autodeclarados, e o artigo não aponta limitações.
O que é bom
- 82,3 mAP em pose de 308 pontos-chave, +4 sobre o Sapiens-2B (Meta)
- 82,5 mIoU na segmentação de 29 partes do corpo, contra 58,2 do Sapiens-2B (Meta)
- Cinco tarefas, incluindo pointmaps 3D e matting, a partir de uma família de backbones
- Sem cadastro; um backbone em arquivo único só precisa de torch e safetensors
O que não é
- A licença proíbe processamento biométrico e vigilância e permite auditorias da Meta
- Só pessoas; não serve para objetos ou cenas
- A pose exige um detector de pessoas separado; cada tarefa tem seu próprio checkpoint
- Sem números de latência publicados; o modelo de 5B custa cerca de 15,7 TFLOPs por imagem
Ideal para
Equipes de computação gráfica, RA e fitness que precisam de pose densa em alta resolução, máscaras de partes do corpo ou forma 3D de pessoas em fotos e quadros de vídeo.
Alternativas ao Sapiens2
Sapiens2: perguntas frequentes
- Sapiens2 vale a pena?
- O Sapiens2 é o modelo aberto mais detalhado para ler corpos humanos numa foto, sob uma licença tão rígida que muitos dos produtos óbvios precisam antes de um advogado. Damos nota 4.1 de 5.
- Quanto custa Sapiens2?
- Gratuito sob a Sapiens2 License; sem cadastro. Proíbe vigilância, processamento biométrico, reidentificação, deepfakes e usos militares e ligados ao ITAR, e permite que a Meta audite o cumprimento. Sem API hospedada.
- Quais são as desvantagens de Sapiens2?
- A licença proíbe processamento biométrico e vigilância e permite auditorias da Meta; só pessoas; não serve para objetos ou cenas; a pose exige um detector de pessoas separado; cada tarefa tem seu próprio checkpoint; sem números de latência publicados; o modelo de 5B custa cerca de 15,7 TFLOPs por imagem.
- Para quem Sapiens2 é indicado?
- Equipes de computação gráfica, RA e fitness que precisam de pose densa em alta resolução, máscaras de partes do corpo ou forma 3D de pessoas em fotos e quadros de vídeo.
- Quanto custa Sapiens2 para uma equipe ou em produção?
- Os modelos de tarefa de 1B ocupam cerca de 3 GB de pesos em 16 bits e o de 5B cerca de 10 GB, pela nossa conta, então uma GPU de data center atende qualquer um; os scripts de demonstração usam por padrão dois jobs por GPU em oito GPUs. A Meta não publica números de vazão.
- Sapiens2 é seguro para dados da empresa?
- Auto-hospedado, as imagens ficam no seu hardware. A Sapiens2 License proíbe vigilância, processamento biométrico, reidentificação, deepfakes e inferência de dados sensíveis sem consentimento, exige cumprir GDPR, CCPA e leis de biometria, e permite que a Meta audite o uso e exija a exclusão.
- Quais são as melhores alternativas ao Sapiens2?
- As alternativas mais próximas que analisamos são SAM 3 (Segment Anything Model 3), DINOv3 e V-JEPA 2 and V-JEPA 2.1.
Respostas verificadas em 9 de nov. de 2026.
Você faz o Sapiens2? Mostre esta nota no seu site
