Qu’est-ce que Sapiens2 ?
Sapiens2 est la deuxième famille de modèles de vision de Meta conçue uniquement pour les images de personnes, publiée le 24 avril 2026 et acceptée à l'ICLR 2026. Les backbones ont été préentraînés sur un ensemble sélectionné d'1 milliard d'images de personnes, filtrées dans un fonds d'environ 4 milliards, et existent en 0,1B, 0,4B, 0,8B, 1B et 5B, plus une variante 1B entraînée en 4096 par 3072 pixels. Ils traitent nativement des images de 1024 par 768 pixels.
Par-dessus viennent cinq modèles de tâche. L'estimation de pose trouve 308 points clés par personne, dont 274 sur le visage, plus les mains et les pieds. La segmentation des parties du corps en distingue 29. Les modèles de normales de surface et de pointmaps estiment la forme et la position 3D de chaque pixel, et un modèle de détourage de 1B, ajouté le 15 mai 2026, découpe une personne avec un bord alpha doux. Pose, segmentation, normales et pointmaps existent en 0,4B, 0,8B, 1B et 5B.
Il remplace le Sapiens d'origine de 2024, avec de gros gains sur chaque tâche commune, et reprend son schéma d'entraînement de DINOv3. Les poids se téléchargent sans inscription, mais sous la Sapiens2 License, des conditions maison de Meta qui interdisent le traitement biométrique, la surveillance et les deepfakes en plus des exclusions militaires et ITAR des autres licences de vision de Meta.
Sapiens2 vaut-il le coup ?
Sapiens2 marque un net progrès sur son prédécesseur et sur les backbones généralistes pour tout ce qui concerne les personnes. Dans l'article, le modèle de 5B atteint 82,3 mAP en estimation de pose à 308 points clés contre 78,3 pour le Sapiens-2B d'origine, et 82,5 mIoU en segmentation de 29 parties du corps contre 58,2. L'erreur sur les normales de surface passe en moyenne de 12,38 à 6,73 degrés, et même le modèle de 0,4B, à 8,63, bat la meilleure référence externe, DAViD-L, à 10,73. Tout est autodéclaré, sur les jeux de test des auteurs.
Il bat aussi le modèle généraliste dont il s'inspire. Backbone figé et simple tête légère entraînée, Sapiens2-5B obtient 74,7 mAP en pose contre 68,2 pour DINOv3-7B et 69,6 mIoU en segmentation contre 67,6, alors qu'il est plus petit. Une équipe qui ne s'intéresse qu'aux personnes tirera plus de Sapiens2 que de DINOv3 ; une équipe qui doit aussi traiter des voitures, des rayonnages ou des cultures, non.
Les éléments forment une boîte à outils plutôt qu'un modèle unique. La pose est descendante, elle exige donc d'abord un détecteur de personnes ; le dépôt renvoie au DETR ResNet-101 de Meta. Chaque tâche est un checkpoint distinct, si bien qu'une chaîne qui veut pose, masques et normales fait tourner trois modèles. Le modèle de détourage n'existe qu'en 1B, et le backbone 4K est publié comme modèle préentraîné sans tête de tâche. L'article ne donne aucun chiffre de vitesse, et le modèle de 5B coûte environ 15,7 billions d'opérations par image.
La licence pèse plus que les benchmarks. Au-delà des exclusions militaires et ITAR habituelles, la Sapiens2 License interdit la surveillance, le traitement biométrique, la réidentification de personnes, les deepfakes et la déduction de données de santé ou démographiques sans consentement, et permet à Meta d'auditer votre usage et d'exiger la suppression des copies. Le suivi de pose pour une application de fitness ou l'essayage virtuel reste probablement dans ces limites ; tout ce qui reconnaît ou profile des individus en sort, et la frontière du "traitement biométrique" est une question pour votre juriste.
Là où il fait la différence
Un ingénieur graphique dans une start-up d'essayage virtuel
Obtenir la morphologie et des masques précis des parties du corps à partir d'une seule photo client
Faites tourner les checkpoints de segmentation et de pointmap sur chaque envoi pour obtenir 29 étiquettes de parties et des positions 3D par pixel sur lesquelles ajuster les vêtements. Meta annonce 82,5 mIoU en segmentation pour le modèle de 5B ; le 1B est le point de départ le moins cher.
Une responsable vision par ordinateur dans une application de coaching sportif
Noter l'exécution des exercices en vidéo, y compris la position des mains et des pieds
Détectez la personne avec DETR, puis lancez la pose Sapiens2 pour 308 points clés par image. Faites confirmer par un juriste, avant le lancement, que la notation de l'exécution échappe à l'interdiction du traitement biométrique prévue par la licence.
Une artiste VFX dans un studio de postproduction de 12 personnes
Obtenir des détourages propres d'acteurs sans fond vert
Utilisez le modèle de détourage de 1B, qui renvoie un masque alpha et le premier plan pour chaque image, en premier passage avant les retouches à la main. Le Space de démonstration montre les résultats avant toute installation locale ; l'interdiction des deepfakes dans la licence exclut l'échange de visages.
Avant de vous engager
- Mise en route
- Clonez le dépôt GitHub et installez-le avec pip sous Python 3.12+ et PyTorch 2.7+, téléchargez les checkpoints sur Hugging Face et lancez les scripts de démonstration ; la pose exige en plus le détecteur DETR ResNet-101. Le backbone seul se charge depuis un unique fichier Python autonome.
- Intégrations
- Démos Hugging Face Spaces pour la pose, la segmentation, les normales, les pointmaps et le détourage ; scripts d'entraînement pour chaque tâche ; construit sur OpenMMLab et Accelerate. Pas d'intégration à Transformers.
- Données et confidentialité
- Auto-hébergé, les images restent sur votre matériel. La Sapiens2 License interdit la surveillance, le traitement biométrique, la réidentification, les deepfakes et la déduction de données sensibles sans consentement, impose le respect du RGPD, du CCPA et des lois sur la biométrie, et permet à Meta d'auditer l'usage et d'exiger la suppression.
- Coût à grande échelle
- Les modèles de tâche de 1B pèsent environ 3 Go de poids en 16 bits et le 5B environ 10 Go, selon notre calcul, donc un GPU de centre de données suffit pour l'un ou l'autre ; les scripts de démonstration lancent par défaut deux tâches par GPU sur huit GPU. Meta ne publie aucun chiffre de débit.
- Limites
- Entraîné en 1024 par 768 pixels ; le backbone 4K n'a pas de tête de tâche publiée. La pose est descendante et échoue là où le détecteur de personnes se trompe. Les résultats sont autodéclarés, et l'article ne mentionne aucune limite.
Les points forts
- 82,3 mAP en pose à 308 points clés, +4 sur Sapiens-2B (Meta)
- 82,5 mIoU en segmentation de 29 parties du corps, contre 58,2 pour Sapiens-2B (Meta)
- Cinq tâches, dont pointmaps 3D et détourage, à partir d'une seule famille de backbones
- Sans inscription ; un backbone en un seul fichier ne demande que torch et safetensors
Les points faibles
- La licence interdit le traitement biométrique et la surveillance et autorise des audits de Meta
- Personnes uniquement ; inutilisable pour les objets ou les scènes
- La pose exige un détecteur de personnes séparé ; chaque tâche a son propre checkpoint
- Aucun chiffre de latence publié ; le modèle de 5B coûte environ 15,7 TFLOPs par image
Idéal pour
Équipes graphisme, RA et fitness qui ont besoin d'une pose dense en haute résolution, de masques de parties du corps ou de la forme 3D des personnes sur des photos et des images vidéo.
Alternatives à Sapiens2
Sapiens2 : questions fréquentes
- Sapiens2 vaut-il le coup ?
- Sapiens2 est le modèle ouvert le plus détaillé pour lire le corps humain sur une photo, sous une licence si stricte que beaucoup de produits évidents demandent d'abord un juriste. Nous lui donnons 4.1 sur 5.
- Combien coûte Sapiens2 ?
- Gratuit sous la Sapiens2 License ; sans inscription préalable. Interdit la surveillance, le traitement biométrique, la réidentification, les deepfakes et les usages militaires et liés à ITAR, et permet à Meta d'auditer la conformité. Pas d'API hébergée.
- Quels sont les inconvénients de Sapiens2 ?
- La licence interdit le traitement biométrique et la surveillance et autorise des audits de Meta; personnes uniquement ; inutilisable pour les objets ou les scènes; la pose exige un détecteur de personnes séparé ; chaque tâche a son propre checkpoint; aucun chiffre de latence publié ; le modèle de 5B coûte environ 15,7 TFLOPs par image.
- À qui s’adresse Sapiens2 ?
- Équipes graphisme, RA et fitness qui ont besoin d'une pose dense en haute résolution, de masques de parties du corps ou de la forme 3D des personnes sur des photos et des images vidéo.
- Combien coûte Sapiens2 pour une équipe ou en production ?
- Les modèles de tâche de 1B pèsent environ 3 Go de poids en 16 bits et le 5B environ 10 Go, selon notre calcul, donc un GPU de centre de données suffit pour l'un ou l'autre ; les scripts de démonstration lancent par défaut deux tâches par GPU sur huit GPU. Meta ne publie aucun chiffre de débit.
- Sapiens2 est-il sûr pour les données de l’entreprise ?
- Auto-hébergé, les images restent sur votre matériel. La Sapiens2 License interdit la surveillance, le traitement biométrique, la réidentification, les deepfakes et la déduction de données sensibles sans consentement, impose le respect du RGPD, du CCPA et des lois sur la biométrie, et permet à Meta d'auditer l'usage et d'exiger la suppression.
- Quelles sont les meilleures alternatives à Sapiens2 ?
- Les alternatives les plus proches que nous avons testées sont SAM 3 (Segment Anything Model 3), DINOv3 et V-JEPA 2 and V-JEPA 2.1.
Réponses vérifiées le 9 nov. 2026.
Vous éditez Sapiens2 ? Affichez cette note sur votre site
