Was ist Sapiens2?
Sapiens2 ist Metas zweite Familie von Vision-Modellen, die nur für Bilder von Menschen gebaut sind, veröffentlicht am 24. April 2026 und für die ICLR 2026 angenommen. Die Backbones wurden mit einem kuratierten Satz von 1 Milliarde Menschenbildern vortrainiert, gefiltert aus einem Bestand von rund 4 Milliarden, und gibt es in den Größen 0,1B, 0,4B, 0,8B, 1B und 5B, dazu eine 1B-Variante, die mit 4096 x 3072 Pixeln trainiert wurde. Nativ verarbeiten sie Bilder mit 1024 x 768 Pixeln.
Darauf sitzen fünf Aufgabenmodelle. Die Posenschätzung findet 308 Keypoints pro Person, 274 davon im Gesicht, dazu Hände und Füße. Die Körperteilsegmentierung unterscheidet 29 Teile. Modelle für Oberflächennormalen und Pointmaps schätzen Form und 3D-Position jedes Pixels, und ein Matting-Modell mit 1B, ergänzt am 15. Mai 2026, schneidet eine Person mit weicher Alphakante frei. Pose, Segmentierung, Normalen und Pointmaps gibt es in den Größen 0,4B, 0,8B, 1B und 5B.
Es ersetzt das ursprüngliche Sapiens von 2024, mit großen Zugewinnen bei jeder gemeinsamen Aufgabe, und übernimmt sein Trainingsschema von DINOv3. Die Gewichte lassen sich ohne Zugangsschranke laden, stehen aber unter der Sapiens2 License, Metas eigenen Bedingungen, die zusätzlich zu den Ausschlüssen für Militär und ITAR aus Metas anderen Vision-Lizenzen biometrische Verarbeitung, Überwachung und Deepfakes verbieten.
Lohnt sich Sapiens2?
Sapiens2 ist ein klarer Schritt über seinen Vorgänger und über allgemeine Backbones hinaus, sobald es um Menschen geht. Im Paper erreicht das 5B-Modell bei der Posenschätzung mit 308 Keypoints 82,3 mAP gegenüber 78,3 für das ursprüngliche Sapiens-2B und bei der Körperteilsegmentierung mit 29 Klassen 82,5 mIoU gegenüber 58,2. Der Fehler der Oberflächennormalen sinkt im Mittel von 12,38 auf 6,73 Grad, und selbst das 0,4B-Modell schlägt mit 8,63 die stärkste externe Baseline, DAViD-L, mit 10,73. Alle Werte sind selbst gemeldet, auf den Testsätzen der Autoren.
Es schlägt auch das allgemeine Modell, von dem es gelernt hat. Mit eingefrorenem Backbone und nur einem leichten trainierten Head erzielt Sapiens2-5B bei Posen 74,7 mAP gegenüber 68,2 für DINOv3-7B und bei der Segmentierung 69,6 mIoU gegenüber 67,6, obwohl es kleiner ist. Ein Team, dem es nur um Menschen geht, bekommt von Sapiens2 mehr als von DINOv3; ein Team, das auch Autos, Regale oder Feldfrüchte braucht, nicht.
Die Teile fügen sich eher zu einem Werkzeugkasten als zu einem einzelnen Modell. Die Posenschätzung arbeitet top-down und braucht daher zuerst einen Personendetektor; das Repository verweist auf Metas DETR ResNet-101. Jede Aufgabe ist ein eigener Checkpoint, eine Pipeline für Pose, Masken und Normalen betreibt also drei Modelle. Das Matting-Modell gibt es nur mit 1B, und das 4K-Backbone ist als vortrainiertes Modell ohne Aufgaben-Heads veröffentlicht. Das Paper nennt keine Geschwindigkeitswerte, und das 5B-Modell kostet etwa 15,7 Billionen Operationen pro Bild.
Die Lizenz entscheidet mehr als die Benchmarks. Über die üblichen Ausschlüsse für Militär und ITAR hinaus verbietet die Sapiens2 License Überwachung, biometrische Verarbeitung, die Re-Identifizierung von Personen, Deepfakes und das Ableiten von Gesundheits- oder demografischen Daten ohne Einwilligung, und sie erlaubt Meta, deine Nutzung zu prüfen und die Löschung von Kopien anzuordnen. Posen-Tracking für eine Fitness-App oder virtuelle Anprobe liegt wahrscheinlich innerhalb dieser Grenzen; alles, was Einzelpersonen erkennt oder profiliert, nicht, und wo "biometrische Verarbeitung" beginnt, ist eine Frage für die Rechtsberatung.
Wo es sich lohnt
Ein Grafik-Engineer bei einem Startup für virtuelle Anprobe
Körperform und präzise Körperteilmasken aus einem einzigen Kundenfoto gewinnen
Lass die Checkpoints für Segmentierung und Pointmaps auf jedem Upload laufen, um 29 Teilelabels und 3D-Positionen pro Pixel zu erhalten, an die die Kleidung angepasst wird. Meta meldet 82,5 mIoU bei der Segmentierung für das 5B-Modell; das 1B ist der günstigere Einstieg.
Ein Computer-Vision-Lead bei einer Fitness-Coaching-App
Die Ausführung von Übungen per Video bewerten, einschließlich der Hand- und Fußposition
Erkenne die Person mit DETR und lass dann Sapiens2-Pose für 308 Keypoints pro Frame laufen. Lass vor dem Start juristisch bestätigen, dass die Bewertung der Ausführung nicht unter das Verbot biometrischer Verarbeitung in der Lizenz fällt.
Eine VFX-Artistin in einem Postproduktionsstudio mit 12 Leuten
Saubere Masken von Schauspielern ohne Greenscreen ziehen
Nutze das Matting-Modell mit 1B, das pro Frame eine Alphamaske und den Vordergrund liefert, als ersten Durchgang vor der Nacharbeit von Hand. Der Demo-Space zeigt Ergebnisse vor jeder lokalen Installation; das Deepfake-Verbot der Lizenz schließt Face-Swap-Arbeit aus.
Bevor du dich festlegst
- Einrichtung
- Das GitHub-Repo klonen und mit pip auf Python 3.12+ und PyTorch 2.7+ installieren, Checkpoints von Hugging Face laden und die Demo-Skripte starten; Posen brauchen zusätzlich den Detektor DETR ResNet-101. Das Backbone allein lädt aus einer eigenständigen Python-Datei.
- Integrationen
- Demos in Hugging Face Spaces für Pose, Segmentierung, Normalen, Pointmaps und Matting; Trainingsskripte für jede Aufgabe; aufgebaut auf OpenMMLab und Accelerate. Keine Integration in Transformers.
- Daten und Datenschutz
- Selbst gehostet bleiben Bilder auf deiner Hardware. Die Sapiens2 License verbietet Überwachung, biometrische Verarbeitung, Re-Identifizierung, Deepfakes und das Ableiten sensibler Daten ohne Einwilligung, verlangt die Einhaltung von DSGVO, CCPA und Biometriegesetzen und erlaubt Meta, die Nutzung zu prüfen und Löschung zu verlangen.
- Kosten im großen Maßstab
- Die 1B-Aufgabenmodelle haben nach unserer Rechnung bei 16 Bit etwa 3 GB Gewichte und das 5B etwa 10 GB, eine Rechenzentrums-GPU bedient also beide; die Demo-Skripte laufen standardmäßig mit zwei Jobs pro GPU auf acht GPUs. Meta veröffentlicht keine Durchsatzwerte.
- Grenzen
- Trainiert mit 1024 x 768 Pixeln; das 4K-Backbone hat keine veröffentlichten Aufgaben-Heads. Posen arbeiten top-down und scheitern, wo der Personendetektor danebenliegt. Die Ergebnisse sind selbst gemeldet, und das Paper nennt keine Grenzen.
Was gut ist
- 82,3 mAP bei Posen mit 308 Keypoints, +4 gegenüber Sapiens-2B (Meta)
- 82,5 mIoU bei der Segmentierung von 29 Körperteilen, gegenüber 58,2 für Sapiens-2B (Meta)
- Fünf Aufgaben, darunter 3D-Pointmaps und Matting, aus einer Backbone-Familie
- Keine Zugangsschranke; ein Backbone aus einer einzigen Datei braucht nur torch und safetensors
Was nicht
- Lizenz verbietet biometrische Verarbeitung und Überwachung und erlaubt Prüfungen durch Meta
- Nur Menschen; für Objekte oder Szenen nicht nutzbar
- Posen brauchen einen separaten Personendetektor; jede Aufgabe ist ein eigener Checkpoint
- Keine veröffentlichten Latenzwerte; das 5B-Modell kostet etwa 15,7 TFLOPs pro Bild
Am besten für
Teams aus Grafik, AR und Fitness, die dichte, hochauflösende Posen, Körperteilmasken oder 3D-Form für Menschen in Fotos und Videoframes brauchen.
Alternativen zu Sapiens2
Sapiens2: häufige Fragen
- Lohnt sich Sapiens2?
- Sapiens2 ist das detaillierteste offene Modell, um menschliche Körper auf einem Foto zu lesen, unter einer Lizenz, so streng, dass viele naheliegende Produkte zuerst einen Anwalt brauchen. Wir bewerten es mit 4.1 von 5.
- Was kostet Sapiens2?
- Kostenlos unter der Sapiens2 License; keine Zugangsschranke. Verbietet Überwachung, biometrische Verarbeitung, Re-Identifizierung, Deepfakes, militärische und ITAR-bezogene Nutzung und erlaubt Meta, die Einhaltung zu prüfen. Keine gehostete API.
- Welche Nachteile hat Sapiens2?
- Lizenz verbietet biometrische Verarbeitung und Überwachung und erlaubt Prüfungen durch Meta; Nur Menschen; für Objekte oder Szenen nicht nutzbar; Posen brauchen einen separaten Personendetektor; jede Aufgabe ist ein eigener Checkpoint; Keine veröffentlichten Latenzwerte; das 5B-Modell kostet etwa 15,7 TFLOPs pro Bild.
- Für wen eignet sich Sapiens2?
- Teams aus Grafik, AR und Fitness, die dichte, hochauflösende Posen, Körperteilmasken oder 3D-Form für Menschen in Fotos und Videoframes brauchen.
- Was kostet Sapiens2 für ein Team oder im Produktivbetrieb?
- Die 1B-Aufgabenmodelle haben nach unserer Rechnung bei 16 Bit etwa 3 GB Gewichte und das 5B etwa 10 GB, eine Rechenzentrums-GPU bedient also beide; die Demo-Skripte laufen standardmäßig mit zwei Jobs pro GPU auf acht GPUs. Meta veröffentlicht keine Durchsatzwerte.
- Ist Sapiens2 sicher für Firmendaten?
- Selbst gehostet bleiben Bilder auf deiner Hardware. Die Sapiens2 License verbietet Überwachung, biometrische Verarbeitung, Re-Identifizierung, Deepfakes und das Ableiten sensibler Daten ohne Einwilligung, verlangt die Einhaltung von DSGVO, CCPA und Biometriegesetzen und erlaubt Meta, die Nutzung zu prüfen und Löschung zu verlangen.
- Was sind die besten Alternativen zu Sapiens2?
- Die nächsten Alternativen, die wir getestet haben, sind SAM 3 (Segment Anything Model 3), DINOv3 und V-JEPA 2 and V-JEPA 2.1.
Antworten geprüft am 9. Nov. 2026.
Du entwickelst Sapiens2? Zeig diese Bewertung auf deiner Website
