Sapiens2의 개요
Sapiens2는 사람 이미지 전용으로 만든 Meta의 두 번째 비전 모델 제품군으로, 2026년 4월 24일 공개되어 ICLR 2026에 채택됐습니다. 백본은 약 40억 장의 후보에서 골라낸 사람 이미지 10억 장으로 사전학습됐으며, 0.1B, 0.4B, 0.8B, 1B, 5B 크기와 4096×3072픽셀로 학습한 1B 변형이 있습니다. 기본 입력 해상도는 1024×768픽셀입니다.
그 위에 작업 모델 다섯 개가 얹힙니다. 자세 추정은 사람마다 키포인트 308개를 찾는데, 그중 274개가 얼굴이고 손과 발도 포함됩니다. 신체 부위 분할은 29개 부위를 구분합니다. 표면 법선과 포인트맵 모델은 모든 픽셀의 형태와 3D 위치를 추정하고, 2026년 5월 15일 추가된 1B 매팅 모델은 부드러운 알파 경계로 사람을 오려 냅니다. 자세, 분할, 법선, 포인트맵은 0.4B, 0.8B, 1B, 5B 크기로 나옵니다.
2024년의 첫 Sapiens를 대체하며 공통 작업 모두에서 크게 향상됐고, 학습 방식은 DINOv3에서 가져왔습니다. 가중치는 승인 절차 없이 내려받을 수 있지만, Meta 자체 조건인 Sapiens2 License를 따르며, Meta의 다른 비전 라이선스에 있는 군사·ITAR 제외에 더해 생체 정보 처리, 감시, 딥페이크를 금지합니다.
Sapiens2, 쓸 만한 가치가 있습니까?
Sapiens2는 사람이 관련된 일이라면 전작과 범용 백본 모두를 확실히 앞섭니다. 논문에서 5B 모델은 308개 키포인트 자세 추정에서 82.3 mAP로 첫 Sapiens-2B의 78.3을, 29개 클래스 신체 부위 분할에서 82.5 mIoU로 58.2를 앞섭니다. 표면 법선 오차 는 평균 12.38도에서 6.73도로 줄었고, 0.4B 모델조차 8.63으로 가장 강한 외부 기준 모델 DAViD-L의 10.73을 이깁니다. 모두 저자들의 테스트셋에서 낸 자체 보고 수치입니다.
자신이 배운 범용 모델도 이깁니다. 백본을 고정하고 가벼운 헤드만 학습시켰을 때 Sapiens2-5B는 자세에서 74.7 mAP로 DINOv3-7B의 68.2를, 분할에서 69.6 mIoU로 67.6을 앞서며, 크기는 더 작습니다. 사람만 다루는 팀이라면 DINOv3보다 Sapiens2에서 얻는 것이 많지만, 자동차나 선반이나 작물도 다뤄야 하는 팀은 그렇지 않습니다.
각 부품은 단일 모델보다는 도구 상자처럼 맞물립니다. 자세 추정은 하향식이라 먼저 사람 검출기가 필요하며, 저장소는 Meta의 DETR ResNet-101을 안내합니다. 작업마다 체크포인트가 따로라서 자세, 마스크, 법선을 모두 원하는 파이프라인은 모델 세 개를 돌립니다. 매팅 모델은 1B만 있고, 4K 백본은 작업 헤드 없이 사전학습 모델로만 공개됐습니다. 논문에는 속도 수치가 없고, 5B 모델은 이미지 한 장에 약 15.7조 번의 연산이 듭니다.
벤치마크보다 라이선스가 더 많은 것을 결정합니다. Sapiens2 License는 흔한 군사·ITAR 제외에 더해 감시, 생체 정보 처리, 개인 재식별, 딥페이크, 동의 없는 건강·인구통계 정보 추론을 금지하고, Meta가 이용 현황을 감사하고 사본 삭제를 명령할 수 있게 합니다. 피트니스 앱이나 가상 피팅을 위한 자세 추적은 아마 이 범위 안에 들겠지만, 개인을 알아보거나 프로파일링하는 것은 그렇지 않으며, 어디부터가 "생체 정보 처리"인지는 법률 자문에 물어야 할 문제입니다.
제 역할을 하는 곳
가상 피팅 스타트업의 그래픽스 엔지니어
고객 사진 한 장에서 체형과 정밀한 신체 부위 마스크 얻기
업로드마다 분할과 포인트맵 체크포인트를 돌려, 옷을 맞출 29개 부위 라벨과 픽셀별 3D 위치를 얻습니다. Meta는 5B 모델의 분할 성능을 82.5 mIoU로 보고하며, 1B가 더 저렴한 출발점입니다.
피트니스 코칭 앱의 컴퓨터 비전 리드
손발 위치까지 포함해 영상으로 운동 자세 채점하기
DETR로 사람을 검출한 뒤 Sapiens2 자세 모델로 프레임마다 키포인트 308개를 얻습니다. 출시 전에 자세 채점이 라이선스의 생체 정보 처리 금지에 해당하지 않는지 법무팀의 확인을 받으세요.
12명 규모 후반 작업 스튜디오의 VFX 아티스트
그린 스크린 없이 배우의 깔끔한 매트 따기
프레임마다 알파 매트와 전경을 돌려주는 1B 매팅 모델을 손 보정 전 1차 작업으로 씁니다. 데모 Space에서 로컬 설치 없이 결과를 볼 수 있으며, 라이선스의 딥페이크 금지 때문에 얼굴 바꾸기 작업에는 쓸 수 없습니다.
도입 전 확인할 점
- 설정
- GitHub 저장소를 클론해 Python 3.12 이상, PyTorch 2.7 이상에서 pip로 설치하고, Hugging Face에서 체크포인트를 내려받아 데모 스크립트를 실행합니다. 자세 추정에는 DETR ResNet-101 검출기도 필요합니다. 백본만은 독립된 파이썬 파일 하나로 불러올 수 있습니다.
- 연동
- 자세, 분할, 법선, 포인트맵, 매팅용 Hugging Face Spaces 데모, 작업별 학습 스크립트, OpenMMLab과 Accelerate 기반. Transformers 통합은 없습니다.
- 데이터와 개인정보
- 자체 호스팅이므로 이미지는 자기 하드웨어에 머뭅니다. Sapiens2 License는 감시, 생체 정보 처리, 재식별, 딥페이크, 동의 없는 민감 정보 추론을 금지하고, GDPR, CCPA, 생체 정보 관련 법률 준수를 요구하며, Meta가 이용을 감사하고 삭제를 요구할 수 있게 합니다.
- 대규모 사용 시 비용
- 우리 계산으로 1B 작업 모델은 16비트에서 가중치가 약 3 GB, 5B는 약 10 GB이므로 어느 쪽이든 데이터센터 GPU 한 장이면 됩니다. 데모 스크립트 기본값은 GPU 여덟 장에서 GPU당 작업 두 개입니다. Meta는 처리량 수치를 공개하지 않습니다.
- 제한
- 1024×768픽셀로 학습했으며, 4K 백본에는 공개된 작업 헤드가 없습니다. 자세 추정은 하향식이라 사람 검출기가 놓친 곳에 서는 실패합니다. 결과는 자체 보고이며, 논문은 한계를 밝히지 않습니다.
좋은 점
- 308개 키포인트 자세에서 82.3 mAP, Sapiens-2B 대비 +4(Meta)
- 29개 신체 부위 분할에서 82.5 mIoU, Sapiens-2B는 58.2(Meta)
- 3D 포인트맵과 매팅을 포함한 다섯 가지 작업을 한 백본 제품군에서
- 승인 절차 없음, 단일 파일 백본은 torch와 safetensors만 있으면 됨
아쉬운 점
- 라이선스가 생체 정보 처리와 감시를 금지하고 Meta의 감사를 허용
- 사람 전용이라 물체나 장면에는 쓸 수 없음
- 자세 추정에 별도 사람 검출기가 필요하고 작업마다 체크포인트가 따로
- 지연 시간 수치 미공개, 5B 모델은 이미지당 약 15.7 TFLOPs
추천 대상
사진과 영상 프레임 속 사람에 대해 고해상도의 밀집 자세, 신체 부위 마스크, 3D 형태가 필요한 그래픽 스, AR, 피트니스 팀.
Sapiens2 대안
Sapiens2: 자주 묻는 질문
- Sapiens2, 쓸 만한 가치가 있습니까?
- Sapiens2는 사진 속 사람의 몸을 읽어 내는 가장 정밀한 오픈 모델이지만, 라이선스가 엄격해 당장 떠오르는 제품 상당수는 먼저 변호사를 거쳐야 합니다. 평점은 5점 만점에 4.1점입니다.
- Sapiens2의 가격은 얼마입니까?
- Sapiens2 License로 무료, 승인 절차 없음. 감시, 생체 정보 처리, 재식별, 딥페이크, 군사 및 ITAR 관련 용도를 금지하며 Meta의 준수 여부 감사를 허용합니다. 호스팅 API는 없습니다.
- Sapiens2의 단점은 무엇입니까?
- 라이선스가 생체 정보 처리와 감시를 금지하고 Meta의 감사를 허용; 사람 전용이라 물체나 장면에는 쓸 수 없음; 자세 추정에 별도 사람 검출기가 필요하고 작업마다 체크포인트가 따로; 지연 시간 수치 미공개, 5B 모델은 이미지당 약 15.7 TFLOPs.
- Sapiens2에 적합한 사람은 누구입니까?
- 사진과 영상 프레임 속 사람에 대해 고해상도의 밀집 자세, 신체 부위 마스크, 3D 형태가 필요한 그래픽스, AR, 피트니스 팀.
- 팀이나 프로덕션 환경에서 Sapiens2의 비용은 얼마입니까?
- 우리 계산으로 1B 작업 모델은 16비트에서 가중치가 약 3 GB, 5B는 약 10 GB이므로 어느 쪽이든 데이터센터 GPU 한 장이면 됩니다. 데모 스크립트 기본값은 GPU 여덟 장에서 GPU당 작업 두 개입니다. Meta는 처리량 수치를 공개하지 않습니다.
- Sapiens2에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 이미지는 자기 하드웨어에 머뭅니다. Sapiens2 License는 감시, 생체 정보 처리, 재식별, 딥페이크, 동의 없는 민감 정보 추론을 금지하고, GDPR, CCPA, 생체 정보 관련 법률 준수를 요구하며, Meta가 이용을 감사하고 삭제를 요구할 수 있게 합니다.
- Sapiens2의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 SAM 3 (Segment Anything Model 3), DINOv3 및 V-JEPA 2 and V-JEPA 2.1입니다.
답변 확인일: 2026년 11월 9일.
Sapiens2 개발사입니까? 이 평점을 사이트에 표시하십시오
