Sapiens2とは？
Sapiens2は、人物の画像専用に作られたMetaの2代目のビジョンモデルファミリーで、2026年4月24日に公開され、ICLR 2026に採択されました。バックボーンは約40億枚の候補から選別した10億枚の人物画像で事前学習され、0.1B、0.4B、0.8B、1B、5Bのサイズに加え、4096×3072ピクセルで学習した1Bの派生モデルがあります。ネイティブの入力解像度は1024×768ピクセルです。
その上に5つのタスクモデルが載ります。姿勢推定は1人あたり308のキーポイントを求め、そのうち274点が顔で、手と足も含みます。身体部位セグメンテーションは29の部位を区別します。表面法線とポイントマップのモデルは各ピクセルの形状と3D位置を推定し、2026年5月15日に追加された1Bのマッティングモデルは柔らかいアルファの縁で人物を切り抜きます。姿勢、セグメンテーション、法線、ポイントマップは0.4B、0.8B、1B、5Bのサイズがあります。
2024年の初代Sapiensを置き換えるもので、共通するすべてのタスクで大きく向上しており、学習方式はDINOv3から取り入れています。重みは利用申請なしでダウンロードできますが、Meta独自の条件 であるSapiens2 Licenseの下にあり、Metaのほかのビジョン用ライセンスにある軍事とITARの除外に加えて、生体情報の処理、監視、ディープフェイクを禁じています。
Sapiens2は使う価値があるか？
Sapiens2は、人物が関わることなら、先代にも汎用バックボーンにもはっきり差をつけています。論文では、5Bモデルが308キーポイントの姿勢推定で82.3 mAPと初代Sapiens-2Bの78.3を上回り、29クラスの身体部位セグメンテーションでは82.5 mIoUと58.2を大きく上回ります。表面法線の誤差は平均12.38度から6.73度に下がり、0.4Bモデルですら8.63で、外部の最強ベースラインDAViD-Lの10.73を上回ります。いずれも著者のテストセットでの自己申告です。
学習の手本にした汎用モデルにも勝ちます。バックボーンを凍結して軽いヘッドだけを学習させた場合、Sapiens2-5Bは姿勢で74.7 mAPとDINOv3-7Bの68.2を、セグメンテーションで69.6 mIoUと67.6を上回り、しかもサイズは小さいのです。人物だけを扱うチームならDINOv3よりSapiens2から多くを得られますが、車や棚や作物も必要なチームはそうではありません。
各部品は単一のモデルというより道具箱のように組み合わさります。姿勢推定はトップダウン方式なので、まず人物検出器が必要で、リポジトリはMetaのDETR ResNet-101を案内しています。タスクごとに別のチェックポイントなので、姿勢、マスク、法線をすべて求めるパイプラインは3つのモデルを動かすことになります。マッティングモデルは1Bのみで、4Kバックボーンはタスクヘッドなしの事前学習モデルとして公開されています。論文に速度の数字はなく、5Bモデルは画像1枚あたり約15.7兆回の演算を 要します。
ベンチマーク以上に重いのがライセンスです。Sapiens2 Licenseは、いつもの軍事とITARの除外に加えて、監視、生体情報の処理、人物の再識別、ディープフェイク、同意のない健康・人口統計データの推定を禁じ、Metaが利用状況を監査してコピーの削除を命じることを認めています。フィットネスアプリやバーチャル試着のための姿勢追跡はおそらくこの範囲内に収まりますが、個人を認識したりプロファイリングしたりするものは収まりません。どこからが「生体情報の処理」かは、法律の専門家に確認すべき問題です。
真価を発揮する場面
バーチャル試着スタートアップのグラフィックスエンジニア
顧客の写真1枚から体形と正確な身体部位マスクを得る
アップロードごとにセグメンテーションとポイントマップのチェックポイントを動かし、衣服を合わせるための29の部位ラベルとピクセルごとの3D位置を得ます。Metaは5Bモデルのセグメンテーションで82.5 mIoUを報告しており、1Bがより安価な出発点です。
フィットネスコーチングアプリのコンピュータービジョン責任者
手と足の位置も含め、動画からエクササイズのフォームを採点する
DETRで人物を検出し、続 いてSapiens2の姿勢推定でフレームごとに308キーポイントを得ます。公開前に、フォームの採点がライセンスの生体情報処理の禁止に当たらないことを法務に確認してもらってください。
12人のポストプロダクションスタジオのVFXアーティスト
グリーンバックなしで俳優のきれいなマットを抜く
フレームごとにアルファマットと前景を返す1Bのマッティングモデルを、手作業の仕上げ前の一次処理に使います。デモのSpaceでローカルに何も入れずに結果を確認できます。ライセンスのディープフェイク禁止により、顔の入れ替えには使えません。
導入前に確認すること
- 導入
- GitHubリポジトリをクローンし、Python 3.12以降とPyTorch 2.7以降でpipインストールし、Hugging Faceからチェックポイントをダウンロードしてデモスクリプトを実行します。姿勢推定にはDETR ResNet-101検出器も必要です。バックボーンだけなら独立した1つのPythonファイルから読み込めます。
- 連携
- 姿勢、セグメンテーション、法線、ポイントマップ、マッティングのHugging Face Spacesデモ。各タスクの学習スクリプト。OpenMMLabとAccelerateの上に構築。Transformersとの統合は ありません。
- データとプライバシー
- セルフホストなので、画像は自分のハードウェアにとどまります。Sapiens2 Licenseは監視、生体情報の処理、再識別、ディープフェイク、同意のない機微データの推定を禁じ、GDPR、CCPA、生体情報に関する法律の遵守を求め、Metaが利用を監査し削除を求めることを認めています。
- 大規模利用時のコスト
- 私たちの計算では、1Bのタスクモデルは16ビットで重みが約3 GB、5Bは約10 GBなので、どちらもデータセンター向けGPU 1基で動きます。デモスクリプトの既定は8基のGPUでGPUあたり2ジョブです。Metaはスループットの数字を公開していません。
- 制限
- 学習解像度は1024×768ピクセルで、4Kバックボーンにはタスクヘッドが公開されていません。姿勢推定はトップダウン方式で、人物検出器が見落とした場所では失敗します。結果は自己申告で、論文は限界を述べていません。
良い点
- 308キーポイントの姿勢で82.3 mAP、Sapiens-2Bより+4(Meta)
- 29部位の身体セグメンテーションで82.5 mIoU、Sapiens-2Bは58.2(Meta)
- 3Dポイントマップとマッティングを含む5つのタスクを1つのバックボーン系列で
- 利用申請不要。単一ファイルのバックボーンはtorchとsafetensorsだけで動く
気になる点
- ライセンスが生体情報の処理と監視を禁じ、Metaによる監査を認める
- 人物専用で、物体やシーンには使えない
- 姿勢には別の人物検出器が必要で、タスクごとにチェックポイントが別
- 遅延の数字は非公開で、5Bモデルは画像1枚あたり約15.7 TFLOPs
おすすめの人
写真や動画フレームの人物について、高解像度で密な姿勢、身体部位マスク、3D形状を必要とするグラフィックス、AR、フィットネスのチーム。
Sapiens2の代替
Sapiens2：よくある質問
- Sapiens2は使う価値があるか？
- Sapiens2は写真の中の人体を読み取るオープンモデルとして最も精細ですが、ライセンスが厳しく、すぐ思いつく製品の多くはまず弁護士に相談が必要です。 評価は5点満点中4.1点です。
- Sapiens2の料金は？
- Sapiens2 Licenseの下で無料、利用申請は不要。監視、生体情報の処理、再識別、ディープフェイク、軍事とITARに関わる用途を禁じ、Metaによる遵守状況の監査を認めます。ホスト型APIはありません。
- Sapiens2の欠点は？
- ラ イセンスが生体情報の処理と監視を禁じ、Metaによる監査を認める; 人物専用で、物体やシーンには使えない; 姿勢には別の人物検出器が必要で、タスクごとにチェックポイントが別; 遅延の数字は非公開で、5Bモデルは画像1枚あたり約15.7 TFLOPs.
- Sapiens2は誰に向いているか？
- 写真や動画フレームの人物について、高解像度で密な姿勢、身体部位マスク、3D形状を必要とするグラフィックス、AR、フィットネスのチーム。
- チームや本番環境でSapiens2を使うと費用はいくらか？
- 私たちの計算では、1Bのタスクモデルは16ビットで重みが約3 GB、5Bは約10 GBなので、どちらもデータセンター向けGPU 1基で動きます。デモスクリプトの既定は8基のGPUでGPUあたり2ジョブです。Metaはスループットの数字を公開していません。
- Sapiens2は企業データを扱っても安全か？
- セルフホストなので、画像は自分のハードウェアにとどまります。Sapiens2 Licenseは監視、生体情報の処理、再識別、ディープフェイク、同意のない機微データの推定を禁じ、GDPR、CCPA、生体情報に関する法律の遵守を求め、Metaが利用を監査し削除を求めることを認めています。
- Sapiens2の代わりになるものは？
- 当サイトでレビューした中で最も近い代替はSAM 3 (Segment Anything Model 3), DINOv3 、 V-JEPA 2 and V-JEPA 2.1です。
回答確認日：2026 年11月9日
Sapiens2の開発元の方へ：この評価をサイトに掲載できます
