ByteDance XVerse：1枚のAI画像で複数の被写体を制御するオープンソースモデル

多くの画像生成ツールに、特定の2人を1つの場面に描くよう頼むと、顔が混ざり合ったり、一人への変更がもう一人にまで及んだりしがちです。ByteDanceのCreative AIチームによるByteDance XVerseは、この問題を解決するために作られたテキストから画像を生成するモデルです。2025年6月に公開され、画像の一貫性ときれいさを保ちながら、被写体ごとのアイデンティティと、ポーズ、スタイル、照明などの属性を個別に制御できます。

仕組みとしては、画像の潜在表現を直接変えるのではなく、各参照画像を、テキストストリーム内のその被写体のトークンに加えるオフセットに変換します。実際には、一つの被写体を調整しても他の被写体には影響しないということです（arXiv論文、GitHubリポジトリ）。

できること

• 複数の被写体を同時に。1枚の画像の中で各被写体を独立して制御します。ベンチマークでは最大3つまで扱っています（プロジェクトページ）。これはDiffusion Transformers（DiT）向けの新しい変調手法に基づいています。
• アイデンティティを保つ。被写体は見分けがつき、互いに区別された状態を保ちます。これはFace ID SimilarityとDINOv2 Similarityで測定されています（arXiv論文）。アイデンティティの保持に使う画像の特徴はCLIPモデルがエンコードします。
• 被写体ごとの属性。ポーズ、スタイル、照明を被写体ごとに設定でき（Hugging Faceのモデル）、参照画像の詳しい説明はFlorence2が提供します。
• 画質。変分オートエンコーダー（VAE）でエンコードした特徴をFLUX.1モデルに入力し、細部を保ちつつアーティファクトを抑えます（プロジェクトページ）。
• トークン単位の変調により、他を乱さずに一つの被写体だけを編集できます（GitHubリポジトリ）。
• 24GBの一般向けGPUで動きます（GitHubリポジトリ）。
• 補助モデル：画像の説明にFlorence2、顔の抽出にSAM2、画像とテキストのエンコードにCLIP、細部にVAEを使います（arXiv論文）。

使い道

XVerseは新しい研究用モデルなので、以下は実証済みではなく、想定される使い道です。

• 広告：複数の商品やキャラクターを1つの場面に収め、それぞれをテキストの説明どおり正確に描きます（Hugging Faceのモデル）。
• ゲームと映画：複数のキャラクターがそれぞれの顔とポーズを保つ場面です。SAM2による顔の抽出が役立ちます（プロジェクトページ）。
• ファッション：仮想のモデルに服を着せ、ポーズとスタイルを個別に設定し、Florence2で画像を詳しいデザインの指示書に合わせます（arXiv論文）。
• 教育：教材用のオリジナルのイラストです（GitHubリポジトリ）。
• SNS：投稿用の複数の被写体が写った画像です。Gradioのインターフェースを試したユーザーは、最大6つの入力を受け付けると報告しています（Redditの投稿）。

うまくいく点

• 被写体同士が混ざりません。属性を絡ませずに複数の被写体を制御できるのは、複雑な場面にとって確かな前進です（arXiv論文）。
• VAEとFLUX.1の組み合わせにより、アーティファクトの少ないきれいな出力が得られます（プロジェクトページ）。
• 一度に一つの被写体だけを狙って編集できます（GitHubリポジトリ）。
• GitHubとHugging Faceで公開されているオープンソースです（Hugging Faceのモデル）。
• 公開ベンチマーク。XVerseBenchはさまざまな被写体を扱い、DPG ScoreやAesthetic Scoreなどの指標を報告しています（arXiv論文）。

Grok 4との違い

この2つは同じ週のニュースによく登場しましたが、役割は異なります。Grok 4は推論のために作られた大規模言語モデル（LLM）で、コーディングやリアルタイムのデータも扱い、256Kトークンのコンテキストウィンドウと、X（旧Twitter）との連携を備えています。XVerseは画像を作ります。長い文書の分析やコードの作成が必要ならGrok 4、特定の3人が写った場面が必要ならXVerseです。

注意点

• 遅い。1回の反復に約10秒かかり、28回反復するため、1枚の画像に数分かかります。リアルタイムの作業には向きません（Redditの投稿）。TensorRTのような最適化ツールが役立つかもしれません。
• 24GBのVRAMが必要で、多くの家庭用コンピューターの容量を上回ります（GitHubリポジトリ）。回避策はクラウドのGPUか圧縮したモデルです。
• 学習データが少ない。1枚に複数の被写体が写った大規模で高品質なデータセットは少なく、学習と評価の両方を制約しています。
• ピクセル単位の制御は未開拓。この手法はテキストストリーム上で動きます。画像そのものの変調は、より優れたセグメンテーションモデルを使うなどして、今後の研究課題とされています（arXiv論文）。

ベンチマーク結果

ByteDance自身のXVerseBenchでは、XVerseはテストされた他のモデルより高い点数を記録しました（arXiv論文）。

モデル	単一被写体の平均	複数被写体の平均	総合
MS-Diffusion	54.69	48.28	51.49
MIP-Adapter	62.81	54.49	58.65
OmniGen	72.57	61.48	67.03
UNO	68.47	59.59	64.03
OmniGen2	70.36	62.73	66.55
DreamO	74.46	64.04	69.25
XVerse	76.72	70.08	73.40

XVerseは単一被写体と複数被写体のどちらのタスクでも首位で、総合は73.40です。差が最も大きいのは複数の被写体を扱う場合で、まさにこのモデルが想定している用途です（arXiv論文）。MS-Diffusionのようなモデルは一貫性の面でより苦戦しています（プロジェクトページ）。OmniGenとDreamOも拡散モデルとTransformerを使っていますが、XVerseはトークン単位の変調により、編集をより細かく制御できます（Hugging Faceのモデル）。このベンチマークはByteDance自身のものである点に留意してください。

料金

XVerseは無料のオープンソースです。コードはApache 2.0ライセンス、データセットはCC0で、ByteDanceの知的財産権の対象となります（GitHubリポジトリ）。GitHubかHugging Faceからダウンロードできます。実際の費用はハードウェアです。24GBのVRAMを持つGPUか、AWSやGoogle Cloudなどのクラウドの利用時間が必要です。Hugging Faceのデモは無料で試せますが、そこで多く使うと費用がかかる場合があります（Hugging Faceのモデル）。

結論：画像に2人以上が写るなら、XVerseは注目すべき研究用モデルです。24GBのGPUがあり、1枚に数分かけられるなら、実際に動かす価値があります。日常的な画像生成には遅すぎ、要求も高すぎます。評価は4.5/5としました。