ByteDance XVerse : un modèle open source pour contrôler plusieurs sujets dans une même image IA

Demandez à la plupart des générateurs d'images deux personnes précises dans une même scène et vous obtenez souvent des visages qui se fondent l'un dans l'autre, ou une modification sur une personne qui déborde sur l'autre. ByteDance XVerse, conçu par l'équipe Creative AI de ByteDance, est un modèle texte-image construit pour régler ce problème. Publié en juin 2025, il donne un contrôle séparé sur l'identité de chaque sujet et sur des attributs comme la pose, le style et l'éclairage, tout en gardant une image cohérente et propre.

Il fonctionne en transformant chaque image de référence en un décalage appliqué aux tokens de ce sujet dans le flux de texte, au lieu de modifier directement les latents de l'image. En pratique, ajuster un sujet laisse les autres intacts (article arXiv ; dépôt GitHub).

Ce qu'il fait

• Plusieurs sujets à la fois. Chaque sujet est contrôlé indépendamment dans une seule image ; les benchmarks vont jusqu'à trois (page du projet). Cela repose sur une nouvelle méthode de modulation pour les Diffusion Transformers (DiT).
• Il préserve les identités. Les sujets restent reconnaissables et distincts, ce que mesurent Face ID Similarity et DINOv2 Similarity (article arXiv). Le modèle CLIP encode les caractéristiques d'image utilisées pour conserver l'identité.
• Des attributs par sujet. La pose, le style et l'éclairage peuvent être réglés pour chaque sujet (modèle Hugging Face), Florence2 fournissant des descriptions détaillées des images de référence.
• Qualité d'image. Des caractéristiques encodées par un autoencodeur variationnel (VAE) sont injectées dans le modèle FLUX.1 pour garder les détails fins et limiter les artefacts (page du projet).
• Il modifie un sujet à la fois, sans perturber le reste, grâce à la modulation propre à chaque token (dépôt GitHub).
• Il tourne sur un GPU grand public de 24GB (dépôt GitHub).
• Modèles d'appui : Florence2 pour les descriptions d'images, SAM2 pour extraire les visages, CLIP pour encoder images et texte, et le VAE pour les détails (article arXiv).

Où il pourrait servir

XVerse est un modèle de recherche récent : il s'agit donc d'usages probables plutôt que démontrés :

• Publicité : une scène avec plusieurs produits ou personnages, chacun représenté fidèlement à partir de sa description textuelle (modèle Hugging Face).
• Jeux et cinéma : des scènes avec plusieurs personnages qui gardent chacun leur visage et leur pose, avec l'aide de l'extraction de visages de SAM2 (page du projet).
• Mode : des vêtements sur des mannequins virtuels, avec la pose et le style réglés séparément et Florence2 faisant correspondre l'image à un cahier des charges détaillé (article arXiv).
• Éducation : des illustrations sur mesure pour des supports pédagogiques (dépôt GitHub).
• Réseaux sociaux : des images à plusieurs sujets pour des publications. Des utilisateurs qui testent l'interface Gradio indiquent qu'elle accepte jusqu'à six entrées (publication Reddit).

Ce qui fonctionne

• Les sujets ne déteignent pas les uns sur les autres. Contrôler plusieurs sujets sans que leurs attributs s'emmêlent est un vrai progrès pour les scènes complexes (article arXiv).
• Un résultat propre, avec peu d'artefacts, grâce à la combinaison du VAE et de FLUX.1 (page du projet).
• Des modifications ciblées sur un sujet à la fois (dépôt GitHub).
• Open source, sur GitHub et Hugging Face (modèle Hugging Face).
• Un benchmark public. XVerseBench couvre des sujets variés et rapporte des métriques comme le DPG Score et l'Aesthetic Score (article arXiv).

En quoi il diffère de Grok 4

Les deux apparaissaient souvent dans l'actualité de la même semaine, mais ne font pas le même travail. Grok 4 est un grand modèle de langage (LLM) conçu pour le raisonnement, la programmation et les données en direct, avec une fenêtre de contexte de 256K tokens et une connexion à X (anciennement Twitter). XVerse produit des images. S'il vous faut analyser de longs documents ou écrire du code, c'est Grok 4 qui convient ; s'il vous faut une scène avec trois personnes précises, c'est XVerse.

Le hic

• Il est lent. Une image prend plusieurs minutes, à environ 10 secondes par itération sur 28 itérations : il ne convient donc pas au temps réel (publication Reddit). Des outils d'optimisation comme TensorRT pourraient aider.
• Il exige 24GB de VRAM, plus que ce que possèdent beaucoup d'ordinateurs personnels (dépôt GitHub). Les GPU dans le cloud ou des modèles compressés permettent de contourner le problème.
• Les données d'entraînement sont rares. Il existe peu de grands jeux de données de qualité avec plusieurs sujets par image, ce qui limite à la fois l'entraînement et l'évaluation.
• Le contrôle au niveau du pixel reste inexploré. La méthode agit sur le flux de texte ; moduler l'image elle-même, peut-être avec de meilleurs modèles de segmentation, est laissé à des travaux futurs (article arXiv).

Résultats des benchmarks

Sur XVerseBench, le benchmark de ByteDance elle-même, XVerse a obtenu de meilleurs scores que les autres modèles testés (article arXiv) :

Modèle	Moyenne sujet unique	Moyenne multi-sujets	Global
MS-Diffusion	54,69	48,28	51,49
MIP-Adapter	62,81	54,49	58,65
OmniGen	72,57	61,48	67,03
UNO	68,47	59,59	64,03
OmniGen2	70,36	62,73	66,55
DreamO	74,46	64,04	69,25
XVerse	76,72	70,08	73,40

XVerse arrive en tête sur les tâches à sujet unique comme à plusieurs sujets, avec 73,40 au global ; son avance est la plus nette avec plusieurs sujets, le cas pour lequel il a été conçu (article arXiv). Des modèles comme MS-Diffusion ont plus de mal avec la cohérence (page du projet). OmniGen et DreamO utilisent aussi des modèles de diffusion et des transformers, mais la modulation par token de XVerse lui donne un contrôle plus fin des modifications (modèle Hugging Face). Gardez à l'esprit que le benchmark est celui de ByteDance.

Tarifs

XVerse est gratuit et open source : le code est sous licence Apache 2.0 et le jeu de données sous CC0, sous réserve des droits de propriété intellectuelle de ByteDance (dépôt GitHub). Vous pouvez le télécharger depuis GitHub ou Hugging Face. Le vrai coût est matériel : il vous faut un GPU avec 24GB de VRAM, ou du temps de calcul sur un service cloud comme AWS ou Google Cloud. La démo Hugging Face peut être essayée gratuitement, même si un usage plus intensif peut y devenir payant (modèle Hugging Face).

Notre avis : XVerse est le modèle de recherche à suivre si vos images comportent plus d'une personne, et celui à faire tourner si vous avez un GPU de 24GB et quelques minutes à consacrer à chaque image. Pour la génération d'images au quotidien, il est trop lent et trop exigeant. Nous lui avons attribué la note de 4,5/5.