ByteDance XVerse: um modelo de código aberto para controlar vários sujeitos em uma imagem de IA

Peça à maioria dos geradores de imagem duas pessoas específicas em uma cena e você tende a receber rostos que se misturam, ou uma mudança em uma pessoa que vaza para a outra. O ByteDance XVerse, da equipe de Creative AI da ByteDance, é um modelo de texto para imagem feito para resolver isso. Lançado em junho de 2025, ele dá controle separado sobre a identidade e os atributos de cada sujeito, como pose, estilo e iluminação, mantendo a imagem consistente e limpa.

Ele funciona transformando cada imagem de referência em um deslocamento aplicado aos tokens daquele sujeito no fluxo de texto, em vez de alterar diretamente os latentes da imagem. Na prática, isso significa que ajustar um sujeito não mexe nos outros (artigo no arXiv; repositório no GitHub).

O que ele faz

• Vários sujeitos de uma vez. Cada sujeito é controlado de forma independente em uma única imagem; os benchmarks vão até três (página do projeto). Isso depende de um novo método de modulação para Diffusion Transformers (DiT).
• Preserva identidades. Os sujeitos continuam reconhecíveis e distintos, o que é medido com Face ID Similarity e DINOv2 Similarity (artigo no arXiv). O modelo CLIP codifica as características da imagem usadas para manter a identidade.
• Atributos por sujeito. Pose, estilo e iluminação podem ser definidos para cada sujeito (modelo no Hugging Face), com o Florence2 fornecendo descrições detalhadas das imagens de referência.
• Qualidade de imagem. Características codificadas com um autoencoder variacional (VAE) alimentam o modelo FLUX.1 para preservar detalhes finos e limitar artefatos (página do projeto).
• Edita um sujeito por vez, sem perturbar o resto, graças à modulação específica por token (repositório no GitHub).
• Roda em uma GPU de consumo de 24GB (repositório no GitHub).
• Modelos auxiliares: Florence2 para descrições de imagens, SAM2 para extrair rostos, CLIP para codificar imagens e texto e o VAE para os detalhes (artigo no arXiv).

Onde poderia ser usado

O XVerse é um modelo de pesquisa novo, então estes são usos prováveis, não comprovados:

• Publicidade: uma cena com vários produtos ou personagens, cada um mostrado com precisão a partir da sua descrição em texto (modelo no Hugging Face).
• Jogos e cinema: cenas com vários personagens que mantêm, cada um, o próprio rosto e a própria pose, com a ajuda da extração de rostos do SAM2 (página do projeto).
• Moda: roupas em modelos virtuais, com pose e estilo definidos separadamente e o Florence2 alinhando a imagem a um briefing de design detalhado (artigo no arXiv).
• Educação: ilustrações sob medida para material didático (repositório no GitHub).
• Redes sociais: imagens com vários sujeitos para posts. Usuários que testaram a interface Gradio relatam que ela aceita até seis entradas (post no Reddit).

O que funciona

• Os sujeitos não se misturam. Controlar vários deles sem que os atributos se embaralhem é um avanço real para cenas complexas (artigo no arXiv).
• Saída limpa, com poucos artefatos, graças à combinação de VAE e FLUX.1 (página do projeto).
• Edições direcionadas a um sujeito por vez (repositório no GitHub).
• Código aberto, no GitHub e no Hugging Face (modelo no Hugging Face).
• Um benchmark público. O XVerseBench cobre sujeitos variados e informa métricas como DPG Score e Aesthetic Score (artigo no arXiv).

Como ele difere do Grok 4

Os dois apareceram muitas vezes no noticiário da mesma semana, mas fazem trabalhos diferentes. O Grok 4 é um grande modelo de linguagem (LLM) feito para raciocínio, programação e dados ao vivo, com janela de contexto de 256K tokens e conexão com o X (antigo Twitter). O XVerse faz imagens. Se você precisa analisar documentos longos ou escrever código, o Grok 4 é o relevante; se precisa de uma cena com três pessoas específicas, é o XVerse.

O porém

• É lento. Uma imagem leva vários minutos, a cerca de 10 segundos por iteração ao longo de 28 iterações, então não serve para trabalho em tempo real (post no Reddit). Ferramentas de otimização como o TensorRT poderiam ajudar.
• Exige 24GB de VRAM, mais do que muitos computadores domésticos têm (repositório no GitHub). GPUs na nuvem ou modelos comprimidos são a alternativa.
• Os dados de treinamento são escassos. Há poucos conjuntos de dados grandes e de alta qualidade com vários sujeitos por imagem, o que limita tanto o treinamento quanto a avaliação.
• O controle no nível de pixel não foi explorado. O método atua no fluxo de texto; modular a própria imagem, talvez com modelos de segmentação melhores, fica para trabalhos futuros (artigo no arXiv).

Resultados de benchmark

No XVerseBench, da própria ByteDance, o XVerse pontuou mais alto que os outros modelos testados (artigo no arXiv):

Modelo	Média com um sujeito	Média com vários sujeitos	Geral
MS-Diffusion	54,69	48,28	51,49
MIP-Adapter	62,81	54,49	58,65
OmniGen	72,57	61,48	67,03
UNO	68,47	59,59	64,03
OmniGen2	70,36	62,73	66,55
DreamO	74,46	64,04	69,25
XVerse	76,72	70,08	73,40

O XVerse lidera tanto nas tarefas com um sujeito quanto nas com vários, com 73,40 no geral; sua margem é maior com vários sujeitos, que é o caso para o qual foi projetado (artigo no arXiv). Modelos como o MS-Diffusion têm mais dificuldade com a consistência (página do projeto). O OmniGen e o DreamO também usam modelos de difusão e transformers, mas a modulação por token do XVerse lhe dá controle mais fino sobre as edições (modelo no Hugging Face). Lembre-se de que o benchmark é da própria ByteDance.

Preços

O XVerse é grátis e de código aberto: o código está sob a licença Apache 2.0 e o conjunto de dados sob CC0, sujeitos aos direitos de propriedade intelectual da ByteDance (repositório no GitHub). Você pode baixá-lo do GitHub ou do Hugging Face. O custo real é o hardware: você precisa de uma GPU com 24GB de VRAM, ou de tempo na nuvem em um serviço como AWS ou Google Cloud. A demo no Hugging Face é grátis para testar, embora o uso mais intenso lá possa custar dinheiro (modelo no Hugging Face).

Nossa opinião: o XVerse é o modelo de pesquisa a acompanhar se as suas imagens têm mais de uma pessoa, e o que vale rodar se você tem uma GPU de 24GB e alguns minutos sobrando por imagem. Para a geração de imagens do dia a dia, ele é lento e exigente demais. Demos a ele 4,5/5.