ByteDance XVerse: un modelo de código abierto para controlar varios sujetos en una misma imagen generada con IA

Pide a la mayoría de los generadores de imágenes dos personas concretas en una escena y lo normal es obtener caras que se funden entre sí, o que un cambio en una persona se contagie a la otra. ByteDance XVerse, del equipo de Creative AI de ByteDance, es un modelo de texto a imagen creado para resolverlo. Publicado en junio de 2025, te da control por separado sobre la identidad de cada sujeto y sobre atributos como la pose, el estilo y la iluminación, manteniendo la imagen coherente y limpia.

Funciona convirtiendo cada imagen de referencia en un desplazamiento que se aplica a los tokens de ese sujeto en el flujo de texto, en lugar de alterar directamente los latentes de la imagen. En la práctica, esto significa que ajustar un sujeto deja a los demás intactos (arXiv Paper; GitHub Repository).

Qué hace

• Varios sujetos a la vez. Cada sujeto se controla de forma independiente en una sola imagen; los benchmarks llegan hasta tres (Project Page). Esto se basa en un nuevo método de modulación para Diffusion Transformers (DiT).
• Conserva las identidades. Los sujetos siguen siendo reconocibles y distintos, según Face ID Similarity y DINOv2 Similarity (arXiv Paper). El modelo CLIP codifica las características de imagen que se usan para mantener la identidad.
• Atributos por sujeto. La pose, el estilo y la iluminación se pueden fijar para cada sujeto (Hugging Face Model), con Florence2 aportando descripciones detalladas de las imágenes de referencia.
• Calidad de imagen. Las características codificadas con un autoencoder variacional (VAE) se introducen en el modelo FLUX.1 para conservar el detalle fino y limitar los artefactos (Project Page).
• Edita un sujeto cada vez, sin alterar el resto, gracias a la modulación específica por token (GitHub Repository).
• Funciona en una GPU de consumo de 24GB (GitHub Repository).
• Modelos de apoyo: Florence2 para describir imágenes, SAM2 para extraer caras, CLIP para codificar imágenes y texto, y el VAE para el detalle (arXiv Paper).

Dónde podría usarse

XVerse es un modelo de investigación nuevo, así que estos son usos probables, no demostrados:

• Publicidad: una escena con varios productos o personajes, cada uno representado con precisión a partir de su descripción de texto (Hugging Face Model).
• Videojuegos y cine: escenas con varios personajes que conservan cada uno su cara y su pose, con ayuda de la extracción de caras de SAM2 (Project Page).
• Moda: ropa sobre modelos virtuales, con la pose y el estilo fijados por separado y Florence2 ajustando la imagen a un briefing de diseño detallado (arXiv Paper).
• Educación: ilustraciones a medida para material didáctico (GitHub Repository).
• Redes sociales: imágenes con varios sujetos para publicaciones. Usuarios que han probado la interfaz de Gradio cuentan que acepta hasta seis entradas (Reddit Post).

Lo que funciona

• Los sujetos no se mezclan entre sí. Controlar varios sin que sus atributos se enreden es un avance real para las escenas complejas (arXiv Paper).
• Resultados limpios, con pocos artefactos, gracias a la combinación de VAE y FLUX.1 (Project Page).
• Ediciones dirigidas a un solo sujeto cada vez (GitHub Repository).
• Código abierto, en GitHub y Hugging Face (Hugging Face Model).
• Un benchmark público. XVerseBench abarca sujetos variados e informa de métricas como DPG Score y Aesthetic Score (arXiv Paper).

En qué se diferencia de Grok 4

Los dos aparecieron a menudo en las noticias de la misma semana, pero hacen trabajos distintos. Grok 4 es un modelo de lenguaje grande (LLM) pensado para razonar, programar y trabajar con datos en directo, con una ventana de contexto de 256K tokens y conexión con X (antes Twitter). XVerse crea imágenes. Si necesitas analizar documentos largos o escribir código, el relevante es Grok 4; si necesitas una escena con tres personas concretas, lo es XVerse.

La pega

• Es lento. Una imagen tarda varios minutos, a unos 10 segundos por iteración durante 28 iteraciones, así que no sirve para trabajar en tiempo real (Reddit Post). Herramientas de optimización como TensorRT podrían ayudar.
• Necesita 24GB de VRAM, más de lo que tienen muchos ordenadores domésticos (GitHub Repository). Las GPU en la nube o los modelos comprimidos son la alternativa.
• Escasean los datos de entrenamiento. Hay pocos conjuntos de datos grandes y de calidad con varios sujetos por imagen, lo que limita tanto el entrenamiento como la evaluación.
• El control a nivel de píxel está sin explorar. El método trabaja sobre el flujo de texto; modular la imagen en sí, quizá con mejores modelos de segmentación, queda para trabajos futuros (arXiv Paper).

Resultados de los benchmarks

En XVerseBench, el benchmark de la propia ByteDance, XVerse puntuó por encima de los demás modelos probados (arXiv Paper):

Modelo	Media con un sujeto	Media con varios sujetos	Global
MS-Diffusion	54,69	48,28	51,49
MIP-Adapter	62,81	54,49	58,65
OmniGen	72,57	61,48	67,03
UNO	68,47	59,59	64,03
OmniGen2	70,36	62,73	66,55
DreamO	74,46	64,04	69,25
XVerse	76,72	70,08	73,40

XVerse lidera tanto en tareas con un sujeto como con varios, con 73,40 en global; su ventaja es mayor con varios sujetos, que es el caso para el que se diseñó (arXiv Paper). Modelos como MS-Diffusion tienen más problemas de coherencia (Project Page). OmniGen y DreamO también usan modelos de difusión y transformers, pero la modulación por token de XVerse le da un control más fino sobre las ediciones (Hugging Face Model). Ten en cuenta que el benchmark es de la propia ByteDance.

Precios

XVerse es gratuito y de código abierto: el código tiene licencia Apache 2.0 y el conjunto de datos CC0, sujetos a los derechos de propiedad intelectual de ByteDance (GitHub Repository). Puedes descargarlo de GitHub o Hugging Face. El coste real es el hardware: necesitas una GPU con 24GB de VRAM, o tiempo en la nube en un servicio como AWS o Google Cloud. La demo de Hugging Face se puede probar gratis, aunque un uso más intensivo allí puede costar dinero (Hugging Face Model).

Nuestra opinión: XVerse es el modelo de investigación a seguir si tus imágenes tienen más de una persona, y el que conviene ejecutar si tienes una GPU de 24GB y unos minutos de sobra por imagen. Para la generación de imágenes del día a día es demasiado lento y exigente. Le dimos un 4,5/5.