ByteDance XVerse: ein Open-Source-Modell, um mehrere Motive in einem KI-Bild zu steuern

Bittest du die meisten Bildgeneratoren um zwei bestimmte Personen in einer Szene, bekommst du meist Gesichter, die ineinander verschwimmen, oder eine Änderung an einer Person, die auf die andere überschwappt. ByteDance XVerse vom Creative-AI-Team von ByteDance ist ein Text-zu-Bild-Modell, das genau das beheben soll. Es wurde im Juni 2025 veröffentlicht und gibt dir getrennte Kontrolle über die Identität jedes Motivs und über Eigenschaften wie Pose, Stil und Beleuchtung, während das Bild konsistent und sauber bleibt.

Dazu wandelt es jedes Referenzbild in einen Versatz um, der auf die Tokens dieses Motivs im Textstrom angewendet wird, statt die Bild-Latents direkt zu verändern. In der Praxis heißt das: Passt du ein Motiv an, bleiben die anderen unberührt (arXiv Paper; GitHub Repository).

Was es kann

• Mehrere Motive gleichzeitig. Jedes Motiv wird in einem einzigen Bild unabhängig gesteuert; die Benchmarks gehen bis zu drei (Project Page). Das beruht auf einer neuen Modulationsmethode für Diffusion Transformers (DiT).
• Bewahrt Identitäten. Motive bleiben erkennbar und unterscheidbar, gemessen mit Face ID Similarity und DINOv2 Similarity (arXiv Paper). Das CLIP-Modell kodiert die Bildmerkmale, mit denen die Identität festgehalten wird.
• Eigenschaften pro Motiv. Pose, Stil und Beleuchtung lassen sich für jedes Motiv festlegen (Hugging Face Model), wobei Florence2 detaillierte Beschreibungen der Referenzbilder liefert.
• Bildqualität. Mit einem Variational Autoencoder (VAE) kodierte Merkmale werden in das Modell FLUX.1 eingespeist, um feine Details zu erhalten und Artefakte zu begrenzen (Project Page).
• Bearbeitet ein Motiv nach dem anderen, ohne den Rest zu stören, dank der tokenspezifischen Modulation (GitHub Repository).
• Läuft auf einer Consumer-GPU mit 24 GB (GitHub Repository).
• Hilfsmodelle: Florence2 für Bildbeschreibungen, SAM2 zum Extrahieren von Gesichtern, CLIP zum Kodieren von Bildern und Text und der VAE für Details (arXiv Paper).

Wo es eingesetzt werden könnte

XVerse ist ein neues Forschungsmodell, daher sind dies wahrscheinliche statt erprobte Einsätze:

• Werbung: eine Szene mit mehreren Produkten oder Figuren, jede anhand ihrer Textbeschreibung genau dargestellt (Hugging Face Model).
• Spiele und Film: Szenen mit mehreren Figuren, die jeweils ihr eigenes Gesicht und ihre Pose behalten, unterstützt durch die Gesichtsextraktion von SAM2 (Project Page).
• Mode: Kleidung an virtuellen Models, mit getrennt festgelegter Pose und Stil, wobei Florence2 das Bild an ein detailliertes Design-Briefing anpasst (arXiv Paper).
• Bildung: eigene Illustrationen für Lehrmaterial (GitHub Repository).
• Social Media: Bilder mit mehreren Motiven für Posts. Nutzer, die die Gradio-Oberfläche testen, berichten, dass sie bis zu sechs Eingaben annimmt (Reddit Post).

Was funktioniert

• Motive verschwimmen nicht ineinander. Mehrere davon zu steuern, ohne dass sich ihre Eigenschaften verheddern, ist ein echter Fortschritt für komplexe Szenen (arXiv Paper).
• Saubere Ergebnisse mit wenigen Artefakten, dank der Kombination aus VAE und FLUX.1 (Project Page).
• Gezielte Bearbeitung eines Motivs nach dem anderen (GitHub Repository).
• Open Source, auf GitHub und Hugging Face (Hugging Face Model).
• Ein öffentlicher Benchmark. XVerseBench deckt verschiedene Motive ab und meldet Metriken wie DPG Score und Aesthetic Score (arXiv Paper).

Wie es sich von Grok 4 unterscheidet

Beide tauchten oft in den Nachrichten derselben Woche auf, erfüllen aber verschiedene Aufgaben. Grok 4 ist ein großes Sprachmodell (LLM), gebaut für Schlussfolgern, Programmieren und Live-Daten, mit einem Kontextfenster von 256K Tokens und einer Verbindung zu X (früher Twitter). XVerse erzeugt Bilder. Wenn du lange Dokumente analysieren oder Code schreiben lassen willst, ist Grok 4 das richtige; wenn du eine Szene mit drei bestimmten Personen brauchst, ist es XVerse.

Der Haken

• Es ist langsam. Ein Bild dauert mehrere Minuten, bei etwa 10 Sekunden pro Iteration über 28 Iterationen, für Echtzeitarbeit taugt es also nicht (Reddit Post). Optimierungswerkzeuge wie TensorRT könnten helfen.
• Es braucht 24 GB VRAM, mehr als viele Heimcomputer haben (GitHub Repository). Cloud-GPUs oder komprimierte Modelle sind der Ausweg.
• Trainingsdaten sind knapp. Es gibt wenige große, hochwertige Datensätze mit mehreren Motiven pro Bild, was sowohl Training als auch Evaluierung begrenzt.
• Kontrolle auf Pixelebene ist unerforscht. Die Methode arbeitet auf dem Textstrom; das Bild selbst zu modulieren, vielleicht mit besseren Segmentierungsmodellen, bleibt späterer Arbeit überlassen (arXiv Paper).

Benchmark-Ergebnisse

Auf ByteDances eigenem XVerseBench erzielte XVerse höhere Werte als die anderen getesteten Modelle (arXiv Paper):

Modell	Durchschnitt ein Motiv	Durchschnitt mehrere Motive	Gesamt
MS-Diffusion	54,69	48,28	51,49
MIP-Adapter	62,81	54,49	58,65
OmniGen	72,57	61,48	67,03
UNO	68,47	59,59	64,03
OmniGen2	70,36	62,73	66,55
DreamO	74,46	64,04	69,25
XVerse	76,72	70,08	73,40

XVerse liegt bei Aufgaben mit einem wie mit mehreren Motiven vorn, mit 73,40 insgesamt; sein Vorsprung ist bei mehreren Motiven am größten, also genau in dem Fall, für den es entwickelt wurde (arXiv Paper). Modelle wie MS-Diffusion tun sich mit der Konsistenz schwerer (Project Page). OmniGen und DreamO nutzen ebenfalls Diffusionsmodelle und Transformer, aber die Modulation pro Token gibt XVerse feinere Kontrolle über Bearbeitungen (Hugging Face Model). Bedenke, dass der Benchmark von ByteDance selbst stammt.

Preise

XVerse ist kostenlos und Open Source: Der Code steht unter der Lizenz Apache 2.0 und der Datensatz unter CC0, vorbehaltlich der geistigen Eigentumsrechte von ByteDance (GitHub Repository). Du kannst es von GitHub oder Hugging Face herunterladen. Die eigentlichen Kosten sind Hardware: Du brauchst eine GPU mit 24 GB VRAM oder Cloud-Zeit bei einem Dienst wie AWS oder Google Cloud. Die Demo auf Hugging Face kannst du kostenlos ausprobieren, intensivere Nutzung dort kann aber Geld kosten (Hugging Face Model).

Unser Fazit: XVerse ist das Forschungsmodell, das du im Blick behalten solltest, wenn auf deinen Bildern mehr als eine Person zu sehen ist, und das, das du laufen lassen solltest, wenn du eine GPU mit 24 GB und pro Bild ein paar Minuten übrig hast. Für alltägliche Bildgenerierung ist es zu langsam und zu anspruchsvoll. Wir haben es mit 4,5/5 bewertet.