Diffusionsmodell
Ein Diffusionsmodell (Diffusion Model) ist ein generatives Modell, das lernt, zufälliges Rauschen in Daten wie ein Bild zu verwandeln, indem es über viele Schritte jeweils ein wenig Rauschen entfernt.
Auch: diffusion, denoising diffusion, latent diffusion
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Das Training beginnt mit echten Bildern und fügt ihnen Schritt für Schritt Rauschen hinzu, bis nur noch Bildrauschen übrig ist. Das Modell lernt, einen Schritt dieses Rauschens rückgängig zu machen. Zum Generieren beginnst du mit reinem Rauschen und führst den gelernten Entrauschungsschritt immer wieder aus, bis ein sauberes Bild erscheint. Das DDPM-Paper von Ho, Jain und Abbeel aus dem Jahr 2020 zeigte, dass dieser Ansatz hochwertige Bilder erzeugen kann.
Warum es wichtig ist
Die meisten Bild- und Videogeneratoren, denen du heute begegnest, von Text-to-Image-Tools bis zu Text-to-Video-Modellen, basieren auf Diffusion. Zu den offenen Beispielen gehört FLUX.2 dev, und Bibliotheken wie Diffusers und ComfyUI führen sie lokal aus. Weitere Modelle stehen unter Bildmodelle.
Latente Diffusion
Diffusion direkt auf Pixeln auszuführen ist langsam und teuer. Latente Diffusion (Latent Diffusion), eingeführt von Rombach und Kollegen, komprimiert das Bild zuerst mit einem Autoencoder und führt das Entrauschen in diesem kleineren Raum aus. Cross-Attention-Schichten lassen einen Text-Prompt jeden Schritt lenken. Das ist das Design hinter Stable Diffusion und vielen späteren Modellen.
Grenzen
Die Generierung braucht viele aufeinanderfolgende Schritte, sie ist also langsamer, als ein Bild in einem Durchgang zu erzeugen. Die Steuerung ist indirekt: Der Prompt, die Guidance Scale und Erweiterungen wie ControlNet schubsen das Entrauschen nur in eine Richtung, statt das Ergebnis vorzugeben. Ein Diffusions-Sprachmodell wendet dieselbe Idee auf Text an.
Verwandte Begriffe
- Text-to-Image
- Text-to-Image ist die Aufgabe, aus einer geschriebenen Beschreibung, dem Prompt, ein neues Bild zu erzeugen. Die meisten aktuellen Text-to-Image-Modelle sind Diffusionsmodelle, die durch den Text gesteuert werden.
- Text-to-Video
- Text-to-Video ist die Aufgabe, aus einem geschriebenen Prompt einen kurzen Videoclip zu erzeugen. Modelle müssen Frames erzeugen, die jeder für sich stimmig aussehen und sich zudem von einem Frame zum nächsten konsistent bewegen.
- Guidance Scale (CFG)
- Die Guidance Scale oder CFG Scale ist eine Einstellung in Diffusions-Bildgeneratoren, die steuert, wie stark die Ausgabe dem Prompt folgt. Höhere Werte folgen dem Prompt genauer, verringern aber die Vielfalt.
- ControlNet
- ControlNet ist eine Erweiterung für neuronale Netze, mit der ein Text-to-Image-Diffusionsmodell zusätzlich zum Text-Prompt einer strukturellen Vorlage folgt, etwa einer Kantenkarte, einer Tiefenkarte oder einer menschlichen Pose.
- Diffusions-Sprachmodell
- Ein Diffusions-Sprachmodell (Diffusion Language Model, dLLM) erzeugt Text, indem es mit einer vollständig maskierten oder verrauschten Sequenz beginnt und über mehrere Schritte viele Token-Positionen parallel verfeinert, statt ein Token nach dem anderen zu schreiben.
- Autoregressives Modell
- Ein autoregressives Modell erzeugt eine Sequenz Stück für Stück, indem es jedes nächste Token aus allen vorherigen Tokens vorhersagt und diese Ausgabe wieder einspeist. Die meisten großen Sprachmodelle arbeiten so.