Diffusions-Sprachmodell
Ein Diffusions-Sprachmodell (Diffusion Language Model, dLLM) erzeugt Text, indem es mit einer vollständig maskierten oder verrauschten Sequenz beginnt und über mehrere Schritte viele Token-Positionen parallel verfeinert, statt ein Token nach dem anderen zu schreiben.
Auch: dLLM, masked diffusion language model
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Die meisten großen Sprachmodelle sind autoregressiv: Sie schreiben von links nach rechts, ein Token pro Schritt. Ein Diffusions-Sprachmodell übernimmt den Ansatz von Bild-Diffusionsmodellen. Es beginnt mit einer Sequenz, in der jede Position verborgen ist, sagt alle vorher, behält die Vorhersagen, bei denen es am sichersten ist, und wiederholt das, bis der Text vollständig ist.
So funktioniert es
Das gängige Rezept ist maskierte Diffusion. Beim Training werden zufällige Teile echten Texts durch ein Masken-Token ersetzt, und das Modell, meist ein Transformer ohne die Links-nach-rechts-Maske, lernt, sie auszufüllen. Bei der Generierung läuft dieser Prozess umgekehrt ab. Das LLaDA-Paper beschreibt genau das: einen vorwärts gerichteten Maskierungsprozess und einen umgekehrten Generierungsprozess. LLaDA wurde mit denselben Schritten aus Pretraining und Supervised Fine-Tuning trainiert wie normale LLMs.
Warum Entwickler sich dafür interessieren
Da viele Tokens auf einmal ausgefüllt werden, kann ein Diffusionsmodell Text in weniger Schritten erzeugen, was einen deutlich höheren Durchsatz bedeuten kann. Googles experimentelles DiffusionGemma 26B A4B, das auf dieser Website getestet wurde, ist ein Beispiel für diese Abwägung. Das Modell kann beim Bearbeiten außerdem die ganze Sequenz betrachten, was gut dazu passt, die Mitte von Code oder Text auszufüllen.
Grenzen
Die Qualität pro Parameter lag bisher meist hinter den besten autoregressiven Modellen, und weniger Schritte bedeuten meist geringere Qualität. Serving-Tools, KV-Caching und Streaming wurden für die Generierung Token für Token gebaut, die Unterstützung für dLLMs ist also neuer und dünner. Teste mit deinen eigenen Aufgaben, bevor du eines einsetzt.
Verwandte Begriffe
- Diffusionsmodell
- Ein Diffusionsmodell (Diffusion Model) ist ein generatives Modell, das lernt, zufälliges Rauschen in Daten wie ein Bild zu verwandeln, indem es über viele Schritte jeweils ein wenig Rauschen entfernt.
- Autoregressives Modell
- Ein autoregressives Modell erzeugt eine Sequenz Stück für Stück, indem es jedes nächste Token aus allen vorherigen Tokens vorhersagt und diese Ausgabe wieder einspeist. Die meisten großen Sprachmodelle arbeiten so.
- Großes Sprachmodell
- Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
- KV-Cache
- Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
- Tokens pro Sekunde
- Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.