Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Diffusions-Sprachmodell

Ein Diffusions-Sprachmodell (Diffusion Language Model, dLLM) erzeugt Text, indem es mit einer vollständig maskierten oder verrauschten Sequenz beginnt und über mehrere Schritte viele Token-Positionen parallel verfeinert, statt ein Token nach dem anderen zu schreiben.

Auch: dLLM, masked diffusion language model

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Die meisten großen Sprachmodelle sind autoregressiv: Sie schreiben von links nach rechts, ein Token pro Schritt. Ein Diffusions-Sprachmodell übernimmt den Ansatz von Bild-Diffusionsmodellen. Es beginnt mit einer Sequenz, in der jede Position verborgen ist, sagt alle vorher, behält die Vorhersagen, bei denen es am sichersten ist, und wiederholt das, bis der Text vollständig ist.

So funktioniert es

Das gängige Rezept ist maskierte Diffusion. Beim Training werden zufällige Teile echten Texts durch ein Masken-Token ersetzt, und das Modell, meist ein Transformer ohne die Links-nach-rechts-Maske, lernt, sie auszufüllen. Bei der Generierung läuft dieser Prozess umgekehrt ab. Das LLaDA-Paper beschreibt genau das: einen vorwärts gerichteten Maskierungsprozess und einen umgekehrten Generierungsprozess. LLaDA wurde mit denselben Schritten aus Pretraining und Supervised Fine-Tuning trainiert wie normale LLMs.

Warum Entwickler sich dafür interessieren

Da viele Tokens auf einmal ausgefüllt werden, kann ein Diffusionsmodell Text in weniger Schritten erzeugen, was einen deutlich höheren Durchsatz bedeuten kann. Googles experimentelles DiffusionGemma 26B A4B, das auf dieser Website getestet wurde, ist ein Beispiel für diese Abwägung. Das Modell kann beim Bearbeiten außerdem die ganze Sequenz betrachten, was gut dazu passt, die Mitte von Code oder Text auszufüllen.

Grenzen

Die Qualität pro Parameter lag bisher meist hinter den besten autoregressiven Modellen, und weniger Schritte bedeuten meist geringere Qualität. Serving-Tools, KV-Caching und Streaming wurden für die Generierung Token für Token gebaut, die Unterstützung für dLLMs ist also neuer und dünner. Teste mit deinen eigenen Aufgaben, bevor du eines einsetzt.

Verwandte Begriffe

Diffusionsmodell
Ein Diffusionsmodell (Diffusion Model) ist ein generatives Modell, das lernt, zufälliges Rauschen in Daten wie ein Bild zu verwandeln, indem es über viele Schritte jeweils ein wenig Rauschen entfernt.
Autoregressives Modell
Ein autoregressives Modell erzeugt eine Sequenz Stück für Stück, indem es jedes nächste Token aus allen vorherigen Tokens vorhersagt und diese Ausgabe wieder einspeist. Die meisten großen Sprachmodelle arbeiten so.
Großes Sprachmodell
Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
KV-Cache
Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
Tokens pro Sekunde
Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.

Quellen