Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Speculative Decoding

Speculative Decoding (spekulatives Dekodieren) beschleunigt die Textgenerierung, indem ein kleines, schnelles Draft-Modell mehrere Tokens vorschlägt, die das große Modell dann in einem einzigen Durchlauf prüft und die akzeptierten behält. Die Ausgabe entspricht der, die das große Modell allein erzeugen würde.

Auch: draft model

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

Ein großes Sprachmodell erzeugt normalerweise ein Token pro Forward Pass, und jeder Durchlauf liest alle seine Gewichte aus dem Speicher. Das macht das Dekodieren langsam, selbst wenn die GPU freie Rechenleistung hat. Speculative Decoding, 2022 von Leviathan et al. beschrieben, nutzt diese freie Rechenleistung.

So funktioniert es

Ein günstigeres Draft-Modell rät die nächsten paar Tokens. Das große Zielmodell bewertet dann all diese Positionen auf einmal, parallel. Tokens, denen es zustimmt, werden behalten; bei der ersten Abweichung wird die eigene Wahl des Zielmodells genommen und der Rest des Entwurfs verworfen. Eine spezielle Sampling-Regel stellt sicher, dass der endgültige Text derselben Verteilung folgt wie das Zielmodell, die Qualität ändert sich also nicht. Das Paper berichtet von einer Beschleunigung um 2X-3X bei T5-XXL mit identischen Ausgaben.

Wann es hilft

Der Gewinn hängt davon ab, wie oft der Entwurf richtig liegt. Am besten funktioniert es bei vorhersehbarem Text wie Code, strukturierter Ausgabe oder Antworten, die Teile des Prompts wiederholen. Varianten verzichten auf das separate Draft-Modell: Manche fügen dem Hauptmodell zusätzliche Vorhersageköpfe hinzu, andere suchen wahrscheinliche Fortsetzungen im Prompt selbst. Serving-Engines wie vLLM und SGLang unterstützen mehrere Methoden.

Kosten

Das Draft-Modell braucht eigenen Speicher, und falsche Vermutungen verschwenden Rechenleistung. Unter hoher Batch-Last, wenn die GPU schon ausgelastet ist, schrumpft der Nutzen. Miss die Tokens pro Sekunde mit deinem eigenen Verkehr vorher und nachher. Für das größere Bild siehe Inferenz und Model Serving.

Verwandte Begriffe

Inferenz
Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.
Tokens pro Sekunde
Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.
Model Serving
Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
Autoregressives Modell
Ein autoregressives Modell erzeugt eine Sequenz Stück für Stück, indem es jedes nächste Token aus allen vorherigen Tokens vorhersagt und diese Ausgabe wieder einspeist. Die meisten großen Sprachmodelle arbeiten so.
Wissensdestillation
Wissensdestillation (Knowledge Distillation) ist eine Trainingsmethode, bei der ein kleineres Schülermodell lernt, die Ausgaben eines größeren Lehrermodells nachzuahmen, sodass ein destilliertes Modell entsteht, das viel vom Können des Lehrers zu geringeren Kosten behält.

Quellen