Speculative Decoding
Speculative Decoding (spekulatives Dekodieren) beschleunigt die Textgenerierung, indem ein kleines, schnelles Draft-Modell mehrere Tokens vorschlägt, die das große Modell dann in einem einzigen Durchlauf prüft und die akzeptierten behält. Die Ausgabe entspricht der, die das große Modell allein erzeugen würde.
Auch: draft model
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
Ein großes Sprachmodell erzeugt normalerweise ein Token pro Forward Pass, und jeder Durchlauf liest alle seine Gewichte aus dem Speicher. Das macht das Dekodieren langsam, selbst wenn die GPU freie Rechenleistung hat. Speculative Decoding, 2022 von Leviathan et al. beschrieben, nutzt diese freie Rechenleistung.
So funktioniert es
Ein günstigeres Draft-Modell rät die nächsten paar Tokens. Das große Zielmodell bewertet dann all diese Positionen auf einmal, parallel. Tokens, denen es zustimmt, werden behalten; bei der ersten Abweichung wird die eigene Wahl des Zielmodells genommen und der Rest des Entwurfs verworfen. Eine spezielle Sampling-Regel stellt sicher, dass der endgültige Text derselben Verteilung folgt wie das Zielmodell, die Qualität ändert sich also nicht. Das Paper berichtet von einer Beschleunigung um 2X-3X bei T5-XXL mit identischen Ausgaben.
Wann es hilft
Der Gewinn hängt davon ab, wie oft der Entwurf richtig liegt. Am besten funktioniert es bei vorhersehbarem Text wie Code, strukturierter Ausgabe oder Antworten, die Teile des Prompts wiederholen. Varianten verzichten auf das separate Draft-Modell: Manche fügen dem Hauptmodell zusätzliche Vorhersageköpfe hinzu, andere suchen wahrscheinliche Fortsetzungen im Prompt selbst. Serving-Engines wie vLLM und SGLang unterstützen mehrere Methoden.
Kosten
Das Draft-Modell braucht eigenen Speicher, und falsche Vermutungen verschwenden Rechenleistung. Unter hoher Batch-Last, wenn die GPU schon ausgelastet ist, schrumpft der Nutzen. Miss die Tokens pro Sekunde mit deinem eigenen Verkehr vorher und nachher. Für das größere Bild siehe Inferenz und Model Serving.
Verwandte Begriffe
- Inferenz
- Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.
- Tokens pro Sekunde
- Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.
- Model Serving
- Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs l ädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
- Autoregressives Modell
- Ein autoregressives Modell erzeugt eine Sequenz Stück für Stück, indem es jedes nächste Token aus allen vorherigen Tokens vorhersagt und diese Ausgabe wieder einspeist. Die meisten großen Sprachmodelle arbeiten so.
- Wissensdestillation
- Wissensdestillation (Knowledge Distillation) ist eine Trainingsmethode, bei der ein kleineres Schülermodell lernt, die Ausgaben eines größeren Lehrermodells nachzuahmen, sodass ein destilliertes Modell entsteht, das viel vom Können des Lehrers zu geringeren Kosten behält.