Autoregressives Modell
Ein autoregressives Modell erzeugt eine Sequenz Stück für Stück, indem es jedes nächste Token aus allen vorherigen Tokens vorhersagt und diese Ausgabe wieder einspeist. Die meisten großen Sprachmodelle arbeiten so.
Auch: next-token prediction, ARM, causal language model
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Autoregressiv bedeutet, dass die Ausgabe des Modells Teil seiner nächsten Eingabe wird. Um einen Satz zu schreiben, sagt das Modell ein Token vorher, hängt es an und sagt erneut vorher, bis es ein Stopp-Token erzeugt oder an ein Limit stößt. GPT-3 etwa wird von seinen Autoren als autoregressives Sprachmodell beschrieben.
Vorhersage des nächsten Tokens
Die Vorhersage des nächsten Tokens (Next-Token Prediction) ist das Trainingsziel dahinter. Beim Pretraining sieht das Modell riesige Mengen Text und lernt, jedem möglichen nächsten Token eine Wahrscheinlichkeit zuzuweisen. Bei der Generierung wählt eine Sampling-Einstellung wie die Temperatur ein Token aus dieser Verteilung. Ein Transformer nutzt eine Maske, damit jede Position nur auf frühere Positionen achten kann, was das Training mit der Art der Generierung in Einklang hält.
Was das in der Praxis bedeutet
Da Tokens nacheinander herauskommen, hängt die Antwortzeit von der Länge der Ausgabe ab. Das ist ein Grund, warum Output-Tokens oft teurer sind als Input-Tokens, und warum Streaming nützlich ist: Du kannst Text anzeigen, während er ankommt. Beschleunigungen wie Speculative Decoding und der KV-Cache arbeiten alle um diese Schleife herum, die ein Token nach dem anderen erzeugt.
Das Modell kann außerdem nicht zurückgehen. Ist ein Token gewählt, bleibt es, ein früher Fehler kann sich also durch die ganze Antwort ziehen. Reasoning-Modelle umgehen das teilweise, indem sie vor der endgültigen Antwort Schritte ausschreiben.
Die Alternative
Diffusions-Sprachmodelle beginnen mit einer vollständig maskierten oder verrauschten Sequenz und füllen über mehrere Schritte viele Positionen parallel aus. Das LLaDA-Paper stellt die verbreitete Ansicht infrage, dass zentrale LLM-Fähigkeiten davon abhängen, autoregressiv zu sein.
Verwandte Begriffe
- Diffusions-Sprachmodell
- Ein Diffusions-Sprachmodell (Diffusion Language Model, dLLM) erzeugt Text, indem es mit einer vollständig maskierten oder verrauschten Sequenz beginnt und über mehrere Schritte viele Token-Positionen parallel verfeinert, statt ein Token nach dem anderen zu schreiben.
- Transformer (Architektur)
- Der Transformer ist eine Architektur für neuronale Netze, 2017 vorgestellt, die Sequenzen mit Attention statt mit Rekurrenz verarbeitet. Er ist die Grundlage fast aller aktuellen Large Language Models und vieler Bild- und Audiomodelle.
- Token (LLM)
- Ein Token (LLM) ist die Grundeinheit von Text, die ein Sprachmodell liest und schreibt, oft ein Wort, ein Wortteil, ein Satzzeichen oder ein Byte. Preise, Geschwindigkeit und Kontextgrenzen werden alle in Tokens gezählt.
- Speculative Decoding
- Speculative Decoding (spekulatives Dekodieren) beschleunigt die Textgenerierung, indem ein kleines, schnelles Draft-Modell mehrere Tokens vorschlägt, die das große Modell dann in einem einzigen Durchlauf prüft und die akzeptierten behält. Die Ausgabe entspricht der, die das große Modell allein erzeugen würde.
- Output-Tokens
- Output-Tokens sind die Tokens, die ein Sprachmodell in seiner Antwort erzeugt. Sie werden getrennt von Input-Tokens gezählt und abgerechnet, und eine Einstellung namens max_tokens begrenzt, wie viele eine Antwort enthalten darf.