Tokens pro Sekunde
Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.
Auch: tok/s, throughput
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
Sobald das erste Token angekommen ist, entscheiden die Tokens pro Sekunde, wie lange der Rest der Antwort dauert. Ein Token ist ein Textstück, oft ein Wortteil, daher sind tok/s nicht Wörter pro Sekunde, und derselbe Text kann bei verschiedenen Tokenizern unterschiedliche Zahlen ergeben.
Pro Nutzer und pro System
Diese beiden Zahlen beantworten verschiedene Fragen. Die Geschwindigkeit pro Nutzer ist das, was eine Person sieht, während eine Antwort hereinströmt. Der Durchsatz pro System ist, wie die Benchmarking-Dokumentation von NVIDIA ihn definiert, der gesamte Output-Token-Durchsatz über alle gleichzeitigen Anfragen. Mehr gleichzeitige Anfragen erhöhen meist den Systemdurchsatz, bis die GPU ausgelastet ist, während der Stream jedes einzelnen Nutzers langsamer wird. Anbieter und Benchmarks sagen nicht immer, welche Zahl sie meinen.
Was sie begrenzt
Beim Dekodieren müssen für jedes neue Token die Gewichte des Modells aus dem Speicher gelesen werden, daher hängt die Geschwindigkeit stark von Speicherbandbreite und Modellgröße ab. Deshalb erzeugen Quantisierung, kleinere Modelle und Mixture-of-Experts-Modelle, die pro Token nur einen Teil ihrer Gewichte nutzen, oft schneller. Speculative Decoding und Continuous Batching sind gängige Wege, die Geschwindigkeit in einer Serving-Engine zu erhöhen.
Die Zahl nutzen
Für lokale Modelle schätzt unser GPU-Rechner, ob ein Modell in den VRAM passt und wie schnell es laufen könnte. Bei gehosteten Modellen miss mit deinen eigenen Prompts, da Ausgabelänge, Prompt-Länge und Serverlast das Ergebnis verändern. Kombiniere die Zahl mit der Time to First Token, um die gesamte Antwortzeit abzuschätzen.
Verwandte Begriffe
- Time to First Token
- Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.
- VRAM
- VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
- Inferenz
- Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.
- Speculative Decoding
- Speculative Decoding (spekulatives Dekodieren) beschleunigt die Textgenerierung, indem ein kleines, schnelles Draft-Modell mehrere Tokens vorschlägt, die das große Modell dann in einem einzigen Durchlauf prüft und die akzeptierten behält. Die Ausgabe entspricht der, die das große Modell allein erzeugen würde.
- Model Serving
- Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.