Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Tokens pro Sekunde

Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.

Auch: tok/s, throughput

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

Sobald das erste Token angekommen ist, entscheiden die Tokens pro Sekunde, wie lange der Rest der Antwort dauert. Ein Token ist ein Textstück, oft ein Wortteil, daher sind tok/s nicht Wörter pro Sekunde, und derselbe Text kann bei verschiedenen Tokenizern unterschiedliche Zahlen ergeben.

Pro Nutzer und pro System

Diese beiden Zahlen beantworten verschiedene Fragen. Die Geschwindigkeit pro Nutzer ist das, was eine Person sieht, während eine Antwort hereinströmt. Der Durchsatz pro System ist, wie die Benchmarking-Dokumentation von NVIDIA ihn definiert, der gesamte Output-Token-Durchsatz über alle gleichzeitigen Anfragen. Mehr gleichzeitige Anfragen erhöhen meist den Systemdurchsatz, bis die GPU ausgelastet ist, während der Stream jedes einzelnen Nutzers langsamer wird. Anbieter und Benchmarks sagen nicht immer, welche Zahl sie meinen.

Was sie begrenzt

Beim Dekodieren müssen für jedes neue Token die Gewichte des Modells aus dem Speicher gelesen werden, daher hängt die Geschwindigkeit stark von Speicherbandbreite und Modellgröße ab. Deshalb erzeugen Quantisierung, kleinere Modelle und Mixture-of-Experts-Modelle, die pro Token nur einen Teil ihrer Gewichte nutzen, oft schneller. Speculative Decoding und Continuous Batching sind gängige Wege, die Geschwindigkeit in einer Serving-Engine zu erhöhen.

Die Zahl nutzen

Für lokale Modelle schätzt unser GPU-Rechner, ob ein Modell in den VRAM passt und wie schnell es laufen könnte. Bei gehosteten Modellen miss mit deinen eigenen Prompts, da Ausgabelänge, Prompt-Länge und Serverlast das Ergebnis verändern. Kombiniere die Zahl mit der Time to First Token, um die gesamte Antwortzeit abzuschätzen.

Verwandte Begriffe

Time to First Token
Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.
VRAM
VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
Inferenz
Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.
Speculative Decoding
Speculative Decoding (spekulatives Dekodieren) beschleunigt die Textgenerierung, indem ein kleines, schnelles Draft-Modell mehrere Tokens vorschlägt, die das große Modell dann in einem einzigen Durchlauf prüft und die akzeptierten behält. Die Ausgabe entspricht der, die das große Modell allein erzeugen würde.
Model Serving
Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.

Quellen