Time to First Token
Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.
Auch: TTFT, latency
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
TTFT ist die Verzögerung, bevor überhaupt etwas auf dem Bildschirm erscheint. Bei Chat-, Sprach- und Coding-Assistenten entscheidet sie oft darüber, ob sich ein Modell schnell oder langsam anfühlt, sogar mehr als die gesamte Generierungszeit, denn eine gestreamte Antwort lässt Nutzer lesen, sobald das erste Token ankommt.
Was hineinfließt
Die Benchmarking-Dokumentation von NVIDIA beschreibt TTFT so, dass sie im Allgemeinen die Wartezeit der Anfrage in der Warteschlange, die Prefill-Zeit und die Netzwerklatenz umfasst. Prefill ist der Schritt, in dem das Modell den ganzen Prompt liest und seinen KV-Cache aufbaut, daher erhöhen längere Prompts die TTFT. Ein ausgelasteter Server fügt Wartezeit hinzu. Die Entfernung zum Rechenzentrum fügt Netzwerkzeit hinzu.
Unterschied zum Durchsatz
Nach dem ersten Token wird die Geschwindigkeit als Latenz zwischen Tokens oder in Tokens pro Sekunde gemessen. Ein Modell kann eine niedrige TTFT und langsame Generierung haben oder umgekehrt. Die gesamte Antwortzeit ist ungefähr TTFT plus die Zahl der Output-Tokens mal die Zeit pro Token. Reasoning-Modelle verbringen womöglich auch Zeit mit versteckten Denk-Tokens, bevor die sichtbare Antwort beginnt, was Nutzer als lange TTFT erleben.
Wie du sie senkst
Halte Prompts kurz oder verwende ein festes Präfix mit Prompt Caching wieder, was den Großteil der Prefill-Arbeit spart. Wähle ein kleineres Modell oder eine Anbieterregion nahe bei den Nutzern. Beim Self-Hosting überlaste den Server nicht, da die Warteschlange schnell dominiert. Wenn du Anbieter vergleichst, miss die TTFT mit deinen eigenen Prompt-Längen und unter realistischer Last und sieh dir Perzentile statt des Durchschnitts an. Engines und Anbieter behandelt der Leitfaden zum Inference Serving.
Verwandte Begriffe
- Tokens pro Sekunde
- Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.
- Inferenz
- Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.
- KV-Cache
- Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
- Prompt Caching
- Prompt Caching ist eine API-Funktion, die die verarbeitete Form eines wiederholten Prompt-Präfixes speichert, etwa eines langen System-Prompts oder Dokuments, sodass spätere Anfragen mit demselben Präfix günstiger und schneller sind.
- Streaming (LLM-Ausgabe)
- Streaming schickt die Ausgabe eines LLM Stück für Stück an den Client, während die Tokens erzeugt werden, statt auf die vollständige Antwort zu warten. Nutzer sehen innerhalb von Augenblicken Text erscheinen, auch wenn die ganze Antwort viel länger dauert.