Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Time to First Token

Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.

Auch: TTFT, latency

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

TTFT ist die Verzögerung, bevor überhaupt etwas auf dem Bildschirm erscheint. Bei Chat-, Sprach- und Coding-Assistenten entscheidet sie oft darüber, ob sich ein Modell schnell oder langsam anfühlt, sogar mehr als die gesamte Generierungszeit, denn eine gestreamte Antwort lässt Nutzer lesen, sobald das erste Token ankommt.

Was hineinfließt

Die Benchmarking-Dokumentation von NVIDIA beschreibt TTFT so, dass sie im Allgemeinen die Wartezeit der Anfrage in der Warteschlange, die Prefill-Zeit und die Netzwerklatenz umfasst. Prefill ist der Schritt, in dem das Modell den ganzen Prompt liest und seinen KV-Cache aufbaut, daher erhöhen längere Prompts die TTFT. Ein ausgelasteter Server fügt Wartezeit hinzu. Die Entfernung zum Rechenzentrum fügt Netzwerkzeit hinzu.

Unterschied zum Durchsatz

Nach dem ersten Token wird die Geschwindigkeit als Latenz zwischen Tokens oder in Tokens pro Sekunde gemessen. Ein Modell kann eine niedrige TTFT und langsame Generierung haben oder umgekehrt. Die gesamte Antwortzeit ist ungefähr TTFT plus die Zahl der Output-Tokens mal die Zeit pro Token. Reasoning-Modelle verbringen womöglich auch Zeit mit versteckten Denk-Tokens, bevor die sichtbare Antwort beginnt, was Nutzer als lange TTFT erleben.

Wie du sie senkst

Halte Prompts kurz oder verwende ein festes Präfix mit Prompt Caching wieder, was den Großteil der Prefill-Arbeit spart. Wähle ein kleineres Modell oder eine Anbieterregion nahe bei den Nutzern. Beim Self-Hosting überlaste den Server nicht, da die Warteschlange schnell dominiert. Wenn du Anbieter vergleichst, miss die TTFT mit deinen eigenen Prompt-Längen und unter realistischer Last und sieh dir Perzentile statt des Durchschnitts an. Engines und Anbieter behandelt der Leitfaden zum Inference Serving.

Verwandte Begriffe

Tokens pro Sekunde
Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.
Inferenz
Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.
KV-Cache
Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
Prompt Caching
Prompt Caching ist eine API-Funktion, die die verarbeitete Form eines wiederholten Prompt-Präfixes speichert, etwa eines langen System-Prompts oder Dokuments, sodass spätere Anfragen mit demselben Präfix günstiger und schneller sind.
Streaming (LLM-Ausgabe)
Streaming schickt die Ausgabe eines LLM Stück für Stück an den Client, während die Tokens erzeugt werden, statt auf die vollständige Antwort zu warten. Nutzer sehen innerhalb von Augenblicken Text erscheinen, auch wenn die ganze Antwort viel länger dauert.

Quellen