Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Streaming (LLM-Ausgabe)

Streaming schickt die Ausgabe eines LLM Stück für Stück an den Client, während die Tokens erzeugt werden, statt auf die vollständige Antwort zu warten. Nutzer sehen innerhalb von Augenblicken Text erscheinen, auch wenn die ganze Antwort viel länger dauert.

Auch: token streaming, streaming responses, server-sent events, SSE

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Sprachmodelle erzeugen ein Token nach dem anderen. Eine lange Antwort kann viele Sekunden bis zur Fertigstellung brauchen, und ohne Streaming starrt der Nutzer die ganze Zeit auf einen Ladekreis. Mit Streaming kommen die ersten Wörter an, sobald sie existieren, sodass sich die App schnell anfühlt, obwohl die Gesamtzeit dieselbe ist.

So funktioniert es

Du setzt in der Anfrage ein Flag wie `"stream": true`. Der Anbieter hält die HTTP-Verbindung offen und schickt eine Folge kleiner Events, meist als Server-Sent Events (SSE), die jeweils das nächste Textfragment tragen. Eigene Events markieren Anfang und Ende der Nachricht, und manche APIs streamen auch Tool-Aufrufe und Reasoning. Offizielle SDKs sammeln die Fragmente für dich. Die meisten selbst gehosteten Server, die eine OpenAI-kompatible API bieten, unterstützen dasselbe Muster.

Was es ändert

Zwei Zahlen beschreiben eine gestreamte Antwort: Time to First Token, die Nutzer als Reaktionsschnelligkeit wahrnehmen, und Tokens pro Sekunde, die bestimmen, wie schnell der Rest ankommt. Streaming verbessert die erste, ohne die zweite zu ändern.

Was du abfangen musst

Deine Oberfläche muss mit unvollständigem Text klarkommen: halb geschriebenes Markdown darstellen und eine Verbindung handhaben, die mittendrin abbricht. Fehler können mitten in einem Stream ankommen, nachdem du schon Text gezeigt hast. Wenn du Structured Output wie JSON brauchst, wartest du entweder bis zum Ende, um es zu parsen, oder nutzt einen Parser, der unvollständige Eingaben akzeptiert. Inhaltsfilter und Guardrails, die die ganze Antwort prüfen, lassen sich schwerer anwenden, wenn der Text schon auf dem Bildschirm steht.

Verwandte Begriffe

Time to First Token
Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.
Tokens pro Sekunde
Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.
Output-Tokens
Output-Tokens sind die Tokens, die ein Sprachmodell in seiner Antwort erzeugt. Sie werden getrennt von Input-Tokens gezählt und abgerechnet, und eine Einstellung namens max_tokens begrenzt, wie viele eine Antwort enthalten darf.
OpenAI-kompatible API
Eine OpenAI-kompatible API ist ein Endpunkt eines anderen Anbieters oder Tools, der dasselbe Anfrage- und Antwortformat wie die API von OpenAI annimmt. Code, der für OpenAI geschrieben wurde, kann also darauf umsteigen, indem man Base-URL, Schlüssel und Modellnamen ändert.
Structured Output
Structured Output (strukturierte Ausgabe) ist eine API-Funktion, die die Antwort eines Sprachmodells einem von dir festgelegten Format folgen lässt, meist einem JSON Schema, damit Code sie verlässlich parsen kann, statt freien Text auszuwerten.

Quellen