Streaming (LLM-Ausgabe)
Streaming schickt die Ausgabe eines LLM Stück für Stück an den Client, während die Tokens erzeugt werden, statt auf die vollständige Antwort zu warten. Nutzer sehen innerhalb von Augenblicken Text erscheinen, auch wenn die ganze Antwort viel länger dauert.
Auch: token streaming, streaming responses, server-sent events, SSE
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Sprachmodelle erzeugen ein Token nach dem anderen. Eine lange Antwort kann viele Sekunden bis zur Fertigstellung brauchen, und ohne Streaming starrt der Nutzer die ganze Zeit auf einen Ladekreis. Mit Streaming kommen die ersten Wörter an, sobald sie existieren, sodass sich die App schnell anfühlt, obwohl die Gesamtzeit dieselbe ist.
So funktioniert es
Du setzt in der Anfrage ein Flag wie `"stream": true`. Der Anbieter hält die HTTP-Verbindung offen und schickt eine Folge kleiner Events, meist als Server-Sent Events (SSE), die jeweils das nächste Textfragment tragen. Eigene Events markieren Anfang und Ende der Nachricht, und manche APIs streamen auch Tool-Aufrufe und Reasoning. Offizielle SDKs sammeln die Fragmente für dich. Die meisten selbst gehosteten Server, die eine OpenAI-kompatible API bieten, unterstützen dasselbe Muster.
Was es ändert
Zwei Zahlen beschreiben eine gestreamte Antwort: Time to First Token, die Nutzer als Reaktionsschnelligkeit wahrnehmen, und Tokens pro Sekunde, die bestimmen, wie schnell der Rest ankommt. Streaming verbessert die erste, ohne die zweite zu ändern.
Was du abfangen musst
Deine Oberfläche muss mit unvollständigem Text klarkommen: halb geschriebenes Markdown darstellen und eine Verbindung handhaben, die mittendrin abbricht. Fehler können mitten in einem Stream ankommen, nachdem du schon Text gezeigt hast. Wenn du Structured Output wie JSON brauchst, wartest du entweder bis zum Ende, um es zu parsen, oder nutzt einen Parser, der unvollständige Eingaben akzeptiert. Inhaltsfilter und Guardrails, die die ganze Antwort prüfen, lassen sich schwerer anwenden, wenn der Text schon auf dem Bildschirm steht.
Verwandte Begriffe
- Time to First Token
- Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.
- Tokens pro Sekunde
- Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.
- Output-Tokens
- Output-Tokens sind die Tokens, die ein Sprachmodell in seiner Antwort erzeugt. Sie werden getrennt von Input-Tokens gezählt und abgerechnet, und eine Einstellung namens max_tokens begrenzt, wie viele eine Antwort enthalten darf.
- OpenAI-kompatible API
- Eine OpenAI-kompatible API ist ein Endpunkt eines anderen Anbieters oder Tools, der dasselbe Anfrage- und Antwortformat wie die API von OpenAI annimmt. Code, der für OpenAI geschrieben wurde, kann also darauf umsteigen, indem man Base-URL, Schlüssel und Modellnamen ändert.
- Structured Output
- Structured Output (strukturierte Ausgabe) ist eine API-Funktion, die die Antwort eines Sprachmodells einem von dir festgelegten Format folgen lässt, meist einem JSON Schema, damit Code sie verlässlich parsen kann, statt freien Text auszuwerten.