ストリーミング(LLMの出力)
ストリーミング(streaming)とは、完全な応答を待たずに、トークンが生成されるそばからLLMの出力を少しずつクライアントに送ることです。完全な回答にはずっと長くかかる場合でも、ユーザーにはすぐにテキストが表示されます。
別名: token streaming, streaming responses, server-sent events, SSE
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
言語モデルは1度に1つのトークンを生成します。長い回答は完了までに何秒もかかることがあり、ストリーミングがなければ、ユーザーはその間ずっと読み込み中の表示を見つめることになります。ストリーミングでは、最初の言葉ができた時点で届くため、合計時間は同じでもアプリは速く感じられます。
仕組み
リクエストに`"stream": true`のようなフラグを設定します。プロバイダーはHTTP接続を開いたままにし、通常はserver-sent events(SSE)として、テキストの次の断片を載せた小さなイベントを順に送ります。メッセージの開始と終了は別のイベントで示され、ツール呼び出しや推論もストリーミングするAPIもあります。公式のSDKは断片をまとめてくれます。OpenAI互換APIを提供するセルフホストのサーバーのほとんども、同じパターンに対応しています。
何が変わるか
ストリーミングされる応答は2つの数字で表されます。ユーザーが応答の速さとして感じるtime to first tokenと、残りがどれだ け速く届くかを決める1秒あたりのトークン数です。ストリーミングは前者を改善し、後者は変えません。
対処すべきこと
インターフェースは途中までのテキストに対応しなければなりません。書きかけのmarkdownの描画や、途中で切れた接続の処理です。すでにテキストを表示した後で、ストリームの途中にエラーが届くこともあります。JSONのようなstructured outputが必要な場合は、最後まで待って解析するか、途中までの入力を受け付けるパーサーを使います。回答全体を確認するコンテンツフィルターやガードレールは、テキストがすでに画面に出ていると適用しにくくなります。
関連用語
- Time to first token(TTFT)
- Time to first token(TTFT、最初のトークンまでの時間)とは、ユーザーが言語モデルにリクエストを送ってから応答の最初のトークンを受け取るまでの待ち時間で、キューでの待ち、プロンプトの処理、ネットワークの時間を含みます。
- 1秒あたりのトークン数
- 1秒あたりのトークン数(tokens per second、tok/s)とは、言語モデルが出力を生成する速さを測る指標です。1つの応答がストリーミングされる速さであるユーザーごとの値か、同時に処理するすべてのリクエストの合計出力であるシステム全体の値で示されます。
- 出力トークン
- 出力トークン(output tokens)とは、言語モデルが応答で生成するトークンです。入力トークンとは別に数えられ、別に請求されます。max_tokensの設定で、1つの応答に含められる数の上限を決めます。
- OpenAI互換API
- OpenAI互換API(OpenAI-compatible API)とは、ほかのプロバイダーやツールが提供するエンドポイントのうち、OpenAIのAPIと同じリクエストとレスポンスの形式を受け付けるものです。OpenAI向けに書いたコードは、ベースURL、キー、モデル名を変えるだけで切り替えられます。
- Structured output(構造化出力)
- Structured output(構造化出力)とは、言語モデルの応答を、通常はJSONスキーマなど自分で定義した形式に従わせるAPIの機能です。自由なテキストか ら抜き出す代わりに、コードで確実に解析できます。