本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

Time to first token(TTFT)

Time to first token(TTFT、最初のトークンまでの時間)とは、ユーザーが言語モデルにリクエストを送ってから応答の最初のトークンを受け取るまでの待ち時間で、キューでの待ち、プロンプトの処理、ネットワークの時間を含みます。

別名: TTFT, latency

執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法

TTFTは、画面に何かが表示されるまでの遅延です。チャット、音声、コーディングのアシスタントでは、モデルが速く感じられるか遅く感じられるかを決めるのは、多くの場合、生成の合計時間よりもこちらです。ストリーミング応答なら、最初のトークンが届いた時点でユーザーは読み始められるからです。

含まれるもの

NVIDIAのベンチマークのドキュメントは、TTFTには一般に、リクエストのキューでの待ち時間、prefillの時間、ネットワークのレイテンシが含まれると説明しています。prefillは、モデルがプロンプト全体を読んでKV cacheを構築するステップなので、プロンプトが長いほどTTFTは長くなります。サーバーが混んでいればキューでの待ち時間が加わります。データセンターまでの距離はネットワークの時間を増やします。

スループットとの違い

最初のトークンの後の速度は、トークン間のレイテンシや1秒あたりのトークン数で測ります。TTFTが短くても生成が遅いモデルもあれば、その逆もあります。応答の合計時間は、おおよそTTFTに、出力トークン数×トークンあたりの時間を加えたものです。推論モデルは、目に見える回答が始まる前に隠れた思考のトークンに時間を使うこともあり、ユーザーにはそれが長いTTFTとして感じられます。

短くする方法

プロンプトを短く保つか、プロンプトキャッシュで固定のプレフィックスを再利用してください。prefillの作業の大部分を省けます。より小さなモデルや、ユーザーに近いプロバイダーのリージョンを選びます。セルフホストの場合は、キューでの待ちがすぐに支配的になるため、サーバーに負荷をかけすぎないようにします。プロバイダーを比較するときは、自分のプロンプトの長さと現実的な負荷でTTFTを測り、平均ではなくパーセンタイルを見てください。エンジンとプロバイダーについては推論サービングのガイドをご覧ください。

関連用語

1秒あたりのトークン数
1秒あたりのトークン数(tokens per second、tok/s)とは、言語モデルが出力を生成する速さを測る指標です。1つの応答がストリーミングされる速さであるユーザーごとの値か、同時に処理するすべてのリクエストの合計出力であるシステム全体の値で示されます。
推論
推論(inference)とは、学習済みのモデルを動かし、新しい入力から出力を生み出すことです。LLM がプロンプトへの返答を生成するのがその例です。学習とは対照的に、ユーザーがモデルを呼び出すたびに料金を払う段階です。
KV キャッシュ
KV キャッシュ(KV cache)とは、transformer が前のトークンについてすでに計算したアテンションのキーとバリューを保存しておくものです。新しいトークンごとに必要な計算はそのトークン自身の分だけになります。生成を速くしますが、コンテキストの長さに応じて増える GPU メモリを消費します。
プロンプトキャッシュ
プロンプトキャッシュ(prompt caching)とは、長いシステムプロンプトや文書など、繰り返し使われるプロンプトの先頭部分を処理済みの形で保存するAPIの機能です。同じ先頭部分で始まる後続のリクエストが安く、速くなります。
ストリーミング(LLMの出力)
ストリーミング(streaming)とは、完全な応答を待たずに、トークンが生成されるそばからLLMの出力を少しずつクライアントに送ることです。完全な回答にはずっと長くかかる場合でも、ユーザーにはすぐにテキストが表示されます。

出典