1秒あたりのトークン数
1秒あたりのトークン数(tokens per second、tok/s)とは、言語モデルが出力を生成する速さを測る指標です。1つの応答がストリーミングされる速さであるユーザーごとの値か、同時に処理するすべてのリクエストの合計出力であるシステム全体の値で示されます。
別名: tok/s, throughput
執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法
最初のトークンが届いた後は、1秒あたりのトークン数が、応答の残りにかかる時間を決めます。トークンはテキストのかたまりで、多くの場合は単語の一部なので、tok/sは1秒あたりの単語数ではありません。同じテキストでもトークナイザーが違えば数が変わります。
ユーザーごととシステム全体
この2つの数字は、異なる問いに答えます。ユーザーごとの速度は、応答がストリーミングされてくるときに1人が目にするものです。システム全体のスループットは、NVIDIAのベンチマークのドキュメントの定義では、すべての同時リクエストにわたる出力トークンの合計スループットです。同時リクエストを増やすと、通常はGPUが飽和するまでシステムのスループットは上がりますが、各ユーザーのストリームは遅くなります。プロバイダーやベンチマークは、どちらを指しているかを必ずしも明示しません。
速度を制限するもの
デコード中は、新しいトークンのたびにモデルの重みをメモリから読み込む必要があるため、速度はメモリ帯域とモデルのサイズに大きく左右されます。そのため、量子化、小さなモデル、トークンごとに重みの一部しか使わないmixture-of-expertsモデルは、生成が速いことがよくあります。投機的デコーディングとcontinuous batchingは、サービングエンジンで速度を上げる一般的な方法です。
数字の使い方
ローカルモデルについては、当サイトのGPU calculatorで、モデルがVRAMに収まるか、どれくらいの速さで動きそうかを見積もれます。ホスト型モデルについては、出力の長さ、プロンプトの長さ、サーバーの負荷がすべて結果を変えるため、自分のプロンプトで測定してください。time to first tokenと組み合わせると、応答の合計時間を見積もれます。
関連用語
- Time to first token(TTFT)
- Time to first token(TTFT、最初のトークンまでの時間)とは、ユーザーが言語モデルにリクエストを送ってから応答の最初のトークンを受け取るまでの待ち時間で、キューでの待ち、プロンプトの処理、ネットワークの時間を含みます。
- VRAM
- VRAMとは、グラフィックスカード上のメモリです。AIの作業ではモデルの重み、KV cache、作業用のデータを保持し、モデルがVRAMに収まるかどうかで、通常それを動かすのに必要なGPUが決まります。
- 推論
- 推論(inference)とは、学習済みのモデルを動かし、新しい入力から出力を生み出すことです。LLM がプロンプトへの返答を生成するのがその例です。学習とは対照的に、ユーザーがモデルを呼び出すたびに料金を払う段階です。
- 投機的デコーディング
- 投機的デコーディング(speculative decoding)とは、小さく速いドラフトモデルに複数のトークンを提案させ、大きなモデルが1回のパスでそれを確認して受け入れたものを残すことで、テキスト生成を高速化する手法です。出力は大きなモデルだけで生成した場合と一致します。
- モデルサービング
- モデルサービング(model serving)とは、学習済みのモデルを、アプリケーションがネットワーク経由で呼び出すサービスとして動かすことです。重みをGPUに読み込み、リクエストをキューに入れてバッチ処理し、メモリを管理して結果を返すソフトウェアを使います。