投機的デコーディング
投機的デコーディング(speculative decoding)とは、小さく速いドラフトモデルに複数のトークンを提案させ、大きなモデルが1回のパスでそれを確認して受け入れたものを残すことで、テキスト生成を高速化する手法です。出力は大きなモデルだけで生成した場合と一致しま す。
別名: draft model
執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法
大規模言語モデルは通常、1回のフォワードパスで1トークンを生成し、パスのたびにすべての重みをメモリから読み込みます。そのため、GPUの計算能力に余裕があってもデコードは遅くなります。Leviathan et al.が2022年に説明した投機的デコーディングは、その余った計算能力を使います。
仕組み
より安価なドラフトモデルが次の数トークンを推測します。続いて大きなターゲットモデルが、それらの位置すべてを一度に並列で採点します。同意したトークンは残し、最初に食い違った箇所ではターゲットモデル自身の選択を使い、ドラフトの残りは捨てます。特別なサンプリングの規則により、最終的なテキストはターゲットモデルと同じ分布に従うため、品質は変わりません。論文では、T5-XXLで出力が同一のまま2X-3Xの高速化を報告しています。
効果がある場面
効果は、ドラフトがどれだけの頻度で当たるかで決まります。コード、構造化された出力、プロンプトの一部を繰り返す回答など、予測しやすいテキストで最もよく機能します。別個のドラフトモデルを使わない変種もあります。メインのモデルに予測用のヘッドを追加するものや、プロンプト自体の中からありそうな続きを探すものです。vLLMやSGLangなどのサービングエンジンは、いくつかの方式に対応しています。
コスト
ドラフトモデルには専用のメモリが必要で、外れた推測は計算の無駄になります。GPUがすでに忙しい、バッチ処理の負荷が高い状況では、効果は小さくなります。導入の前後で、自分のトラフィックで1秒あたりのトークン数を測ってください。全体像については推論とモデルサービングをご覧ください。
関連用語
- 推論
- 推論(inference)とは、学習済みのモデルを動かし、新しい入力から出力を生み出すことです。LLM がプロンプトへの返答を生成するのがその例です。学習とは対照的に、ユーザーがモデルを呼び出すたびに料金を払う段階です。
- 1秒あたりのトークン数
- 1秒あたり のトークン数(tokens per second、tok/s)とは、言語モデルが出力を生成する速さを測る指標です。1つの応答がストリーミングされる速さであるユーザーごとの値か、同時に処理するすべてのリクエストの合計出力であるシステム全体の値で示されます。
- モデルサービング
- モデルサービング(model serving)とは、学習済みのモデルを、アプリケーションがネットワーク経由で呼び出すサービスとして動かすことです。重みをGPUに読み込み、リクエストをキューに入れてバッチ処理し、メモリを管理して結果を返すソフトウェアを使います。
- 自己回帰モデル
- 自己回帰モデル(autoregressive model)とは、系列を 1 つずつ生成するモデルです。それまでのすべてのトークンから次のトークンを予測し、その出力を入力に戻します。ほとんどの大規模言語モデルはこの方式で動いています。
- 知識蒸留
- 知識蒸留(knowledge distillation)とは、小さな生徒モデルに大きな教師モデルの出力をまねさせる学習方法です。教師の能力の多くを低いコストで保った蒸留モデ ルができます。