推論
推論(inference)とは、学習済みのモデルを動かし、新しい入力から出力を生み出すことです。LLM がプロンプトへの返答を生成するのがその例です。学習とは対照的に、ユーザーがモデルを呼び出すたびに料金を払う段階です。
別名: model inference
執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法
学習がモデルの重みを決め、推論がそれを使います。大規模言語モデルの場合、推論とは、プロンプトを受け取ってトークンに分け、次のトークンを予測しては新しいトークンを入力に戻すことを、モデルが止まるか長さの上限に達するまで繰り返すことです。
2 つの段階
LLM の推論には prefill の段階と decode の段階があります。prefill はプロンプト全体を一度に読んで KV キャッシュを作り、最初のトークンまでの時間を決めます。次に decode が 1 ステップに 1 トークンずつ生成し、その速さは毎秒トークン数で測ります。prefill は主に計算能力に制約され、decode は主に GPU がメモリから重みを読み出す速さに制約されます。
開発者にとっての重要性
学習は一度きりですが、推論はリクエストのたびに行われるので、通常は AI 製品の運用コストの大部分を占めます。推論プロバイダーからトークン単位で購入することも、vLLM などのモデルサービングエンジンで自分で動かすこともできます。量子化、バッチ処理、投機的デコーディングなどの選択は、速度、コスト、品質のバランスを取るものです。選択肢の比較は推論サービングのガイドにあります。
論理的な推論とは別物
ここでいう「推論」(inference)は、モデルを動かすことを指すエンジニアリングの言葉です。モデルが論理的な推論を行っているという意味ではありません。推論モデルは回答ごとにより多くの推論の計算を使い、これはテスト時計算と呼ばれます。
関連用語
- モデルサービング
- モデルサービング(model serving )とは、学習済みのモデルを、アプリケーションがネットワーク経由で呼び出すサービスとして動かすことです。重みをGPUに読み込み、リクエストをキューに入れてバッチ処理し、メモリを管理して結果を返すソフトウェアを使います。
- Time to first token(TTFT)
- Time to first token(TTFT、最初のトークンまでの時間)とは、ユーザーが言語モデルにリクエストを送ってから応答の最初のトークンを受け取るまでの待ち時間で、キューでの待ち、プロンプトの処理、ネットワークの時間を含みます。
- 1秒あたりのトークン数
- 1秒あたりのトークン数(tokens per second、tok/s)とは、言語モデルが出力を生成する速さを測る指標です。1つの応答がストリーミングされる速さであるユーザーごとの値か、同時に処理するすべてのリクエストの合計出力であるシステム全体の値で示されます。
- KV キャッシュ
- KV キャッシュ(KV cache)とは、transformer が前のトークンについてすでに計算したアテンションのキーとバリューを保存しておくものです。新しいトークンごとに必要 な計算はそのトークン自身の分だけになります。生成を速くしますが、コンテキストの長さに応じて増える GPU メモリを消費します。
- 推論プロバイダー
- 推論プロバイダー(inference provider)とは、自社のハードウェアで AI モデルを動かし、通常はトークン単位の課金で API を通じて利用権を販売する企業です。自分で GPU を管理することなく、プロンプトを送って出力を受け取れます。