KV キャッシュ
KV キャッシュ(KV cache)とは、transformer が前のトークンについてすでに計算したアテンションのキーとバリューを保存しておくものです。新しいトークンごとに必要な計算はそのトークン自身の分だけになります。生成を速くしますが、コンテキストの長さに応じて増える GPU メモリを消費します。
別名: key-value cache
執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法
transformer では、新しいトークンはそれぞれアテンション機構を通じて前のすべてのトークンにアテンションします。アテンション機構は、層ごと、トークンごとにキーとバリューのベクトルを使います。キャッシュがなければ、モデルは毎ステップで系列全体のベクトルを計算し直すことになります。KV キャッシュはそれをメモリに保持するので、次のトークンを生成する際に加わるのは新しい 1 組だけです。
メモリのコスト
キャッシュは、コンテキスト内のトークン数、層の数、同時に処理するリクエストの数に応じて大きくなります。長いプロンプトや多数のユーザーの場合、重みそのものと同じくらいの VRAM を占めることがあります。モデルがカードに収まっても長いコンテキストでは失敗することがあるのはこのためです。PagedAttention の論文は、リクエストごとの KV キャッシュのメモリを、巨大で、リクエストが伸びたり終わったりするにつれてサイズが変わるものと説明しています。無駄になったキャッシュのメモリが、サーバーがまとめて処理でき るリクエストの数を制限します。
エンジンによる管理
vLLM とともに登場した paged attention は、仮想メモリのページのように固定サイズのブロックでキャッシュを保存し、断片化を避け、同じプレフィックスを持つリクエスト間でブロックを共有します。エンジンによっては、キャッシュをより低い精度に量子化したり、CPU のメモリにオフロードしたりもします。
KV キャッシュとプロンプトキャッシュ
KV キャッシュは 1 回の生成の中にとどまります。API の提供元が提供するプロンプトキャッシュは、繰り返し使われるプロンプトのプレフィックスについて計算済みの状態を別々のリクエストにまたがって保持し、時間と費用を節約します。GPU 計算ツールは、メモリの見積もりにコンテキストの長さを含めています。
関連用語
- VRAM
- VRAMとは、グラフィックスカード上のメモリです。AIの作 業ではモデルの重み、KV cache、作業用のデータを保持し、モデルがVRAMに収まるかどうかで、通常それを動かすのに必要なGPUが決まります。
- PagedAttention
- PagedAttentionとは、言語モデルのKV cacheを、OSのページのように、GPUメモリ上で隣り合っている必要のない小さな固定サイズのブロックに格納する手法です。無駄なメモリを減らし、サーバーが同時に処理できるリクエストを増やします。
- プロンプトキャッシュ
- プロンプトキャッシュ(prompt caching)とは、長いシステムプロンプトや文書など、繰り返し使われるプロンプトの先頭部分を処理済みの形で保存するAPIの機能です。同じ先頭部分で始まる後続のリクエストが安く、速くなります。
- コンテキストウィンドウ
- コンテキストウィンドウ(context window)とは、言語モデルが一度に考慮できるテキストの最大量で、トークン数で数えます。システムプロンプト、会話、文書、ツールの結果、モデルが書く応答が含まれます。
- アテンション機構
- アテンション機構(attention mechanism)とは、ニューラルネットワークが処理する各トークンについて、入力内のほかのすべてのトークンにどれだけの重みを与えるかを決める仕組みです。セルフアテンションは transformer の中核となる演算です。