PagedAttention
PagedAttentionとは、言語モデルのKV cacheを、OSのページのように、GPUメモリ上で隣り合っている必要のない小さな固定サイズのブロックに格納する手法です。無駄なメモリを減らし、サーバーが同時に処理できるリクエストを増やします。
別名: paged KV cache
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
テキストを生成する間、モデルはKV cacheを保持します。これまでのすべてのトークンについて保存したattentionのキーと値です。新しいトークンのたびに大きくなり、応答がどれだけ長くなるかは事前に誰にもわかりません。古いサーバーは、リクエストごとに最大長に合わせたサイズの連続したGPUメモリを1つ確保していました。その大部分は使われず、確保領域の間の隙間はほかの誰も使えませんでした。
仕組み
2023年のvLLMの論文は、OSの仮想メモリのページングの考え方を借りました。KV cacheを小さなブロックに分割します。各リクエストは、論理的な位置をメモリ上のどこにあってもよい物理ブロックに対応付けるブロックテーブルを持ち、新しいブロックは必要になったときにだけ割り当てられます。attentionカーネルはテーブルを通して読み取ります。著者らは、KV cacheのメモリの無駄がほぼゼロになり、同じレイテンシで従来のシステムの2倍から4倍のスループットが出たと報告しています。
ブロックは間接的に参照されるため、リクエスト間で共有することもできます。同じプロンプトからの複数のサンプルや、同じ長いシステムプロンプトを持つ多数のチャットが、共有のプレフィックスの1つのコピーを指せます。これがサーバーにおけるプレフィックスキャッシ ュの基盤です。
なぜ重要か
空きメモリが増えればバッチを大きくでき、バッチが大きければGPUあたりのユーザー数が増えます。PagedAttentionがあるからこそ、continuous batchingはリクエストを自由に追加したり外したりできます。最初にvLLMで搭載され、現在では本番環境のモデルサーバーの多くが同様のページ方式の設計を使っています。
限界
KV cache自体を小さくするわけではありません。長いコンテキストには依然として多くのVRAMが必要です。この問題には、KV cacheの量子化などの手法が別に取り組んでいます。
関連用語
- KV キャッシュ
- KV キャッシュ(KV cache)とは、transformer が前のトークンについてすでに計算したアテンションのキーとバリューを保存しておくものです。新しいトークンごとに必要な計算はそのトークン自身の分だけになります。生成を速くしますが、コンテキストの長さに応じて増える GPU メモリを消費します。
- モデルサービング
- モデルサービング(model serving)とは、学習済みのモデルを、アプリケーションがネットワーク経由で呼び出すサービスとして動かすことです。重みをGPUに読み込み、リクエストをキューに入れてバッチ処理し、メモリを管理して結果を返すソフトウェアを使います。
- Continuous batching
- Continuous batching(連続バッチ処理)とは、バッチ全体の完了を待つのではなく、生成の各ステップの後に、実行中の GPU のバッチへ新しいリクエストを加え、終わったリクエストを取り除くモデルサービングの技術です。GPU を休ませず、スループットを上げます。
- VRAM
- VRAMとは、グラフィックスカード上のメモリです。AIの作業ではモデルの重み、KV cache、作業用のデータを保持し、モデルがVRAMに収まるかどうかで、通常それを動かすのに必要なGPUが決まります。
- アテンション機構
- アテンション機構(attention mechanism)とは、ニューラルネットワークが処理する各トークンについて、入力内のほかのすべてのトークンにどれだけの重みを与えるかを決める仕組みです。セルフアテンションは transformer の中核となる演算です。