CPU オフロード
CPU オフロード(CPU offloading)とは、GPU メモリに収まらないモデルを、一部の層をシステムの RAM やディスクに置き、残りを GPU で処理することで動かす方法です。モデルは動きますが、遅くなります。
別名: offload layers, GPU offloading, partial offload
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
モデルの重みは通常 VRAM に置かれます。モデルが GPU より大きい場合、オフロードでは GPU に収まるだけの層を載せ、残りを通常の RAM に置きます。ゲーミング PC で大きなローカル LLM を動かすときは、この方法を使っています。
2 つのやり方
Hugging Face Accelerate と Transformers では、`device_map="auto"` を設定すると、まず GPU、次に CPU、最後にディスクの順に埋めていきます。RAM に置いた層は必要なときに GPU に移されます。これは、単一の層のうち最大のものが GPU に収まる限り機能します。
llama.cpp と、それをもとにした Ollama や LM Studio などのツールでは、GPU に載せる層の数を選びます(「GPU layers」の設定)。残りは CPU が RAM から直接計算します。このハイブリッドの方式が、GGUF モデルでは一般的です。
代償
システムの RAM は VRAM よりはるかに遅く、PCIe バスでのデータ移動はさらに遅くなります。オフロードする層が増えるごとに毎秒トークン数が下がり、ときには大きく下がります。ディスクへのオフロードは最も遅い方法です。オフロードは、対話的な用途よりも、モデルを試すときや 速度があまり問題にならないバッチ処理に向いています。
代替手段
オフロードの前に、すべての層を小さくする、より小さな量子化を試してください。Mixture-of-experts のモデルは、トークンごとに少数のエキスパートしか動かないので、部分的なオフロードに向いています。ユニファイドメモリを備えたマシンでは、CPU と GPU が 1 つのメモリを共有するので、この問題を避けられます。GPU 計算ツールで、モデルのどれだけがあなたのカードに収まるかを見積もれます。
関連用語
- VRAM
- VRAMとは、グラフィックスカード上のメモリです。AIの作業ではモデルの重み、KV cache、作業用のデータを保持し、モデルがVRAMに収まるかどうかで、通常それを動かすのに必要なGPUが決まります。
- ユニファイドメモリ
- ユニファイドメモリ(unified memory)とは、CPUとGPUがそれぞれ専用のメモリを持つので はなく、1つのメモリのプールを共有する設計です。Apple SiliconのMacや同様のチップでは、ローカルのAIモデルがシステムRAMの大部分をGPUメモリとして使えます。
- ローカルLLM
- ローカルLLMとは、プロバイダーのクラウドAPIではなく、自分のコンピューター、スマートフォン、サーバー上で動かす言語モデルのことです。プロンプトとデータが自分のハードウェアにとどまり、インターネット接続なしでも動作します。
- 量子化
- 量子化(quantization)とは、モデルの重み、場合によっては活性化を、16ではなく8や4など少ないビット数で保存する技術です。モデルに必要なメモリが減り、多くの場合は速く動きますが、精度は多少犠牲になります。
- GGUF
- GGUF は、モデルの重み、トークナイザー、メタデータを 1 つのファイルに保存するバイナリのファイル形式です。llama.cpp などの GGML ベースのツールでの高速な読み込みとローカル推論のために作られており、量子化された形で使われることが多くあります。