VRAM
VRAMとは、グラフィックスカード上のメモリです。AIの作業ではモデルの重み、KV cache、作業用のデータを保持し、モデルがVRAMに収まるかどうかで、通常それを動かすのに必要なGPUが決まります。
別名: GPU memory
執筆 Divya Sharma · 2026年11月16日確 認 · レビューの方法
GPUが高速に計算できるのは、自身のメモリにあるデータだけです。モデルが収まらなければ、読み込みに失敗するか、CPUオフロードでより遅いシステムメモリにあふれ出し、速度が大きく落ちます。そのため、モデルを自分で動かすとき、「VRAMはどれだけ必要か」が通常最初の問いになります。
モデルの実行時にVRAMを使うもの
まず重みです。パラメータの数×パラメータあたりのバイト数です。低い精度や量子化でこれを小さくでき、たとえば16ビットの重みを4ビットにします。次がKV cacheで、コンテキストの長さと同時リクエストの数とともに大きくなります。サービングエンジンにも、ある程度の作業領域とオーバーヘッドが必要です。
学習ではさらに多く必要
学習では、重みに加えて、勾配、オプティマイザーの状態、保存した活性化が加わります。Hugging Faceのガイドは、Adamだけでパラメータあたり8バイトが加わり、モデル自体が収まってもバッチサイズや系列の長さでGPUメモリを使い果たすことがあると指摘しています。LoRAやQLoRAのような手法があるのはこのためです。
見積もり方
当サイトのGPU calculatorは、モデル、精度、コンテキストの長さを指定してVRAMを見積もります。カードを使い切る計画ではなく、余裕を残してください。Macや一部の新しいチップは、CPUとGPUが1つのプールを共有するユニファイドメモリを使っており、速度は落ちますが、ほとんどの一般消費者向けグラフィックスカードより大きなモデルを読み込めます。手元に十分な大きさのものがなければ、AI GPUクラウドからカードを借りてください。
関連用語
- 量子化
- 量子化(quantization)とは、モデルの重み、場合によっては活性化を、16ではなく8や4など少ないビット数で保存する技術です。モデルに必要なメモリが減り、多くの場合は速く動きますが、精度は多少犠牲になります。
- モデルのパラメータ
- モデルのパラメータとは、ニューラルネットワークが学習で獲得する数値で、そのほとんどは重みです。パラメータ数は70億なら7Bのように書かれ、モデルの規模を表す一般的な略記です。
- KV キャッシュ
- KV キャッシュ(KV cache)とは、transformer が前のトークンについてすでに計算したアテンションのキーとバリューを保存しておくものです。新しいトークンごとに必要な計算はそのトークン自身の分だけになります。生成を速くしますが、コンテキストの長さに応じて増える GPU メモリを消費します。
- GPU
- GPU(graphics processing unit)は、多数の計算を並列に実行するために作られた、小さなコアを数多く持つプロセッサーです。行列演算が速いため、AI モデルの学習と実行の標準的なハードウェアになっています。
- ユニファイドメモリ
- ユニファイドメモリ(unified memory)とは、CPUとGPUがそれぞれ専用のメモリを持つのではなく、1つのメモリのプールを共有する設計です。Apple SiliconのMacや同様のチップでは、ローカルのAIモデルがシステムRAMの大部分をGPUメモリとして使えます。
- ローカルLLM
- ローカルLLMとは、プロバイダーのクラウドAPIではなく、自分のコンピューター、スマートフォン、サーバー上で動かす言語モデルのことです。プロンプトとデータが自分のハードウェアにとどまり、インターネット接続なしでも動作します。