GPU
GPU(graphics processing unit)は、多数の計算を並列に実行するために作られた、小さなコアを数多く持つプロセッサーです。行列演算が速いため、AI モデルの学習と実行の標準的なハードウェアになっています。
別名: graphics processing unit
執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法
GPU は、同じ計算を何百万ものピクセルに一度に実行する 3D グラフィックスの描画用チップとして始まりました。2006 年に登場した NVIDIA の CUDA が、その並列処理能力を汎用の計算に開放しました。ニューラルネットワークはこれによく合うことがわかりました。学習も実行も、その大半は多くのコアに自然に分割できる大きな行列の掛け算だからです。
AI に GPU が必要な理由
CPU は、多様で逐次的な作業向けに設計された、少数の強力なコアを持ちます。GPU はその代わりに、非常に多くの単純なコアと非常に高速なメモリを持ち、transformer で繰り返される演算に向いています。現代のデータセンター向け GPU は低精度の演算専用のユニットを備えており、FP8 や 4-bit などの形式が重要なのはそのためです。
見るべき点
モデルを動かす場合、純粋な計算能力よりもメモリのほうが重要なことがよくあります。VRAM の容量でどのモデルが収まるかが決まり、メモリ帯域幅が生成中の毎秒トークン数をほぼ決めます。学習や大きなモデルでは、テンソル並列などの方法で作業を多くのカードに分けるので、GPU 間の接続が重要になります。このサイトの GPU 計算ツールで、モデルに必要なものを見積もれます。
代替手段
Google の TPU は機械学習専用に設計されたチップで、主に Google Cloud で使われています。スマートフォンやノートパソコンの NPU は、小さなモデルを低消費電力で動かします。Apple などの一部のチップは、CPU と GPU が共有するユニファイドメモリを使います。ハードウェアを所有せず、AI GPU クラウドやサーバーレス GPU のプラットフォームで借りることもできます。
関連用語
- VRAM
- VRAMとは、グラフィックスカード上のメモリです。AIの作業ではモデルの重み、KV cache、作業用のデータを保持し、モデルがVRAMに収まるかどうかで、通常それを動かすのに必要なGPUが決まります。
- TPU
- TPU(tensor processing unit)とは、Googleが機械学習のために作った独自のチップで、大きな行列積ユニットと広帯域メモリを中心に構成されています。GoogleはTPUを、Google Cloud上のレンタルサービスとして他社に提供しています。
- NPU
- NPU(neural processing unit)とは、ニューラルネットワークの計算を高速かつ低消費電力で実行するために作られたチップ、または大きなチップ内のブロックです。スマートフォンやノートPCは、NPUを使って小さなAIモデルをデバイス上で動かします。
- GPU クラウド
- GPU クラウド(GPU cloud)とは、AI の学習、ファインチューニング、推論のために GPU マシンを時間単位や秒単位で貸し出すサービスです。neocloud と呼ばれることもある専門の事業者は GPU に特化しており、大手の汎用クラウドより安いことがよくあります。
- ユニファイドメモリ
- ユニファイドメモリ(unified memory)とは、CPUとGPUがそれぞれ専用のメモリを持つのではなく、1つのメモリのプールを共有する設計です。Apple SiliconのMacや同様のチップでは、ローカルのAIモデルがシステムRAMの大部分をGPUメモリとして使えます。
- テンソル並列
- テンソル並列(tensor parallelism)とは、ニューラルネットワークの各層を複数のGPUに分割し、すべてのGPUが各重み行列の一部を持ち、毎ステップの自分の担当分を計算する方法です。1枚のGPUには大きすぎるモデルを、多数のGPUにまたがって動かせます。