テンソル並列
テンソル並列(tensor parallelism)とは、ニューラルネットワークの各層を複数のGPUに分割し、すべてのGPUが各重み行列の一部を持ち、毎ステップの自分の担当分を計算する方法です。1枚のGPUには大きすぎるモデルを、多数のGPUにまたがって動かせます。
別名: multi-GPU, pipeline parallelism, model parallelism
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
モデルの重みが1枚のGPUのVRAMに収まらない場合は、分割しなければなりません。主な方法は2つあり、サービングツールはそれらを組み合わせることがよくあります。
テンソル並列
大きな重み行列それぞれを、GPUごとに1つずつの断片に切り分けます。トークンごとに、すべてのGPUが同じ層を同時に、それぞれ自分の断片で処理し、次の層の前に部分的な結果を交換します。この手法を広めたのはNVIDIAのMegatron-LMで、わずかな通信ステップを追加するだけの層内モデル並列の方法を説明しました。GPU同士が層ごとに通信するため、テンソル並列にはNVLinkのような高速な接続が必要で、通常は1台のマシン内にとどめます。vLLMやSGLangでは、tensor parallel sizeという1つの設定です。
パイプライン並列
パイプライン並列は、代わりにモデルを層単位で分割します。1枚目のGPUが最初の層のまとまりを、2枚目が次のまとまりを担当し、というように活性化を受け渡していきます。通信量がはるかに少ないためマシンをまたいでも動きますが、多数のリクエストを同時に流し続けない限り、GPUは前の段階を待つ間に遊んでしまうことがありま す。Megatron-LMは、両者を補完し合うものと説明しています。
なぜ重要か
テンソル並列は、大規模なオープンウェイトモデルを複数のGPUを持つ1つのノードで提供する方法であり、各GPUのトークンあたりの作業が減るため、レイテンシを下げることもできます。モデルに2枚以上のカードが必要になるのはいつかを、GPU calculatorで確認できます。
限界
通信のオーバーヘッドはGPUの数とともに増えるため、速度は線形には伸びません。高速な相互接続のない一般消費者向けのカードでは、CPUオフロードや、より小さな量子化モデルの方が現実的な選択かもしれません。Mixture-of-expertsモデルには、第3の選択肢としてエキスパート並列があります。
関連用語
- VRAM
- VRAMとは、グラフィックスカード上のメモリです。AIの作業ではモデルの重み、KV cache、作業用のデータを保持し、モデルがVRAMに収まるかどうかで、通常それを動かすのに必要なGPUが決まります。
- モデルサービング
- モデルサービング(model serving)とは、学習済みのモデルを、アプリケーションがネットワーク経由で呼び出すサービスとして動かすことです。重みをGPUに読み込み、リクエストをキューに入れてバッチ処理し、メモリを管理して結果を返すソフトウェアを使います。
- GPU
- GPU(graphics processing unit)は、多数の計算を並列に実行するために作られた、小さなコアを数多く持つプロセッサーです。行列演算が速いため、AI モデルの学習と実行の標準的なハードウェアになっています。
- CPU オフロード
- CPU オフロード(CPU offloading)とは、GPU メモリに収まらないモデルを、一部の層をシステムの RAM やディスクに置き、残りを GPU で処理することで動かす方法です。モデルは動きますが、遅くなります。
- Mixture of experts(MoE)
- Mixture of experts(MoE、混合エキスパート)とは、各層に複数のエキスパートと呼ばれるサブネットワークを持ち、ルーターが各トークンをそのうち少数だけに送るモデル設計です。トークンごとにモデルの一部だけが動きます。