TPU
TPU(tensor processing unit)とは、Googleが機械学習のために作った独自のチップで、大きな行列積ユニットと広帯域メモリを中心に構成されています。GoogleはTPUを、Google Cloud上のレンタルサービスとして他社に提供しています。
別名: tensor processing unit, Cloud TPU
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
AIの作業の大半は、もともとグラフィックス用のチップとして始まったGPUで動いています。GoogleはTPUを、ニューラルネットワークの中核である行列計算という1つの仕事をこなす特定用途向けのチップとして設計しました。その中核は、シストリックアレイ、つまりデータを隣に渡していく乗算と加算のセルの格子として作られた行列ユニットで、チップ上の広帯域メモリと組み合わされています。
使い方
データセンター向けのTPUは購入できません。Google Cloudで借ります。単一のマシンとして、あるいは大規模な学習のために高速な相互接続で多数のチップをつないだ「スライス」として借ります。コードはXLAコンパイラーでTPU向けにコンパイルされ、JAX、PyTorch(PyTorch/XLA経由)、TensorFlowがこれを対象にできます。
なぜ重要か
TPUは、NVIDIAのハードウェアに代わる数少ない大規模な選択肢の1つです。開発者にとっては、GPUの供給がひっ迫しているときや、TPUの料金がワークロードに合うときの選択肢になり、すでにJAXで作業しているチームには特にそうです。
TPUとGPU、NPUの違い
GPUは、CUDAを中心とした巨大なソフトウェアのエコシステムを持つ汎用の並列プロセッサです。TPUはより用途が狭く、Google CloudとXLAに結び付いているため、GPU向けに書かれた一部のライブラリやカスタムカーネルは、手を加えなければTPUでは動きません。NPUは、スマートフォンやノートPCでデバイス上の推論に使われる、小型で低消費電力の同等品です。
限界
デバッグや性能のチューニングはGPUとは異なるルールに従い、一部のオープンソースのツールではモデルの対応範囲が狭くなります。採用する前に、使うフレームワークとモデルがTPUで動くことを確認してください。
関連用語
- GPU
- GPU(graphics processing unit)は、多数の計算を並列に実行するために作られた、小さなコアを数多く持つプロセッサーです。行列演算が速いため、AI モデルの学習と実行の標準的なハードウェアになっています。
- NPU
- NPU(neural processing unit)とは、ニューラルネットワークの計算を高速かつ低消費電力で実行するために作られたチップ、または大きなチップ内のブロックです。スマートフォンやノートPCは、NPUを使って小さなAIモデルをデバイス上で動かします。
- GPU クラウド
- GPU クラウド(GPU cloud)とは、AI の学習、ファインチューニング、推論のために GPU マシンを時間単位や秒単位で貸し出すサービスです。neocloud と呼ばれることもある専門の事業者は GPU に特化しており、大手の汎用クラウドより安いことがよくあります。
- モデルサービング
- モデルサービング(model serving)とは、学習済みのモデルを、アプリケーションがネットワーク経由で呼び出すサービスとして動かすことです。重みをGPUに読み込み、リクエストをキューに入れてバッチ処理し、メモリを管理して結果を返すソフトウェアを使います。
- 推論
- 推論(inference)とは、学習済みのモデルを動かし、新しい入力から出力を生み出すことです。LLM がプロンプトへの返答を生成するのがその例です。学習とは対照的に、ユーザーがモデルを呼び出すたびに料金を払う段階です。