NPU
NPU(neural processing unit)とは、ニューラルネットワークの計算を高速かつ低消費電力で実行するために作られたチップ、または大きなチップ内のブロックです。スマートフォンやノートPCは、NPUを使って小さなAIモデルをデバイス上で動かします。
別名: neural processing unit, AI accelerator
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
NPUは、ニューラルネットワークが時間の大半を費やす行列演算とベクトル演算に特化したプロセッサです。単独で置かれることも、CPUやGPUの中にあることもあります。多くの人が出会うのはスマートフォンや最近のノートPCで、写真の処理、音声認識、ビデオ通話の背景ぼかし、デバイス上の小さな言語モデルなどを担当しています。
開発者にとっての意味
一般消費者向けデバイスのNPUは、何でも速くこなすことより、小型で電力効率が良いことを重視して設計されています。そのため、小規模言語モデルや、バッテリーを消耗させるべきでない短く頻繁な処理に向いています。大きなモデルには向きません。ノートPCのNPUには、データセンター向けGPUほどのメモリもスループットもありません。
NPUは通常、INT8やINT4のような低精度の数値形式で動作するため、モデルは実行前に量子化されるのが普通です。これらの形式の意味は数値精度をご覧ください。
プログラミングの方法
単一の標準はありません。チップメーカーごとに独自のツールキットがあ り、たとえばApple Core ML、Intel OpenVINO、AMD Ryzen AI、QualcommのSDKなどです。モデルは多くの場合、まずONNXのような形式に変換する必要があります。ベンダーはNPUの速度をTOPS(1秒あたりの兆単位の演算回数)で示しますが、この数字は通常INT8演算を指し、チップ間での比較は困難です。
NPU、GPU、TPU
GPUは汎用の並列プロセッサで、たまたまAIにも優れています。NPUはより用途が狭く、デバイス上での効率的な推論を狙っています。TPUはGoogle独自のアクセラレーター設計で、データセンター向けのものはGoogle Cloudを通じて借ります。
関連用語
- GPU
- GPU(graphics processing unit)は、多数の計算を並列に実行するために作られた、小さなコアを数多く持つプロセッサーです。行列演算が速いため、AI モデルの学習と実行の標準的なハードウェアになっています。
- TPU
- TPU(tensor processing unit)とは、Googleが機械学習のために作った独自のチップで、大きな行列積ユニットと広帯域メモリを中心に構成されています。GoogleはTPUを、Google Cloud上のレンタルサービスとして他社に提供しています。
- ローカルLLM
- ローカルLLMとは、プロバイダーのクラウドAPIではなく、自分のコンピューター、スマートフォン、サーバー上で動かす言語モデルのことです。プロンプトとデータが自分のハードウェアにとどまり、インターネット接続なしでも動作します。
- 小規模言語モデル(SLM)
- 小規模言語モデル(small language model、SLM)とは、パラメータが比較的少なく、通常は数十億以下の言語モデルで、ノートPC、スマートフォン、1枚のGPUで、大規模なモデルより低いコストで動くように作られています。
- 量子化
- 量子化(quantization)とは、モデルの重み、場合によっては活性化を、16ではなく8や4など少ないビット数で保存する技術です。モデルに必要なメモリが減り、多くの場合は速く動きますが、精度は多少犠牲になります。