Mixture of experts(MoE)
Mixture of experts(MoE、混合エキスパート)とは、各層に複数のエキスパートと呼ばれるサブネットワークを持ち、ルーターが各トークンをそのうち少数だけに送るモデル設計です。トークンごとにモデルの一部だけが動きます。
別名: MoE, sparse model, active parameters, A3B
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
MoEでは、1つのトークンに使う量よりはるかに多くのパラメータをモデルに持たせられます。これにより、大きなモデルの知識容量と、はるかに小さなモデル並みのトークンあたりの計算量を両立できます。
仕組み
Transformerの各層にあるフィードフォワードブロックを、エキスパートの集合と小さなルーター(ゲーティングネットワーク)に置き換えます。ルーターはトークンごとに少数のエキスパートを選んで実行し、その出力を組み合わせます。現在の形は、Shazeerらによる2017年のスパースゲート付きMoE層の論文にさかのぼります。
総パラメータとアクティブパラメータ
MistralのMixtral 8x7Bは各層に8つのエキスパートを持ち、ルーターはトークンごとに2つを選びます。論文によると、各トークンは47Bのパラメータにアクセスできますが、使うアクティブパラメータは13Bだけです。モデル名には両方の数字が示されることがよくあります。Clover 35B-A3Bのような名前では、35Bが総数で、A3Bはアクティブが約3Bであることを意味します。
注意点
速度を決めるのはアクティブパラメータですが、すべてのエキスパートはメモリに載せておく必要があります。35BのMoEモデルは、トークンの生成速度が3Bモデルに近くても、密な35Bモデルとほぼ同じVRAMを必要とします。数字はGPU calculatorで確認してください。
関連用語
- モデルのパラメータ
- モデルのパラメータとは、ニューラルネットワークが学習で獲得する数値で、そのほとんどは重みです。パラメータ数は70億なら7Bのように書かれ、モデルの規模を表す一般的な略記です。
- VRAM
- VRAMとは、グラフィックスカード上のメモリです。AIの作業ではモデルの重み、KV cache、作業用のデータを保持し、モデルがVRAMに収まるかどうかで、通常それを動かすのに必要なGPUが決まります。
- 大規模言語モデル
- 大規模言語モデル(large language model、LLM)とは、数十億のパラメーターを持ち、大量のテキストで次のトークンを予測するよう学習したニューラルネットワークです。これにより、文章を書く、質問に答える、要約する、指示に従うといったことができます。
- Transformer(アーキテクチャ)
- Transformerとは、2017年に発表された、再帰の代わりにattentionを使って系列を処理するニューラルネットワークのアーキテクチャです。現在のほぼすべての大規模言語モデルと、多くの画像や音声のモデルの基盤になっています。
- 量子化
- 量子化(quantization)とは、モデルの重み、場合によっては活性化を、16ではなく8や4など少ないビット数で保存する技術です。モデルに必要なメモリが減り、多くの場合は速く動きますが、精度は多少犠牲になります。