本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

Mixture of experts(MoE)

Mixture of experts(MoE、混合エキスパート)とは、各層に複数のエキスパートと呼ばれるサブネットワークを持ち、ルーターが各トークンをそのうち少数だけに送るモデル設計です。トークンごとにモデルの一部だけが動きます。

別名: MoE, sparse model, active parameters, A3B

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

MoEでは、1つのトークンに使う量よりはるかに多くのパラメータをモデルに持たせられます。これにより、大きなモデルの知識容量と、はるかに小さなモデル並みのトークンあたりの計算量を両立できます。

仕組み

Transformerの各層にあるフィードフォワードブロックを、エキスパートの集合と小さなルーター(ゲーティングネットワーク)に置き換えます。ルーターはトークンごとに少数のエキスパートを選んで実行し、その出力を組み合わせます。現在の形は、Shazeerらによる2017年のスパースゲート付きMoE層の論文にさかのぼります。

総パラメータとアクティブパラメータ

MistralのMixtral 8x7Bは各層に8つのエキスパートを持ち、ルーターはトークンごとに2つを選びます。論文によると、各トークンは47Bのパラメータにアクセスできますが、使うアクティブパラメータは13Bだけです。モデル名には両方の数字が示されることがよくあります。Clover 35B-A3Bのような名前では、35Bが総数で、A3Bはアクティブが約3Bであることを意味します。

注意点

速度を決めるのはアクティブパラメータですが、すべてのエキスパートはメモリに載せておく必要があります。35BのMoEモデルは、トークンの生成速度が3Bモデルに近くても、密な35Bモデルとほぼ同じVRAMを必要とします。数字はGPU calculatorで確認してください。

関連用語

モデルのパラメータ
モデルのパラメータとは、ニューラルネットワークが学習で獲得する数値で、そのほとんどは重みです。パラメータ数は70億なら7Bのように書かれ、モデルの規模を表す一般的な略記です。
VRAM
VRAMとは、グラフィックスカード上のメモリです。AIの作業ではモデルの重み、KV cache、作業用のデータを保持し、モデルがVRAMに収まるかどうかで、通常それを動かすのに必要なGPUが決まります。
大規模言語モデル
大規模言語モデル(large language model、LLM)とは、数十億のパラメーターを持ち、大量のテキストで次のトークンを予測するよう学習したニューラルネットワークです。これにより、文章を書く、質問に答える、要約する、指示に従うといったことができます。
Transformer(アーキテクチャ)
Transformerとは、2017年に発表された、再帰の代わりにattentionを使って系列を処理するニューラルネットワークのアーキテクチャです。現在のほぼすべての大規模言語モデルと、多くの画像や音声のモデルの基盤になっています。
量子化
量子化(quantization)とは、モデルの重み、場合によっては活性化を、16ではなく8や4など少ないビット数で保存する技術です。モデルに必要なメモリが減り、多くの場合は速く動きますが、精度は多少犠牲になります。

出典