状態空間モデル(SSM)
状態空間モデル(state space model、SSM)とは、各トークンを読みながら固定サイズの隠れ状態を引き継いでいく系列モデルで、コストは入力の長さに比例して線形に増えます。最もよく知られた例はMambaです。
別名: SSM, Mamba, selective state space model
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
Transformerはすべてのトークンをほかのすべてのトークンと比較するため、入力が長いとコストが急激に上がり、KV cacheもトークンごとに大きくなります。状態空間モデルは、むしろ逐次更新される要約のように動きます。固定サイズの隠れ状態を保ち、トークンごとに1回更新するため、メモリは一定のまま、計算量は長さに対して直線的に増えます。
由来
この考え方は制御理論に由来し、そこで状態空間モデルは、入力に応じてシステムの状態がどう変わるかを記述します。2021年のS4の論文は、これを非常に長い系列の深層学習で実用的なものにしました。初期のSSMは長距離のベンチマークで好成績を収めましたが、言語ではTransformerに後れを取っていました。
Mamba
2023年に発表されたMambaは、その差の多くを埋めました。重要な変更点は、SSMのパラメータを入力に依存させたことで、モデルはトークンごとに何を残し何を忘れるかを選べます。著者らはこれを選択的SSMと呼び、系列の長さに対する線形のスケーリングと、Transformerより高い推論スループットを報告しています。
現在の使われ方
純粋なSSMはハイブリッドほど一般的ではあり ません。最近の多くのモデルは、少数のattention層と多数のSSMまたは同様の線形層を組み合わせ、長いコンテキストウィンドウでメモリ使用量を抑えつつ、attentionの品質の大部分を得ることを目指しています。
限界
固定サイズの状態は過去を圧縮しなければならないため、長い入力のずっと前にある細部を正確に思い出す能力は、attentionより弱くなることがあります。ツールもまだ成熟していません。一部のサービングエンジンや量子化の形式は、Transformerの層より遅れてSSMの層に対応しているため、デプロイを計画する前に対応状況を確認してください。
関連用語
- Transformer(アーキテクチャ)
- Transformerとは、2017年に発表された、再帰の代わりにattentionを使って系列を処理するニューラルネットワークのアーキテクチャです。現在のほぼすべての大規模言語モデルと、多くの画像や音声のモデルの基盤になっています。
- アテンション機構
- アテンション機構(attention mechanism)とは、ニューラルネットワークが処理する各トークンについて、入力内のほかのすべてのトークンにどれだけの重みを与えるかを決める仕組みです。セルフアテンションは transformer の中核となる演算です。
- KV キャッシュ
- KV キャッシュ(KV cache)とは、transformer が前のトークンについてすでに計算したアテンションのキーとバリューを保存しておくものです。新しいトークンごとに必要な計算はそのトークン自身の分だけになります。生成を速くしますが、コンテキストの長さに応じて増える GPU メモリを消費します。
- コンテキストウィンドウ
- コンテキストウィンドウ(context window)とは、言語モデルが一度に考慮できるテキストの最大量で、トークン数で数えます。システムプロンプト、会話、文書、ツールの結果、モデルが書く応答が含まれます。
- Mixture of experts(MoE)
- Mixture of experts(MoE、混合エキスパート)とは、各層に複数の エキスパートと呼ばれるサブネットワークを持ち、ルーターが各トークンをそのうち少数だけに送るモデル設計です。トークンごとにモデルの一部だけが動きます。