Transformer(アーキテクチャ)
Transformerとは、2017年に発表された、再帰の代わりにattentionを使って系列を処理するニューラルネットワークのアーキテクチャです。現在のほぼすべての大規模言語モデルと、多くの画像や音声のモデルの基盤になっています。
別名: transformer model
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
Transformer以前、言語モデルは主に、テキストを1単語ずつ読む再帰型ネットワークを使っていました。2017年の論文「Attention Is All You Need」は、再帰と畳み込みをなくし、attentionだけに基づくアーキテクチャを提案しました。並列性が高く、学習がはるかに速かったため、今日の大規模なモデルが実現可能になりました。
仕組み
テキストはトークンに分割され、各トークンはベクトルになります。Transformerは多数の同一の層を積み重ねます。各層では、attention機構によって、すべてのトークンがコンテキストウィンドウ内のほかのすべてのトークンを重み付けして何が関連するかを判断し、その後フィードフォワードネットワークが結果を処理します。学習ではすべてのトークンを一度に扱うため、作業をGPUにうまく分散できます。
変種
元の設計は、翻訳のためのエンコーダーとデコーダーを持っていました。GPTやLlamaのファミリーなど、ほとんどのチャットモデルはデコーダーのみで、1度に1トークンずつ生成します。これらは自己回帰モデルです。BERTのようなエンコーダーのみのモデルは、埋め込みによく使われます。
限界と名前
標準的なattentionのコストは系列の長さの2乗で増えるため、長いコンテキストは高価です。状態空間モデルのような代替手法は、これを解決しようとしています。このページはアーキテクチャについてのもので、そうしたモデルを動かすためのソフトウェアであるHugging FaceのTransformersライブラリについてではありません。
関連用語
- アテンション機構
- アテンション機構(attention mechanism)とは、ニューラルネットワークが処理する各トークンについて、入力内のほかのすべてのトークンにどれだけの重みを与えるかを決める仕組みです。セルフアテンションは transformer の中核となる演算です。
- 大規模言語モデル
- 大規模言語モデル(large language model、LLM)とは、数十億のパラメーターを持ち、大量のテキストで次のトークンを予測するよう学習したニューラルネットワークです。これにより、文章を書く、質問に答える、要約する、指示に従うといったことができます。
- 自己回帰モデル
- 自己回帰モデル(autoregressive model)とは、系列を 1 つずつ生成するモデルです。それまでのすべてのトークンから次のトークンを予測し、その出力を入力に戻します。ほとんどの大規模言語モデルはこの方式で動いています。
- 状態空間モデル(SSM)
- 状態空間モデル(state space model、SSM)とは、各トークンを読みながら固定サイズの隠れ状態を引き継いでいく系列モデルで、コストは入力の長さに比例して線形に増えます。最もよく知られた例はMambaです。
- トークン(LLM)
- トークン(LLM)とは、言語モデルが読み書きするテキストの基本単位で、多くの場合、単語、単語の一部、句読点、またはバイトです。料金、速 度、コンテキストの上限はすべてトークンで数えます。