アテンション機構
アテンション機構(attention mechanism)とは、ニューラルネットワークが処理する各トークンについて、入力内のほかのすべてのトークンにどれだけの重みを与えるかを決める仕組みです。セルフアテンションは transformer の中核となる演算です。
別名: self-attention, attention
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
アテンションは、言語モデルが今見ている単語にとって、前にあるどの単語が重要かを見極める方法です。「the trophy did not fit in the case because it was too small」という文で、モデルが「it」を「case」と結びつけられるのはアテンションのおかげです。
仕組み
各トークンは、クエリ、キー、バリューという 3 つのベクトルに変換されます。モデルはあるトークンのクエリをすべてのトークンのキーと比べてスコアを出し、スコアを合計が 1 になる重みに変換し、バリューの加重平均を取ります。その結果がトークンの新しい表現になります。セルフアテンションとは、クエリ、キー、バリューがすべて同じ系列から来ることを意味します。モデルはこれをヘッドと呼ばれる単位でいくつも並列に実行するので、ヘッドごとに異なる関係を追えます。
アテンションは 2017 年より前から、再帰型ネットワークと併用されていました。transformer を提案した論文は、再帰を使わずアテンションだけで構成したネットワークのほうが、学習が速く翻訳の質も高いことを示しました。
開発で重要になる理由
アテンションはすべてのトークンをほかのすべてのトークンと比べるため、入力が長くなるとコストが急速に増 えます。長いコンテキストウィンドウが高価な理由の 1 つです。生成中、モデルは新しいトークンごとに再計算しなくて済むように、過去のキーとバリューを KV キャッシュに保存します。GPU メモリを埋めるのは多くの場合このキャッシュです。paged attention などの技術がこのメモリを管理し、状態空間モデルなどの代替手法はこのコストそのものを避けようとしています。
限界
アテンションの重みは、モデルが何を「見た」かの説明として示されることがあります。役に立つ手がかりではありますが、モデルがなぜその回答を出したかを完全に説明するものではありません。
関連用語
- Transformer(アーキテクチャ)
- Transformerとは、2017年に発表された、再帰の代わりにattentionを使って系列を処理するニューラルネットワークのアーキテクチャです。現在のほぼすべての大規模言語モデルと、多くの画像や音声のモデルの基盤になっています。
- KV キャッシュ
- KV キャッシュ(KV cache)とは、transformer が前のトークンについてすでに計算したアテンションのキーとバリューを保存しておくものです。新しいトークンごとに必要な計算はそのトークン自身の分だけになります。生成を速くしますが、コンテキストの長さに応じて増える GPU メモリを消費します。
- コンテキストウィンドウ
- コンテキストウィンドウ(context window)とは、言語モデルが一度に考慮できるテキストの最大量で、トークン数で数えます。システムプロンプト、会話、文書、ツールの結果、モデルが書く応答が含まれます。
- PagedAttention
- PagedAttentionとは、言語モデルのKV cacheを、OSのページのように、GPUメモリ上で隣り合っている必要のない小さな固定サイズのブロックに格納する手法です。無駄なメモリを減らし、サーバーが同時に処理できるリクエストを増やします。
- 状態空間モデル(SSM)
- 状態空間モデル(state space model、SSM)とは、各トークンを読みながら固定サイズの隠れ状態を引き継いでいく系列モデルで、コストは入力の長さに比例して線形に増えます。最もよく知られた例はMambaです。