自己回帰モデル
自己回帰モデル(autoregressive model)とは、系列を 1 つずつ生成するモデルです。それまでのすべてのトークンから次のトークンを予測し、その出力を入力に戻します。ほとんどの大規模言語モデルはこの方式で動いています。
別名: next-token prediction, ARM, causal language model
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
自己回帰とは、モデルの出力が次の入力の一部になることを意味します。文を書くとき、モデルは 1 つのトークンを予測して付け加え、また予測します。これを停止トークンを出すか上限に達するまで続けます。たとえば GPT-3 は、開発者によって自己回帰型の言語モデルと説明されています。
次トークン予測
この背後にある学習の目標が次トークン予測です。事前学習の間、モデルは膨大な量のテキストを見て、ありうるすべての次のトークンに確率を与えることを学びます。生成時には、temperature などのサンプリング設定がその分布から 1 つのトークンを選びます。transformer はマスクを使って各位置が前の位置にしかアテンションできないようにし、学習を生成の仕方と一致させます。
実際の意味
トークンは 1 つずつ順番に出てくるので、応答時間は出力の長さに左右されます。出力トークンが入力トークンより高い料金に設定されることが多い理由の 1 つであり、ストリーミングが役立つ理由でもあります。届いた順にテキストを表示できるからです。投機的デコーディングや KV キャッシュなどの高速化は、どれもこの 1 つずつのループを回避する工夫です。
また、モデルは後戻りできません。一度選んだトークンは残るため、早い段階の誤りが回答全体に響くことがあります。推論モデルは、最終的な回答の前に手順を書き出すことで、これを部分的に回避しています。
代替手法
拡散言語モデルは、完全にマスクされた系列やノイズを含む系列から始め、何段階かかけて多くの位置を並列に埋めていきます。LLaDA の論文は、LLM の中核的な能力が自己回帰であることに依存しているという一般的な見方に異を唱えています。
関連用語
- 拡散言語モデル
- 拡散言語モデル(diffusion language model、dLLM)とは、1 トークンずつ書くのではなく、完全にマスクされた系列やノイズを含む系列から始め、何段階かかけて多くのトークン位置を並列に洗練させることでテキストを生成するモデルです。
- Transformer(アーキテクチャ)
- Transformerとは、2017年に発表された、再帰の代わりにattentionを使って系列を処理するニューラルネットワークのアーキテクチャです。現在のほぼすべての大規模言語モデルと、多くの画像や音声のモデルの基盤になっています。
- トークン(LLM)
- トークン(LLM)とは、言語モデルが読み書きするテキストの基本単位で、多くの場合、単語、単語の一部、句読点、またはバイトです。料金、速度、コンテキストの上限はすべてトークンで数えます。
- 投機的デコーディング
- 投機的デコーディング(speculative decoding)とは、小さく速いドラフトモデルに複数のトークンを提案させ、大きなモデルが1回のパスでそれを確認して受け入れたものを残すことで、テキスト生成を高速化する手法です。出力は大きなモデルだけで生成した場合と一致します。
- 出力トークン
- 出力トークン(output tokens)とは、言語モデル が応答で生成するトークンです。入力トークンとは別に数えられ、別に請求されます。max_tokensの設定で、1つの応答に含められる数の上限を決めます。