拡散言語モデル
拡散言語モデル(diffusion language model、dLLM)とは、1 トークンずつ書くのではなく、完全にマスクされた系列やノイズを含む系列から始め、何段階かかけて多くのトークン位置を並列に洗練させることでテキストを生成するモデルです。
別名: dLLM, masked diffusion language model
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
ほとんどの大規模言語モデルは自己回帰型で、左から右へ 1 ステップに 1 トークンずつ書きます。拡散言語モデルは画像の拡散モデルの手法を借りています。すべての位置が隠された系列から始め、そのすべてを予測し、最も確信度の高い予測を残して、テキストが完成するまで繰り返します。
仕組み
一般的な方法はマスク拡散です。学習中、本物のテキストのランダムな部分をマスクトークンに置き換え、モデル(通常は左から右へのマスクを持たない transformer)がそれを埋めることを学びます。生成時には、その過程を逆向きに実行します。LLaDA の論文はまさにこれを、前向きのマスク過程と逆向きの生成過程として説明しています。LLaDA は、通常の LLM と同じ事前学習と教師ありファインチューニングの手順で訓練されました。
開発者が気にかける理由
多くのトークンを一度に埋めるので、拡散モデルは少ないステップでテキストを生成でき、スループットが大幅に高くなる可能性があります。こ のサイトでレビューしている Google の実験的な DiffusionGemma 26B A4B は、そのトレードオフの一例です。また、モデルは編集しながら系列全体を見られるので、コードやテキストの途中を埋める作業に向いています。
限界
パラメーターあたりの品質は、一般に最良の自己回帰モデルに及んでおらず、ステップを減らすと通常は品質が下がります。サービング用のツール、KV キャッシュ、ストリーミングは 1 トークンずつの生成を前提に作られてきたため、dLLM への対応はまだ新しく手薄です。置き換える前に自分のタスクでテストしてください。
関連用語
- 拡散モデル
- 拡散モデル(diffusion model)とは、多くのステップをかけて少しずつノイズを取り除くことで、ランダムなノイズを画像などのデータに変えることを学ぶ生成モデルです。
- 自己回帰モデル
- 自己回帰 モデル(autoregressive model)とは、系列を 1 つずつ生成するモデルです。それまでのすべてのトークンから次のトークンを予測し、その出力を入力に戻します。ほとんどの大規模言語モデルはこの方式で動いています。
- 大規模言語モデル
- 大規模言語モデル(large language model、LLM)とは、数十億のパラメーターを持ち、大量のテキストで次のトークンを予測するよう学習したニューラルネットワークです。これにより、文章を書く、質問に答える、要約する、指示に従うといったことができます。
- KV キャッシュ
- KV キャッシュ(KV cache)とは、transformer が前のトークンについてすでに計算したアテンションのキーとバリューを保存しておくものです。新しいトークンごとに必要な計算はそのトークン自身の分だけになります。生成を速くしますが、コンテキストの長さに応じて増える GPU メモリを消費します。
- 1秒あたりのトークン数
- 1秒あたりのトークン数(tokens per second、tok/s)とは、言語モデルが出力を生成する速さを測る指標です。1つの応答がストリ ーミングされる速さであるユーザーごとの値か、同時に処理するすべてのリクエストの合計出力であるシステム全体の値で示されます。