視覚言語モデルが遅いのは、チャットボットと同じ理由です。トークンを1つずつ書くからです。投機的デコーディングは、小さな下書きモデルに数トークン先を予想させ、大きなモデルがそれを1回でまとめて確認し、同意したものだけを残すことで速くします。National University of SingaporeのプレプリントであるMMFlashは、モデルが画像や動画を読む場合にこれをうまく働かせる方法です。
チームは、ブロック拡散で1回の処理でトークンのブロック全体を提案する最近の下書きモデルDFlashを出発点にしました。画像がある場合とない場合でモデルの予測を比べ、各トークンがどれだけ画像に依存しているかを測りました。結果ははっきりしていました。視覚への依存が最も小さい下書きトークンの採択率は46%でしたが、最も視覚的なものは22%にとどまりました。最も視覚的な4分の1が、下書きブロック内の最初の不採択の44%を占めていました。マルチモーダルデータで学習しても差は縮まりませんでした。
MMFlashの対策は、下書きモデルがまだうまく予測できない視覚依存のトークンに学習で大きな重みを与え、上達するにつれてその重みを戻すことです。長い動画では、下書きモデルが疎な注意のパターンを使い、40,000トークンを超えるコンテキストを約1,600に縮めます。Qwen3.5モデルを使った7つの画像ベンチマークでは、貪欲デコーディングでの平均の高速化は3.00〜3.05倍で、DFlashを10.3%〜10.9%上回りました。3つの長い動画のベンチマークでは、2,000件のサンプルによる短い追加学習で2.33〜2.71倍の高速化となりました。Gemma4-E4BとQwen3.8-27Bでも効果があり、大きい方のモデルでは最大4.71倍でした。
大きなモデルがすべてのトークンを確認するので、出力は通常のデコーディングとまったく同じです。そのため、Qwen 3.8 27BやGemma 4のようなオープンモデルをSGLangやvLLMで運用するチームにとって、リスクの小さい最適化になります。コードと下書きモデルは公開されています。
注意点:負荷がかかると限界が見えます。SGLangでは、Qwen3.5-4Bのあるベンチマークで、リクエスト1件のときの3.46倍の高速化が、32件同時では1.61倍に下がりました。混み合ったサーバーはもともとハードウェアを使い切っているからです。見出しの3.58倍は最良の場合です。論文は作業中と明記されたプレプリントで、結果は著者自身のものであり、動画の下書きは画像より難しいままです。