本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

AIニュースと研究

研究 ·

MMFlash、視覚言語モデルの出力を変えずに最大3.58倍高速化

National University of SingaporeのプレプリントであるMMFlashは、拡散に基づく投機的デコーディングを画像や動画を読むモデルに応用します。画像への依存が強い下書きトークンの採択率は22%にとどまり、依存が最も弱いものの46%を下回ったため、学習でそれらに大きな重みを与えます。損失のない高速化は最大3.58倍で、EAGLE-3やDFlashを上回ります。

視覚言語モデルが遅いのは、チャットボットと同じ理由です。トークンを1つずつ書くからです。投機的デコーディングは、小さな下書きモデルに数トークン先を予想させ、大きなモデルがそれを1回でまとめて確認し、同意したものだけを残すことで速くします。National University of SingaporeのプレプリントであるMMFlashは、モデルが画像や動画を読む場合にこれをうまく働かせる方法です。

チームは、ブロック拡散で1回の処理でトークンのブロック全体を提案する最近の下書きモデルDFlashを出発点にしました。画像がある場合とない場合でモデルの予測を比べ、各トークンがどれだけ画像に依存しているかを測りました。結果ははっきりしていました。視覚への依存が最も小さい下書きトークンの採択率は46%でしたが、最も視覚的なものは22%にとどまりました。最も視覚的な4分の1が、下書きブロック内の最初の不採択の44%を占めていました。マルチモーダルデータで学習しても差は縮まりませんでした。

MMFlashの対策は、下書きモデルがまだうまく予測できない視覚依存のトークンに学習で大きな重みを与え、上達するにつれてその重みを戻すことです。長い動画では、下書きモデルが疎な注意のパターンを使い、40,000トークンを超えるコンテキストを約1,600に縮めます。Qwen3.5モデルを使った7つの画像ベンチマークでは、貪欲デコーディングでの平均の高速化は3.00〜3.05倍で、DFlashを10.3%〜10.9%上回りました。3つの長い動画のベンチマークでは、2,000件のサンプルによる短い追加学習で2.33〜2.71倍の高速化となりました。Gemma4-E4BとQwen3.8-27Bでも効果があり、大きい方のモデルでは最大4.71倍でした。

大きなモデルがすべてのトークンを確認するので、出力は通常のデコーディングとまったく同じです。そのため、Qwen 3.8 27BやGemma 4のようなオープンモデルをSGLangやvLLMで運用するチームにとって、リスクの小さい最適化になります。コードと下書きモデルは公開されています。

注意点:負荷がかかると限界が見えます。SGLangでは、Qwen3.5-4Bのあるベンチマークで、リクエスト1件のときの3.46倍の高速化が、32件同時では1.61倍に下がりました。混み合ったサーバーはもともとハードウェアを使い切っているからです。見出しの3.58倍は最良の場合です。論文は作業中と明記されたプレプリントで、結果は著者自身のものであり、動画の下書きは画像より難しいままです。

結論: 出力が変わらないので、QwenやGemmaの視覚モデルを運用する人にとっては低コストの改善です。ただし結果は著者自身によるもので、同時に処理するリクエストが増えると高速化の効果は大きく縮みます。多くの本番サーバーはまさにその状態で動いています。

関連レビュー:Qwen3.8-27BGemma 4

出典: arXiv (Hugging Face Daily Papers)

その他の記事