Vision-Language-Modelle sind aus demselben Grund langsam wie Chatbots: Sie schreiben ein Token nach dem anderen. Spekulatives Dekodieren beschleunigt das, indem ein kleines Entwurfsmodell mehrere Tokens im Voraus rät, während das große Modell sie in einem Durchgang prüft und nur die behält, denen es zustimmt. MMFlash, ein Preprint der National University of Singapore, sorgt dafür, dass das besser funktioniert, wenn das Modell Bilder und Videos liest.
Das Team ging von DFlash aus, einem neueren Entwurfsmodell, das mit Block-Diffusion einen ganzen Block an Tokens in einem Durchgang vorschlägt. Es maß, wie stark jedes Token vom Bild abhängt, indem es die Vorhersagen des Modells mit und ohne Bild verglich. Das Ergebnis war deutlich: Entwurfstokens mit der geringsten visuellen Abhängigkeit wurden in 46% der Fälle angenommen, die visuellsten nur in 22%. Das visuellste Viertel verursachte 44% der ersten Ablehnungen in einem Entwurfsblock. Training mit multimodalen Daten schloss die Lücke nicht.
MMFlash gewichtet im Training visuell abhängige Tokens stärker, die das Entwurfsmodell noch schlecht vorhersagt, und nimmt das Gewicht zurück, wenn es besser wird. Für lange Videos nutzt das Entwurfsmodell ein dünn besetztes Aufmerksamkeitsmuster, das einen Kontext von mehr als 40.000 Tokens auf etwa 1.600 verkürzt. Auf sieben Bild-Benchmarks mit Qwen3.5-Modellen lag die durchschnittliche Beschleunigung bei 3,00 bis 3,05 mit Greedy-Dekodierung, 10,3% bis 10,9% über DFlash. Auf drei Benchmarks mit langen Videos brachte ein kurzes Nachtraining mit 2.000 Beispielen Beschleunigungen von 2,33 bis 2,71. Auch bei Gemma4-E4B und Qwen3.8-27B funktionierte es, mit bis zu 4,71-facher Beschleunigung beim größeren Modell.
Weil das große Modell jedes Token prüft, ist die Ausgabe identisch mit normalem Dekodieren. Das macht es zu einer risikoarmen Optimierung für Teams, die offene Modelle wie Qwen 3.8 27B oder Gemma 4 mit SGLang oder vLLM betreiben, und Code und Entwurfsmodelle sind veröffentlicht.
Der Haken zeigt sich unter Last. Auf SGLang fiel ein Benchmark mit Qwen3.5-4B von 3,46-facher Beschleunigung bei einer Anfrage auf 1,61-fach bei 32 gleichzeitigen, weil ein ausgelasteter Server die Hardware ohnehin beschäftigt. Die 3,58 aus der Überschrift sind der beste Fall. Der Artikel ist ein Preprint mit dem Vermerk laufende Arbeit, die Ergebnisse stammen von den Autoren selbst, und Entwürfe für Videos bleiben schwieriger als für Bilder.