Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

KI-News & Forschung

Forschung ·

MMFlash beschleunigt Vision-Language-Modelle um bis zu 3,58-fach bei gleicher Ausgabe

MMFlash, ein Preprint der National University of Singapore, überträgt diffusionsbasiertes spekulatives Dekodieren auf Modelle, die Bilder und Videos lesen. Die Autoren stellten fest, dass Entwurfstokens, die stark vom Bild abhängen, nur in 22% der Fälle angenommen wurden, gegenüber 46% bei den am wenigsten visuellen, und gewichten sie deshalb im Training stärker. Die verlustfreie Beschleunigung erreicht das 3,58-Fache, vor EAGLE-3 und DFlash.

Vision-Language-Modelle sind aus demselben Grund langsam wie Chatbots: Sie schreiben ein Token nach dem anderen. Spekulatives Dekodieren beschleunigt das, indem ein kleines Entwurfsmodell mehrere Tokens im Voraus rät, während das große Modell sie in einem Durchgang prüft und nur die behält, denen es zustimmt. MMFlash, ein Preprint der National University of Singapore, sorgt dafür, dass das besser funktioniert, wenn das Modell Bilder und Videos liest.

Das Team ging von DFlash aus, einem neueren Entwurfsmodell, das mit Block-Diffusion einen ganzen Block an Tokens in einem Durchgang vorschlägt. Es maß, wie stark jedes Token vom Bild abhängt, indem es die Vorhersagen des Modells mit und ohne Bild verglich. Das Ergebnis war deutlich: Entwurfstokens mit der geringsten visuellen Abhängigkeit wurden in 46% der Fälle angenommen, die visuellsten nur in 22%. Das visuellste Viertel verursachte 44% der ersten Ablehnungen in einem Entwurfsblock. Training mit multimodalen Daten schloss die Lücke nicht.

MMFlash gewichtet im Training visuell abhängige Tokens stärker, die das Entwurfsmodell noch schlecht vorhersagt, und nimmt das Gewicht zurück, wenn es besser wird. Für lange Videos nutzt das Entwurfsmodell ein dünn besetztes Aufmerksamkeitsmuster, das einen Kontext von mehr als 40.000 Tokens auf etwa 1.600 verkürzt. Auf sieben Bild-Benchmarks mit Qwen3.5-Modellen lag die durchschnittliche Beschleunigung bei 3,00 bis 3,05 mit Greedy-Dekodierung, 10,3% bis 10,9% über DFlash. Auf drei Benchmarks mit langen Videos brachte ein kurzes Nachtraining mit 2.000 Beispielen Beschleunigungen von 2,33 bis 2,71. Auch bei Gemma4-E4B und Qwen3.8-27B funktionierte es, mit bis zu 4,71-facher Beschleunigung beim größeren Modell.

Weil das große Modell jedes Token prüft, ist die Ausgabe identisch mit normalem Dekodieren. Das macht es zu einer risikoarmen Optimierung für Teams, die offene Modelle wie Qwen 3.8 27B oder Gemma 4 mit SGLang oder vLLM betreiben, und Code und Entwurfsmodelle sind veröffentlicht.

Der Haken zeigt sich unter Last. Auf SGLang fiel ein Benchmark mit Qwen3.5-4B von 3,46-facher Beschleunigung bei einer Anfrage auf 1,61-fach bei 32 gleichzeitigen, weil ein ausgelasteter Server die Hardware ohnehin beschäftigt. Die 3,58 aus der Überschrift sind der beste Fall. Der Artikel ist ein Preprint mit dem Vermerk laufende Arbeit, die Ergebnisse stammen von den Autoren selbst, und Entwürfe für Videos bleiben schwieriger als für Bilder.

Unser Fazit: Wer Vision-Modelle von Qwen oder Gemma betreibt, bekommt hier einen günstigen Gewinn, denn die Ausgabe ändert sich nicht. Die Ergebnisse stammen von den Autoren selbst, und die Beschleunigung schrumpft stark, je mehr Anfragen gleichzeitig laufen, und so arbeiten die meisten Produktionsserver.

Unsere Testberichte:Qwen3.8-27BGemma 4

Quelle: arXiv (Hugging Face Daily Papers)

Weitere Artikel