Les modèles vision-langage sont lents pour la même raison que les chatbots : ils écrivent un jeton à la fois. Le décodage spéculatif accélère cela en laissant un petit modèle brouillon deviner plusieurs jetons d'avance, que le grand modèle vérifie en une seule passe en ne gardant que ceux qu'il approuve. MMFlash, une prépublication de la National University of Singapore, améliore ce procédé quand le modèle lit des images et des vidéos.
L'équipe est partie de DFlash, un brouillon récent qui utilise la diffusion par blocs pour proposer un bloc entier de jetons en une passe. Elle a mesuré à quel point chaque jeton dépend de l'image en comparant les prédictions du modèle avec et sans elle. Le résultat est net : les jetons les moins dépendants du visuel étaient acceptés 46% du temps, les plus visuels seulement 22%. Le quart le plus visuel causait 44% des premiers rejets dans un bloc de brouillon. L'entraînement sur des données multimodales n'a pas comblé l'écart.
La solution de MMFlash consiste à donner plus de poids, à l'entraînement, aux jetons visuels que le brouillon prédit encore mal, puis à réduire ce poids à mesure qu'il progresse. Pour les longues vidéos, le brouillon utilise un schéma d'attention clairsemée qui ramène un contexte de plus de 40 000 jetons à environ 1 600. Sur sept bancs d'essai d'images avec des modèles Qwen3.5, les accélérations moyennes vont de 3,00 à 3,05 en décodage glouton, soit 10,3% à 10,9% de mieux que DFlash. Sur trois bancs d'essai de vidéos longues, un court réglage sur 2 000 exemples a donné des accélérations de 2,33 à 2,71. La méthode tient aussi avec Gemma4-E4B et Qwen3.8-27B, avec jusqu'à 4,71 fois sur le plus grand modèle.
Comme le grand modèle vérifie chaque jeton, la sortie est identique au décodage normal. C'est donc une optimisation peu risquée pour les équipes qui servent des modèles ouverts comme Qwen 3.8 27B ou Gemma 4 avec SGLang ou vLLM, d'autant que le code et les brouillons sont publiés.
Le hic apparaît sous charge. Sur SGLang, un banc d'essai avec Qwen3.5-4B passe d'une accélération de 3,46 fois avec une requête à 1,61 fois avec 32 simultanées, car un serveur chargé occupe déjà le matériel. Le 3,58 du titre est un cas idéal. L'article est une prépublication marquée comme travail en cours, les résultats sont ceux des auteurs, et le brouillon pour la vidéo reste plus difficile que pour les images.