Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Actualités et recherche IA

Recherche ·

MMFlash accélère jusqu'à 3,58 fois les modèles vision-langage sans changer la sortie

MMFlash, une prépublication de la National University of Singapore, adapte le décodage spéculatif par diffusion aux modèles qui lisent images et vidéos. Les auteurs ont constaté que les jetons de brouillon très dépendants de l'image n'étaient acceptés que 22% du temps, contre 46% pour les moins visuels, et leur donnent donc plus de poids à l'entraînement. Les accélérations sans perte atteignent 3,58 fois, devant EAGLE-3 et DFlash.

Les modèles vision-langage sont lents pour la même raison que les chatbots : ils écrivent un jeton à la fois. Le décodage spéculatif accélère cela en laissant un petit modèle brouillon deviner plusieurs jetons d'avance, que le grand modèle vérifie en une seule passe en ne gardant que ceux qu'il approuve. MMFlash, une prépublication de la National University of Singapore, améliore ce procédé quand le modèle lit des images et des vidéos.

L'équipe est partie de DFlash, un brouillon récent qui utilise la diffusion par blocs pour proposer un bloc entier de jetons en une passe. Elle a mesuré à quel point chaque jeton dépend de l'image en comparant les prédictions du modèle avec et sans elle. Le résultat est net : les jetons les moins dépendants du visuel étaient acceptés 46% du temps, les plus visuels seulement 22%. Le quart le plus visuel causait 44% des premiers rejets dans un bloc de brouillon. L'entraînement sur des données multimodales n'a pas comblé l'écart.

La solution de MMFlash consiste à donner plus de poids, à l'entraînement, aux jetons visuels que le brouillon prédit encore mal, puis à réduire ce poids à mesure qu'il progresse. Pour les longues vidéos, le brouillon utilise un schéma d'attention clairsemée qui ramène un contexte de plus de 40 000 jetons à environ 1 600. Sur sept bancs d'essai d'images avec des modèles Qwen3.5, les accélérations moyennes vont de 3,00 à 3,05 en décodage glouton, soit 10,3% à 10,9% de mieux que DFlash. Sur trois bancs d'essai de vidéos longues, un court réglage sur 2 000 exemples a donné des accélérations de 2,33 à 2,71. La méthode tient aussi avec Gemma4-E4B et Qwen3.8-27B, avec jusqu'à 4,71 fois sur le plus grand modèle.

Comme le grand modèle vérifie chaque jeton, la sortie est identique au décodage normal. C'est donc une optimisation peu risquée pour les équipes qui servent des modèles ouverts comme Qwen 3.8 27B ou Gemma 4 avec SGLang ou vLLM, d'autant que le code et les brouillons sont publiés.

Le hic apparaît sous charge. Sur SGLang, un banc d'essai avec Qwen3.5-4B passe d'une accélération de 3,46 fois avec une requête à 1,61 fois avec 32 simultanées, car un serveur chargé occupe déjà le matériel. Le 3,58 du titre est un cas idéal. L'article est une prépublication marquée comme travail en cours, les résultats sont ceux des auteurs, et le brouillon pour la vidéo reste plus difficile que pour les images.

Notre avis : Pour qui sert des modèles de vision Qwen ou Gemma, c'est un gain peu coûteux, puisque la sortie ne change pas. Les résultats viennent des auteurs eux-mêmes, et l'accélération chute nettement quand les requêtes simultanées augmentent, ce qui est le mode de fonctionnement de la plupart des serveurs en production.

Nos tests :Qwen3.8-27BGemma 4

Source : arXiv (Hugging Face Daily Papers)

Autres articles