Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Modèle de langage par diffusion

Un modèle de langage par diffusion (dLLM) génère du texte en partant d'une séquence entièrement masquée ou bruitée et en affinant de nombreuses positions de tokens en parallèle sur plusieurs étapes, au lieu d'écrire un token à la fois.

Aussi appelé : dLLM, masked diffusion language model

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

La plupart des grands modèles de langage sont autorégressifs : ils écrivent de gauche à droite, un token par étape. Un modèle de langage par diffusion emprunte l'approche des modèles de diffusion d'images. Il commence par une séquence dont toutes les positions sont cachées, les prédit toutes, garde les prédictions dont il est le plus sûr et recommence jusqu'à ce que le texte soit complet.

Comment ça marche

La recette courante est la diffusion masquée. Pendant l'entraînement, des portions aléatoires d'un vrai texte sont remplacées par un token de masque et le modèle, généralement un transformer sans le masque gauche-droite, apprend à les remplir. Pendant la génération, il exécute ce processus à l'envers. L'article sur LLaDA décrit exactement cela : un processus de masquage vers l'avant et un processus de génération inverse. LLaDA a été entraîné avec les mêmes étapes de pré-entraînement et de fine-tuning supervisé que les LLM classiques.

Pourquoi cela vous concerne

Comme de nombreux tokens sont remplis à la fois, un modèle de diffusion peut produire du texte en moins d'étapes, ce qui peut signifier un débit bien plus élevé. Le modèle expérimental de Google DiffusionGemma 26B A4B, testé sur ce site, illustre ce compromis. Le modèle peut aussi regarder toute la séquence pendant qu'il la modifie, ce qui convient pour compléter le milieu d'un code ou d'un texte.

Limites

La qualité par paramètre est généralement restée en retrait par rapport aux meilleurs modèles autorégressifs, et moins d'étapes signifie en général une qualité moindre. Les outils de service, le KV caching et le streaming ont été conçus autour d'une génération token par token : la prise en charge des dLLM est donc plus récente et plus maigre. Testez sur vos propres tâches avant d'en adopter un.

Termes liés

Modèle de diffusion
Un modèle de diffusion est un modèle génératif qui apprend à transformer du bruit aléatoire en données, comme une image, en retirant un peu de bruit à la fois sur de nombreuses étapes.
Modèle autorégressif
Un modèle autorégressif génère une séquence morceau par morceau, en prédisant chaque token suivant à partir de tous les tokens précédents et en réinjectant cette sortie en entrée. La plupart des grands modèles de langage fonctionnent ainsi.
Grand modèle de langage
Un grand modèle de langage (LLM, large language model) est un réseau de neurones doté de milliards de paramètres, entraîné sur de grandes quantités de texte à prédire le token suivant, ce qui lui permet d'écrire, de répondre à des questions, de résumer et de suivre des instructions.
KV cache
Un KV cache (cache clé-valeur) stocke les clés et valeurs d'attention qu'un transformer a déjà calculées pour les tokens précédents, de sorte que chaque nouveau token ne demande de travail que pour lui-même. Il accélère la génération mais occupe une mémoire GPU qui augmente avec la longueur du contexte.
Tokens par seconde
Les tokens par seconde (tokens per second, tok/s) mesurent la vitesse à laquelle un modèle de langage produit sa sortie. Le chiffre est donné soit par utilisateur, la vitesse à laquelle une réponse s'affiche en streaming, soit pour l'ensemble du système, la sortie totale de toutes les requêtes simultanées.

Sources