Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Décodage spéculatif

Le décodage spéculatif (speculative decoding) accélère la génération de texte en laissant un petit modèle brouillon rapide proposer plusieurs tokens, que le grand modèle vérifie ensuite en une seule passe, en gardant ceux qu'il accepte. La sortie est identique à ce que produirait le grand modèle seul.

Aussi appelé : draft model

Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode

Un grand modèle de langage génère normalement un token par passe avant, et chaque passe lit tous ses poids en mémoire. Le décodage est donc lent même quand le GPU dispose de calcul inutilisé. Le décodage spéculatif, décrit par Leviathan et al. en 2022, exploite ce calcul disponible.

Comment ça marche

Un modèle brouillon moins coûteux devine les quelques tokens suivants. Le grand modèle cible note ensuite toutes ces positions d'un coup, en parallèle. Les tokens sur lesquels il est d'accord sont conservés ; au premier désaccord, c'est le choix du modèle cible qui est retenu et le reste du brouillon est abandonné. Une règle d'échantillonnage spéciale garantit que le texte final suit la même distribution que le modèle cible, si bien que la qualité ne change pas. L'article fait état d'une accélération de 2X à 3X sur T5-XXL avec des sorties identiques.

Quand c'est utile

Le gain dépend de la fréquence à laquelle le brouillon voit juste. Cela fonctionne le mieux sur du texte prévisible comme du code, une sortie structurée ou des réponses qui reprennent des parties du prompt. Certaines variantes se passent du modèle brouillon distinct : certaines ajoutent des têtes de prédiction supplémentaires au modèle principal, d'autres cherchent des suites probables dans le prompt lui-même. Des moteurs de service comme vLLM et SGLang prennent en charge plusieurs méthodes.

Coûts

Le modèle brouillon a besoin de sa propre mémoire, et les mauvaises suppositions gaspillent du calcul. Sous une forte charge en lots, quand le GPU est déjà occupé, le bénéfice diminue. Mesurez les tokens par seconde sur votre propre trafic avant et après. Pour une vue d'ensemble, voir l'inférence et le service de modèles.

Termes liés

Inférence
L'inférence consiste à faire tourner un modèle entraîné pour produire une sortie à partir d'une nouvelle entrée, comme un LLM qui génère une réponse à un prompt. C'est l'étape que les utilisateurs paient à chaque appel d'un modèle, par opposition à l'entraînement.
Tokens par seconde
Les tokens par seconde (tokens per second, tok/s) mesurent la vitesse à laquelle un modèle de langage produit sa sortie. Le chiffre est donné soit par utilisateur, la vitesse à laquelle une réponse s'affiche en streaming, soit pour l'ensemble du système, la sortie totale de toutes les requêtes simultanées.
Service de modèles
Le service de modèles (model serving) consiste à faire tourner un modèle entraîné comme un service que les applications appellent sur le réseau, avec un logiciel qui charge les poids sur les GPU, met en file et regroupe les requêtes, gère la mémoire et renvoie les résultats.
Modèle autorégressif
Un modèle autorégressif génère une séquence morceau par morceau, en prédisant chaque token suivant à partir de tous les tokens précédents et en réinjectant cette sortie en entrée. La plupart des grands modèles de langage fonctionnent ainsi.
Distillation des connaissances
La distillation des connaissances (knowledge distillation) est une méthode d'entraînement dans laquelle un modèle élève plus petit apprend à imiter les sorties d'un modèle enseignant plus grand, ce qui produit un modèle distillé qui conserve une grande partie des compétences de l'enseignant pour un coût moindre.

Sources