Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Modèle autorégressif

Un modèle autorégressif génère une séquence morceau par morceau, en prédisant chaque token suivant à partir de tous les tokens précédents et en réinjectant cette sortie en entrée. La plupart des grands modèles de langage fonctionnent ainsi.

Aussi appelé : next-token prediction, ARM, causal language model

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Autorégressif signifie que la sortie du modèle devient une partie de son entrée suivante. Pour écrire une phrase, le modèle prédit un token, l'ajoute, puis prédit à nouveau, jusqu'à produire un token d'arrêt ou atteindre une limite. GPT-3, par exemple, est décrit par ses auteurs comme un modèle de langage autorégressif.

Prédiction du token suivant

La prédiction du token suivant est l'objectif d'entraînement qui sous-tend ce fonctionnement. Pendant le pré-entraînement, le modèle voit d'énormes quantités de texte et apprend à attribuer une probabilité à chaque token suivant possible. Au moment de la génération, un paramètre d'échantillonnage comme la température choisit un token dans cette distribution. Un transformer utilise un masque pour que chaque position ne puisse porter son attention que sur les positions précédentes, ce qui garde l'entraînement cohérent avec la façon dont il génère.

Ce que cela implique en pratique

Comme les tokens sortent les uns après les autres, le temps de réponse dépend de la longueur de la sortie. C'est l'une des raisons pour lesquelles les tokens de sortie sont souvent facturés plus cher que les tokens d'entrée, et pourquoi le streaming est utile : vous pouvez afficher le texte à mesure qu'il arrive. Les accélérations comme le décodage spéculatif et le KV cache contournent toutes cette boucle token par token.

Le modèle ne peut pas non plus revenir en arrière. Une fois un token choisi, il reste, si bien qu'une erreur précoce peut se propager dans toute la réponse. Les modèles de raisonnement contournent en partie ce problème en écrivant des étapes avant la réponse finale.

L'alternative

Les modèles de langage par diffusion partent d'une séquence entièrement masquée ou bruitée et remplissent de nombreuses positions en parallèle sur plusieurs étapes. L'article sur LLaDA remet en cause l'idée répandue selon laquelle les capacités fondamentales des LLM dépendent du caractère autorégressif.

Termes liés

Modèle de langage par diffusion
Un modèle de langage par diffusion (dLLM) génère du texte en partant d'une séquence entièrement masquée ou bruitée et en affinant de nombreuses positions de tokens en parallèle sur plusieurs étapes, au lieu d'écrire un token à la fois.
Transformer (architecture)
Le transformer est une architecture de réseau de neurones, présentée en 2017, qui traite les séquences à l'aide de l'attention plutôt que de la récurrence. Elle est à la base de presque tous les grands modèles de langage actuels et de nombreux modèles d'image et d'audio.
Token (LLM)
Un token (LLM), ou jeton, est l'unité de texte de base qu'un modèle de langage lit et écrit, souvent un mot, une partie de mot, un signe de ponctuation ou un octet. Les prix, la vitesse et les limites de contexte se comptent tous en tokens.
Décodage spéculatif
Le décodage spéculatif (speculative decoding) accélère la génération de texte en laissant un petit modèle brouillon rapide proposer plusieurs tokens, que le grand modèle vérifie ensuite en une seule passe, en gardant ceux qu'il accepte. La sortie est identique à ce que produirait le grand modèle seul.
Tokens de sortie
Les tokens de sortie (output tokens) sont les tokens qu'un modèle de langage génère dans sa réponse. Ils sont comptés et facturés séparément des tokens d'entrée, et un réglage max_tokens plafonne le nombre qu'une réponse peut contenir.

Sources