Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Échantillonnage top-p

L'échantillonnage top-p (top-p sampling), ou nucleus sampling, choisit chaque token suivant uniquement dans le plus petit ensemble de candidats dont la probabilité cumulée atteint un seuil p, en coupant la longue queue des tokens improbables.

Aussi appelé : nucleus sampling, top-k, top-k sampling

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Quand un modèle génère du texte, chaque token suivant possible a une certaine probabilité. Échantillonner parmi tous laisse passer des tokens rares et incongrus. Prendre toujours le seul token le plus probable tend à produire un texte fade et répétitif. L'échantillonnage top-p se situe entre les deux.

Comment ça marche

Triez les tokens candidats du plus probable au moins probable. Additionnez leurs probabilités jusqu'à ce que le total dépasse p, par exemple 0,9. Gardez cet ensemble, écartez le reste, et échantillonnez parmi ce qui est conservé. Quand le modèle est sûr de lui, l'ensemble peut ne contenir que quelques tokens. Quand il hésite, l'ensemble grandit. Cette taille adaptative est la principale différence avec le top-k.

D'où il vient

Holtzman et ses collègues ont présenté le nucleus sampling dans « The Curious Case of Neural Text Degeneration » (2019). Ils ont constaté qu'utiliser la vraisemblance comme objectif de décodage mène à un texte fade et répétitif, et qu'échantillonner dans le noyau dynamique de la distribution conserve la variété tout en supprimant la queue moins fiable.

Échantillonnage top-k

Le top-k garde un nombre fixe de candidats, les k tokens les plus probables, quelle que soit la répartition des probabilités. C'est plus simple, mais cela peut garder trop d'options quand le modèle est sûr et trop peu quand il ne l'est pas. Certaines API exposent les deux réglages.

En quoi il diffère de la température

La température remodèle toute la distribution ; le top-p la tronque. Les deux s'appliquent au moment de l'inférence et ne changent rien au modèle lui-même.

Pourquoi c'est important

Pour la plupart des développeurs, ce sont des boutons de réglage, pas des décisions de conception. Les valeurs par défaut sont généralement raisonnables. Des valeurs basses conviennent aux tâches qui n'ont qu'une bonne réponse ; des valeurs plus élevées conviennent à l'écriture ouverte.

Termes liés

Température (échantillonnage)
La température (temperature) est un réglage d'échantillonnage qui contrôle le caractère aléatoire des choix de mots d'un modèle de langage. Des valeurs basses lui font privilégier les tokens les plus probables ; des valeurs plus élevées répartissent les choix sur des tokens moins probables.
Grand modèle de langage
Un grand modèle de langage (LLM, large language model) est un réseau de neurones doté de milliards de paramètres, entraîné sur de grandes quantités de texte à prédire le token suivant, ce qui lui permet d'écrire, de répondre à des questions, de résumer et de suivre des instructions.
Token (LLM)
Un token (LLM), ou jeton, est l'unité de texte de base qu'un modèle de langage lit et écrit, souvent un mot, une partie de mot, un signe de ponctuation ou un octet. Les prix, la vitesse et les limites de contexte se comptent tous en tokens.
Inférence
L'inférence consiste à faire tourner un modèle entraîné pour produire une sortie à partir d'une nouvelle entrée, comme un LLM qui génère une réponse à un prompt. C'est l'étape que les utilisateurs paient à chaque appel d'un modèle, par opposition à l'entraînement.

Sources