Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Tokens par seconde

Les tokens par seconde (tokens per second, tok/s) mesurent la vitesse à laquelle un modèle de langage produit sa sortie. Le chiffre est donné soit par utilisateur, la vitesse à laquelle une réponse s'affiche en streaming, soit pour l'ensemble du système, la sortie totale de toutes les requêtes simultanées.

Aussi appelé : tok/s, throughput

Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode

Une fois le premier token arrivé, les tokens par seconde déterminent combien de temps prend le reste de la réponse. Un token est un morceau de texte, souvent une partie de mot : les tok/s ne sont donc pas des mots par seconde, et un même texte peut donner des décomptes différents selon les tokenizers.

Par utilisateur et pour le système

Ces deux chiffres répondent à des questions différentes. La vitesse par utilisateur est ce qu'une personne voit pendant qu'une réponse s'affiche. Le débit du système, tel que le définit la documentation de benchmarking de NVIDIA, est le débit total de tokens de sortie sur toutes les requêtes simultanées. Ajouter des requêtes simultanées augmente généralement le débit du système jusqu'à saturation du GPU, tandis que le flux de chaque utilisateur ralentit. Les fournisseurs et les benchmarks ne précisent pas toujours de quel chiffre ils parlent.

Ce qui le limite

Pendant le décodage, chaque nouveau token exige la lecture des poids du modèle en mémoire, si bien que la vitesse dépend fortement de la bande passante mémoire et de la taille du modèle. C'est pourquoi la quantification, les modèles plus petits et les modèles mixture of experts, qui n'utilisent qu'une partie de leurs poids par token, génèrent souvent plus vite. Le décodage spéculatif et le continuous batching sont des moyens courants d'augmenter la vitesse dans un moteur de service.

Utiliser le chiffre

Pour les modèles locaux, notre calculateur de GPU estime si un modèle tient dans la VRAM et à quelle vitesse il peut tourner. Pour les modèles hébergés, mesurez avec vos propres prompts, car la longueur de la sortie, la longueur du prompt et la charge du serveur changent toutes le résultat. Associez-le au time to first token pour estimer le temps de réponse total.

Termes liés

Time to first token
Le time to first token (TTFT, délai avant le premier token) est le temps qu'un utilisateur attend entre l'envoi d'une requête à un modèle de langage et la réception du premier token de sa réponse, ce qui couvre la mise en file d'attente, le traitement du prompt et le temps réseau.
VRAM
La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.
Inférence
L'inférence consiste à faire tourner un modèle entraîné pour produire une sortie à partir d'une nouvelle entrée, comme un LLM qui génère une réponse à un prompt. C'est l'étape que les utilisateurs paient à chaque appel d'un modèle, par opposition à l'entraînement.
Décodage spéculatif
Le décodage spéculatif (speculative decoding) accélère la génération de texte en laissant un petit modèle brouillon rapide proposer plusieurs tokens, que le grand modèle vérifie ensuite en une seule passe, en gardant ceux qu'il accepte. La sortie est identique à ce que produirait le grand modèle seul.
Service de modèles
Le service de modèles (model serving) consiste à faire tourner un modèle entraîné comme un service que les applications appellent sur le réseau, avec un logiciel qui charge les poids sur les GPU, met en file et regroupe les requêtes, gère la mémoire et renvoie les résultats.

Sources