Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Time to first token

Le time to first token (TTFT, délai avant le premier token) est le temps qu'un utilisateur attend entre l'envoi d'une requête à un modèle de langage et la réception du premier token de sa réponse, ce qui couvre la mise en file d'attente, le traitement du prompt et le temps réseau.

Aussi appelé : TTFT, latency

Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode

Le TTFT est le délai avant que quoi que ce soit n'apparaisse à l'écran. Pour les assistants de chat, vocaux et de code, c'est souvent ce qui fait paraître un modèle rapide ou lent, plus encore que le temps total de génération, car une réponse en streaming permet aux utilisateurs de commencer à lire dès l'arrivée du premier token.

Ce qui le compose

La documentation de benchmarking de NVIDIA décrit le TTFT comme incluant généralement le temps de mise en file d'attente de la requête, le temps de prefill et la latence réseau. Le prefill est l'étape au cours de laquelle le modèle lit tout le prompt et construit son KV cache : des prompts plus longs augmentent donc le TTFT. Un serveur chargé ajoute du temps d'attente. La distance jusqu'au centre de données ajoute du temps réseau.

En quoi il diffère du débit

Après le premier token, la vitesse se mesure en latence inter-tokens ou en tokens par seconde. Un modèle peut avoir un TTFT faible et une génération lente, ou l'inverse. Le temps de réponse total vaut à peu près le TTFT plus le nombre de tokens de sortie multiplié par le temps par token. Les modèles de raisonnement peuvent aussi passer du temps sur des tokens de réflexion cachés avant que la réponse visible ne commence, ce que les utilisateurs perçoivent comme un long TTFT.

Comment le réduire

Gardez des prompts courts ou réutilisez un préfixe fixe avec le prompt caching, qui évite l'essentiel du travail de prefill. Choisissez un modèle plus petit ou une région du fournisseur proche des utilisateurs. En auto-hébergement, évitez de surcharger le serveur, car l'attente devient vite prépondérante. Pour comparer des fournisseurs, mesurez le TTFT avec vos propres longueurs de prompt et sous une charge réaliste, et regardez les percentiles plutôt que la moyenne. Voir le guide du service d'inférence pour les moteurs et les fournisseurs.

Termes liés

Tokens par seconde
Les tokens par seconde (tokens per second, tok/s) mesurent la vitesse à laquelle un modèle de langage produit sa sortie. Le chiffre est donné soit par utilisateur, la vitesse à laquelle une réponse s'affiche en streaming, soit pour l'ensemble du système, la sortie totale de toutes les requêtes simultanées.
Inférence
L'inférence consiste à faire tourner un modèle entraîné pour produire une sortie à partir d'une nouvelle entrée, comme un LLM qui génère une réponse à un prompt. C'est l'étape que les utilisateurs paient à chaque appel d'un modèle, par opposition à l'entraînement.
KV cache
Un KV cache (cache clé-valeur) stocke les clés et valeurs d'attention qu'un transformer a déjà calculées pour les tokens précédents, de sorte que chaque nouveau token ne demande de travail que pour lui-même. Il accélère la génération mais occupe une mémoire GPU qui augmente avec la longueur du contexte.
Prompt caching
Le prompt caching (mise en cache des prompts) est une fonctionnalité d'API qui stocke la forme traitée d'un préfixe de prompt répété, comme un long prompt système ou un document, pour que les requêtes suivantes commençant par le même préfixe soient moins chères et plus rapides.
Streaming (sortie de LLM)
Le streaming envoie la sortie d'un LLM au client morceau par morceau, à mesure que les tokens sont générés, au lieu d'attendre la réponse complète. Les utilisateurs voient le texte apparaître en quelques instants, même quand la réponse complète prend bien plus longtemps.

Sources