Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Streaming (sortie de LLM)

Le streaming envoie la sortie d'un LLM au client morceau par morceau, à mesure que les tokens sont générés, au lieu d'attendre la réponse complète. Les utilisateurs voient le texte apparaître en quelques instants, même quand la réponse complète prend bien plus longtemps.

Aussi appelé : token streaming, streaming responses, server-sent events, SSE

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Les modèles de langage génèrent un token à la fois. Une longue réponse peut mettre de nombreuses secondes à se terminer, et sans streaming l'utilisateur fixe un indicateur de chargement pendant tout ce temps. Avec le streaming, les premiers mots arrivent dès qu'ils existent, si bien que l'application paraît rapide même si le temps total est le même.

Comment ça marche

Vous activez un indicateur comme `"stream": true` dans la requête. Le fournisseur garde la connexion HTTP ouverte et envoie une suite de petits événements, généralement sous forme de server-sent events (SSE), chacun portant le fragment de texte suivant. Des événements distincts marquent le début et la fin du message, et certaines API diffusent aussi les appels d'outils et le raisonnement. Les SDK officiels rassemblent les fragments pour vous. La plupart des serveurs auto-hébergés qui proposent une API compatible OpenAI prennent en charge le même schéma.

Ce que ça change

Deux chiffres décrivent une réponse en streaming : le time to first token, que les utilisateurs perçoivent comme la réactivité, et les tokens par seconde, qui déterminent la vitesse d'arrivée du reste. Le streaming améliore le premier sans changer le second.

Points à gérer

Votre interface doit gérer du texte partiel : afficher du markdown à moitié écrit et gérer une connexion qui se coupe en cours de route. Des erreurs peuvent arriver au milieu d'un flux alors que vous avez déjà affiché du texte. Si vous avez besoin d'une sortie structurée comme du JSON, soit vous attendez la fin pour l'analyser, soit vous utilisez un parser qui accepte une entrée partielle. Les filtres de contenu et les garde-fous qui vérifient la réponse entière sont plus difficiles à appliquer quand le texte est déjà à l'écran.

Termes liés

Time to first token
Le time to first token (TTFT, délai avant le premier token) est le temps qu'un utilisateur attend entre l'envoi d'une requête à un modèle de langage et la réception du premier token de sa réponse, ce qui couvre la mise en file d'attente, le traitement du prompt et le temps réseau.
Tokens par seconde
Les tokens par seconde (tokens per second, tok/s) mesurent la vitesse à laquelle un modèle de langage produit sa sortie. Le chiffre est donné soit par utilisateur, la vitesse à laquelle une réponse s'affiche en streaming, soit pour l'ensemble du système, la sortie totale de toutes les requêtes simultanées.
Tokens de sortie
Les tokens de sortie (output tokens) sont les tokens qu'un modèle de langage génère dans sa réponse. Ils sont comptés et facturés séparément des tokens d'entrée, et un réglage max_tokens plafonne le nombre qu'une réponse peut contenir.
API compatible OpenAI
Une API compatible OpenAI (OpenAI-compatible API) est un point de terminaison d'un autre fournisseur ou outil qui accepte le même format de requête et de réponse que l'API d'OpenAI, si bien que du code écrit pour OpenAI peut y basculer en changeant l'URL de base, la clé et le nom du modèle.
Sortie structurée
La sortie structurée (structured output) est une fonctionnalité d'API qui oblige la réponse d'un modèle de langage à suivre un format que vous définissez, généralement un JSON Schema, pour que du code puisse l'analyser de façon fiable au lieu d'extraire des informations d'un texte libre.

Sources