Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Continuous batching

Le continuous batching (traitement par lots continu) est une technique de service de modèles qui ajoute de nouvelles requêtes au lot en cours sur le GPU et retire celles qui sont terminées après chaque étape de génération, au lieu d'attendre la fin d'un lot entier. Il garde le GPU occupé et augmente le débit.

Aussi appelé : iteration-level scheduling, in-flight batching, dynamic batching

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Un GPU est plus efficace quand il traite beaucoup de requêtes à la fois. La façon simple d'y parvenir, le batching statique, rassemble un groupe de requêtes, les exécute ensemble et les renvoie quand toutes sont terminées. Avec les modèles de langage, cela gaspille beaucoup : une requête peut n'appeler qu'une réponse d'une ligne et une autre un long essai, si bien que les requêtes courtes restent terminées mais non renvoyées pendant que les nouvelles attendent que le lot se vide.

Comment ça marche

La génération se fait à raison d'un token par étape. L'article sur Orca (OSDI 2022) proposait de planifier au niveau de ces étapes plutôt qu'au niveau des requêtes entières. Après chaque étape, le serveur renvoie toute requête terminée et place les requêtes en attente dans les emplacements libérés. Le lot est toujours rempli de travail actif.

La technique est désormais standard. vLLM cite le continuous batching des requêtes entrantes parmi ses fonctions clés, et SGLang, TensorRT-LLM (qui l'appelle in-flight batching) et Hugging Face TGI le pratiquent aussi.

Pourquoi c'est important

Pour quiconque héberge lui-même un modèle, le continuous batching explique en grande partie pourquoi un serveur de modèles moderne gère beaucoup plus d'utilisateurs par GPU qu'une boucle naïve sur `generate()`. Il fonctionne au mieux avec PagedAttention, car ajouter et retirer des requêtes à chaque étape exige une mémoire de KV cache flexible.

À ne pas confondre avec une API batch

Une API batch est une façon hors ligne et moins chère d'acheter de l'inférence à un fournisseur. Le continuous batching est une méthode de planification interne au serveur, utilisée pour le trafic en direct.

Compromis

Davantage de requêtes simultanées se partagent le GPU, si bien que chacune est générée un peu plus lentement. Les serveurs exposent des réglages pour la taille maximale du lot et le nombre de tokens par étape, afin que vous puissiez équilibrer le débit et le time to first token.

Termes liés

Service de modèles
Le service de modèles (model serving) consiste à faire tourner un modèle entraîné comme un service que les applications appellent sur le réseau, avec un logiciel qui charge les poids sur les GPU, met en file et regroupe les requêtes, gère la mémoire et renvoie les résultats.
PagedAttention
PagedAttention est une méthode qui stocke le KV cache d'un modèle de langage dans de petits blocs de taille fixe qui n'ont pas besoin d'être contigus dans la mémoire du GPU, comme les pages d'un système d'exploitation. Elle réduit la mémoire gaspillée, si bien qu'un serveur peut traiter davantage de requêtes à la fois.
KV cache
Un KV cache (cache clé-valeur) stocke les clés et valeurs d'attention qu'un transformer a déjà calculées pour les tokens précédents, de sorte que chaque nouveau token ne demande de travail que pour lui-même. Il accélère la génération mais occupe une mémoire GPU qui augmente avec la longueur du contexte.
API batch
Une API batch (traitement par lots) vous permet de soumettre un grand ensemble de requêtes à un modèle en une seule tâche et d'en récupérer les résultats plus tard, au lieu d'attendre chaque appel. Les fournisseurs exécutent la tâche quand la capacité le permet et la facturent en général moins cher.
Tokens par seconde
Les tokens par seconde (tokens per second, tok/s) mesurent la vitesse à laquelle un modèle de langage produit sa sortie. Le chiffre est donné soit par utilisateur, la vitesse à laquelle une réponse s'affiche en streaming, soit pour l'ensemble du système, la sortie totale de toutes les requêtes simultanées.

Sources