Continuous batching
Le continuous batching (traitement par lots continu) est une technique de service de modèles qui ajoute de nouvelles requêtes au lot en cours sur le GPU et retire celles qui sont terminées après chaque étape de génération, au lieu d'attendre la fin d'un lot entier. Il garde le GPU occupé et augmente le débit.
Aussi appelé : iteration-level scheduling, in-flight batching, dynamic batching
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Un GPU est plus efficace quand il traite beaucoup de requêtes à la fois. La façon simple d'y parvenir, le batching statique, rassemble un groupe de requêtes, les exécute ensemble et les renvoie quand toutes sont terminées. Avec les modèles de langage, cela gaspille beaucoup : une requête peut n'appeler qu'une réponse d'une ligne et une autre un long essai, si bien que les requêtes courtes restent terminées mais non renvoyées pendant que les nouvelles attendent que le lot se vide.
Comment ça marche
La génération se fait à raison d'un token par étape. L'article sur Orca (OSDI 2022) proposait de planifier au niveau de ces étapes plutôt qu'au niveau des requêtes entières. Après chaque étape, le serveur renvoie toute requête terminée et place les requêtes en attente dans les emplacements libérés. Le lot est toujours rempli de travail actif.
La technique est désormais standard. vLLM cite le continuous batching des requêtes entrantes parmi ses fonctions clés, et SGLang, TensorRT-LLM (qui l'appelle in-flight batching) et Hugging Face TGI le pratiquent aussi.
Pourquoi c'est important
Pour quiconque héberge lui-même un modèle, le continuous batching explique en grande partie pourquoi un serveur de modèles moderne gère beaucoup plus d'utilisateurs par GPU qu'une boucle naïve sur `generate()`. Il fonctionne au mieux avec PagedAttention, car ajouter et retirer des requêtes à chaque étape exige une mémoire de KV cache flexible.
À ne pas confondre avec une API batch
Une API batch est une façon hors ligne et moins chère d'acheter de l'inférence à un fournisseur. Le continuous batching est une méthode de planification interne au serveur, utilisée pour le trafic en direct.
Compromis
Davantage de requêtes simultanées se partagent le GPU, si bien que chacune est générée un peu plus lentement. Les serveurs exposent des réglages pour la taille maximale du lot et le nombre de tokens par étape, afin que vous puissiez équilibrer le débit et le time to first token.
Termes liés
- Service de modèles
- Le service de modèles (model serving) consiste à faire tourner un modèle entraîné comme un service que les applications appellent sur le réseau, avec un logiciel qui charge les poids sur les GPU, met en file et regroupe les requêtes, gère la mémoire et renvoie les résultats.
- PagedAttention
- PagedAttention est une méthode qui stocke le KV cache d'un modèle de langage dans de petits blocs de taille fixe qui n'ont pas besoin d'être contigus dans la mémoire du GPU, comme les pages d'un système d'exploitation. Elle réduit la mémoire gaspillée, si bien qu'un serveur peut traiter davantage de requêtes à la fois.
- KV cache
- Un KV cache (cache clé-valeur) stocke les clés et valeurs d'attention qu'un transformer a déjà calculées pour les tokens précédents, de sorte que chaque nouveau token ne demande de travail que pour lui-même. Il accélère la génération mais occupe une mémoire GPU qui augmente avec la longueur du contexte.
- API batch
- Une API batch (traitement par lots) vous permet de soumettre un grand ensemble de requêtes à un modèle en une seule tâche et d'en récupérer les résultats plus tard, au lieu d'attendre chaque appel. Les fournisseurs exécutent la tâche quand la capacité le permet et la facturent en général moins cher.
- Tokens par seconde
- Les tokens par seconde (tokens per second, tok/s) mesurent la vitesse à laquelle un modèle de langage produit sa sortie. Le chiffre est donné soit par utilisateur, la vitesse à laquelle une réponse s'affiche en streaming, soit pour l'ensemble du système, la sortie totale de toutes les requêtes simultanées.