Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Service de modèles

Le service de modèles (model serving) consiste à faire tourner un modèle entraîné comme un service que les applications appellent sur le réseau, avec un logiciel qui charge les poids sur les GPU, met en file et regroupe les requêtes, gère la mémoire et renvoie les résultats.

Aussi appelé : inference server, serving engine

Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode

Appeler `generate()` dans un notebook fonctionne pour un utilisateur. Un produit a besoin d'un serveur que beaucoup d'utilisateurs peuvent solliciter en même temps sans manquer de mémoire ni faire attendre tout le monde. Ce logiciel est un moteur de service, aussi appelé serveur d'inférence. Des exemples open source courants pour les LLM sont vLLM, SGLang et le serveur de llama.cpp.

Ce que fait un moteur de service

Il charge les poids du modèle dans la VRAM, souvent répartis sur plusieurs GPU avec le parallélisme de tenseurs. Il accepte les requêtes, généralement via une API compatible OpenAI, et renvoie les tokens en streaming. Sa tâche principale est le débit : l'article sur PagedAttention note qu'un service à haut débit exige de regrouper de nombreuses requêtes à la fois. Les moteurs utilisent le continuous batching pour que de nouvelles requêtes rejoignent un lot en cours, et gèrent soigneusement le KV cache, car la mémoire de cache gaspillée limite le nombre de requêtes qui tiennent.

Auto-hébergé ou géré

Vous pouvez faire tourner un moteur de service sur vos propres machines ou sur des GPU loués (auto-hébergement), sur une plateforme de GPU serverless, ou vous en passer et payer un fournisseur d'inférence au token. L'auto-hébergement donne le contrôle des modèles, des données et des coûts à fort volume, mais la planification de capacité, les mises à jour et la supervision sont à votre charge. Le guide du service d'inférence compare les options.

Ce qu'il faut mesurer

Suivez le time to first token, les tokens par seconde par utilisateur et pour l'ensemble du système, le taux d'erreur et l'utilisation de la mémoire GPU. Optimiser un indicateur, par exemple des lots plus grands pour le débit, en dégrade souvent un autre, comme la latence pour chaque utilisateur.

Termes liés

Inférence
L'inférence consiste à faire tourner un modèle entraîné pour produire une sortie à partir d'une nouvelle entrée, comme un LLM qui génère une réponse à un prompt. C'est l'étape que les utilisateurs paient à chaque appel d'un modèle, par opposition à l'entraînement.
KV cache
Un KV cache (cache clé-valeur) stocke les clés et valeurs d'attention qu'un transformer a déjà calculées pour les tokens précédents, de sorte que chaque nouveau token ne demande de travail que pour lui-même. Il accélère la génération mais occupe une mémoire GPU qui augmente avec la longueur du contexte.
Continuous batching
Le continuous batching (traitement par lots continu) est une technique de service de modèles qui ajoute de nouvelles requêtes au lot en cours sur le GPU et retire celles qui sont terminées après chaque étape de génération, au lieu d'attendre la fin d'un lot entier. Il garde le GPU occupé et augmente le débit.
Auto-hébergement (modèles d'IA)
Auto-héberger un modèle d'IA (self-hosting) signifie le faire tourner sur du matériel que vous contrôlez, comme vos propres serveurs, des GPU loués ou un ordinateur portable, au lieu d'appeler l'API d'un fournisseur. Vous choisissez le modèle et gardez les données, mais vous gérez l'infrastructure.
Fournisseur d'inférence
Un fournisseur d'inférence (inference provider) est une entreprise qui fait tourner des modèles d'IA sur son propre matériel et en vend l'accès par une API, généralement facturée au token. Vous envoyez des prompts et recevez des sorties sans gérer vous-même de GPU.
API compatible OpenAI
Une API compatible OpenAI (OpenAI-compatible API) est un point de terminaison d'un autre fournisseur ou outil qui accepte le même format de requête et de réponse que l'API d'OpenAI, si bien que du code écrit pour OpenAI peut y basculer en changeant l'URL de base, la clé et le nom du modèle.

Sources