Inférence
L'inférence consiste à faire tourner un modèle entraîné pour produire une sortie à partir d'une nouvelle entrée, comme un LLM qui génère une réponse à un prompt. C'est l'étape que les utilisateurs paient à chaque appel d'un modèle, par opposition à l'entraînement.
Aussi appelé : model inference
Par Divya Sharma · V érifié le 16 nov. 2026 · Notre méthode
L'entraînement fixe les poids d'un modèle ; l'inférence les utilise. Pour un grand modèle de langage, l'inférence consiste à prendre un prompt, à le découper en tokens et à prédire le token suivant encore et encore, en réinjectant chaque nouveau token, jusqu'à ce que le modèle s'arrête ou atteigne une limite de longueur.
Deux phases
L'inférence d'un LLM comporte une phase de prefill et une phase de décodage. Le prefill lit tout le prompt d'un coup et construit le KV cache ; il détermine le time to first token. Le décodage produit ensuite un token par étape, et sa vitesse se mesure en tokens par seconde. Le prefill est surtout limité par la puissance de calcul, le décodage surtout par la vitesse à laquelle le GPU lit les poids en mémoire.
Pourquoi c'est important pour vous
L'entraînement a lieu une fois ; l'inférence a lieu à chaque requête, si bien qu'elle domine généralement le coût de fonctionnement d'un produit d'IA. Vous pouvez l'acheter au token auprès d'un fournisseur d'inférence, ou la faire tourner vous-même avec un moteur de service de modèles comme vLLM. Des choix comme la quantification, le batching et le décodage spéculatif arbitrent entre vitesse, coût et qualité. Le guide du service d'inférence compare les options.
À ne pas confondre avec le raisonnement
« Inférence » est ici un terme d'ingénierie qui désigne le fait de faire tourner un modèle. Il ne signifie pas que le modèle tire des inférences logiques. Les modèles de raisonnement consacrent davantage de calcul d'inférence à chaque réponse, ce qu'on appelle le calcul au moment du test.
Termes liés
- Service de modèles
- Le service de modèles (model serving) consiste à faire tourner un modèle entraîné comme un service que les applications appellent sur le réseau, avec un logiciel qui charge les poids sur les GPU, met en file et regroupe les requêtes, gère la mémoire et renvoie les résultats.
- Time to first token
- Le time to first token (TTFT, délai avant le premier token) est le temps qu'un utilisateur attend entre l'envoi d'une requête à un modèle de langage et la réception du premier token de sa réponse, ce qui couvre la mise en file d'attente, le traitement du prompt et le temps réseau.
- Tokens par seconde
- Les tokens par seconde (tokens per second, tok/s) mesurent la vitesse à laquelle un modèle de langage produit sa sortie. Le chiffre est donné soit par utilisateur, la vitesse à laquelle une réponse s'affiche en streaming, soit pour l'ensemble du système, la sortie totale de toutes les requêtes simultanées.
- KV cache
- Un KV cache (cache clé-valeur) stocke les clés et valeurs d'attention qu'un transformer a déjà calculées pour les tokens précédents, de sorte que chaque nouveau token ne demande de travail que pour lui-même. Il accélère la génération mais occupe une mémoire GPU qui augmente avec la longueur du contexte.
- Fournisseur d'inférence
- Un fournisseur d'inférence (inference provider) est une entreprise qui fait tourner des modèles d'IA sur son propre matériel et en vend l'accès par une API, généralement facturée au token. Vous envoyez des prompts et recevez des sorties sans gérer vous-même de GPU.