API batch
Une API batch (traitement par lots) vous permet de soumettre un grand ensemble de requêtes à un modèle en une seule tâche et d'en récupérer les résultats plus tard, au lieu d'attendre chaque appel. Les fournisseurs exécutent la tâche quand la capacité le permet et la facturent en général moins cher.
Aussi appelé : batch inference, batch processing, Message Batches API
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
La plupart des appels de modèle sont synchrones : vous envoyez un prompt et attendez la réponse. Beaucoup de travaux n'ont pas besoin d'une réponse en quelques secondes, comme classer un million de tickets de support, générer des descriptions de produits, faire tourner une batterie d'évaluation ou annoter des données d'entraînement. Une API batch est conçue pour cela.
Comment ça marche
Vous envoyez un fichier ou une liste de requêtes, chacune avec son propre identifiant. Le fournisseur met la tâche en file d'attente, la traite en arrière-plan et vous fournit un statut à interroger. Une fois terminé, vous téléchargez les résultats et les associez à vos identifiants. La Message Batches API d'Anthropic, par exemple, coûte 50 % de moins que les appels standard et indique qu'un lot peut prendre jusqu'à 24 heures, même si beaucoup se terminent plus tôt. OpenAI et d'autres fournisseurs proposent des points d'accès similaires, avec leurs propres remises et délais ; vérifiez les chiffres actuels dans prix des modèles d'IA.
Pourquoi c'est moins cher
Le fournisseur peut exécuter le travail par lots pendant les périodes creuses et regrouper efficacement les requêtes. Les tâches batch ont aussi en général leurs propres limites de débit, distinctes de votre trafic en direct, si bien qu'une grosse tâche n'affame pas votre produit.
API batch ou batching dans un serveur
Le « batching » désigne aussi la façon dont un serveur de modèles regroupe les requêtes sur le GPU, comme dans le continuous batching. C'est une technique interne d'accélération qui s'applique aussi au trafic en direct. Une API batch est un produit : une façon plus lente et moins chère d'acheter de l'inférence.
Limites
Vous renoncez à la latence et à une partie du contrôle. Des requêtes individuelles peuvent échouer ou expirer et doivent être soumises à nouveau, les résultats arrivent dans le désordre et le streaming est impossible. Les lots conviennent mal à tout ce qu'un utilisateur attend.
Termes liés
- Tarification au token
- La tarification au token (token pricing) est la façon dont la plupart des API de modèles d'IA facturent : un prix fixe par million de tokens d'entrée envoyés et un prix distinct, généralement plus élevé, par million de tokens de sortie générés par le modèle, avec des remises pour les entrées en cache et les traitements batch.
- Limite de débit (API)
- Une limite de débit (rate limit) plafonne l'usage qu'un compte peut faire d'une API sur une période donnée, généralement en requêtes par minute (RPM) et en tokens par minute (TPM). Les requêtes au-delà de la limite sont rejetées, en général avec une erreur HTTP 429.
- Inférence
- L'inférence consiste à faire tourner un modèle entraîné pour produire une sortie à partir d'une nouvelle entrée, comme un LLM qui génère une réponse à un prompt. C'est l'étape que les utilisateurs paient à chaque appel d'un modèle, par opposition à l'entraînement.
- Évaluation de LLM
- L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.
- Continuous batching
- Le continuous batching (traitement par lots continu) est une technique de service de modèles qui ajoute de nouvelles requêtes au lot en cours sur le GPU et retire celles qui sont terminées après chaque étape de génération, au lieu d'attendre la fin d'un lot entier. Il garde le GPU occupé et augmente le débit.