Limite de débit (API)
Une limite de débit (rate limit) plafonne l'usage qu'un compte peut faire d'une API sur une période donnée, généralement en requêtes par minute (RPM) et en tokens par minute (TPM). Les requêtes au-delà de la limite sont rejetées, en général avec une erreur HTTP 429.
Aussi appelé : rate limiting, RPM, TPM
Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode
Les fournisseurs d'IA limitent l'usage pour partager équitablement la capacité et empêcher les abus. Les limites sont généralement fixées par organisation ou par projet et par modèle, et elles augmentent à mesure que votre compte accumule un historique d'usage. La documentation d'Anthropic, par exemple, mesure les limites de l'API Messages en requêtes par minute, en tokens d'entrée par minute et en tokens de sortie par minute, et renvoie une erreur 429 qui indique quelle limite a été dépassée.
Comment se comportent les limites
Une limite par minute est souvent appliquée sur des intervalles plus courts, si bien qu'une rafale peut échouer même si le total de la minute serait acceptable. Anthropic indique que son API utilise un token bucket : la capacité se reconstitue en continu au lieu d'être réinitialisée à heures fixes. Certaines limites ne comptent que les entrées hors cache, ce qui fait du prompt caching un moyen de faire passer plus de travail sous la même limite. Des plafonds de dépenses distincts peuvent aussi bloquer les requêtes une fois un budget mensuel atteint.
Gérer les erreurs 429
Lisez l'en-tête `retry-after` s'il est présent et attendez le temps indiqué. Sinon, relancez avec un backoff exponentiel et un peu de jitter aléatoire, et plafonnez le nombre de tentatives pour qu'une tâche en échec ne boucle pas indéfiniment. Les en-têtes de réponse indiquent généralement ce qui reste de chaque limite, ce qui permet à un client de ralentir avant de l'atteindre. Pour les gros traitements hors ligne, une API batch a souvent ses propres limites, plus élevées.
Planifier en fonction des limites
Étalez le trafic dans le temps, gardez des prompts concis et fixez vos propres limites par espace de travail pour qu'un service ne prive pas les autres. Une passerelle LLM peut mettre les requêtes en file et les rediriger vers un modèle de repli ou un second fournisseur quand l'un est limité. Les limites de débit sont distinctes de la tarification au token.
Termes liés
- Tarification au token
- La tarification au token (token pricing) est la façon dont la plupart des API de modèles d'IA facturent : un prix fixe par million de tokens d'entrée envoyés et un prix distinct, généralement plus élevé, par million de tokens de sortie générés par le modèle, avec des remises pour les entrées en cache et les traitements batch.
- API batch
- Une API batch (traitement par lots) vous permet de soumettre un grand ensemble de requêtes à un modèle en une seule tâche et d'en récupérer les résultats plus tard, au lieu d'attendre chaque appel. Les fournisseurs exécutent la tâche quand la capacité le permet et la facturent en général moins cher.
- Passerelle LLM
- Une passerelle LLM (LLM gateway) est un serveur proxy placé entre vos applications et les fournisseurs de modèles, qui expose une seule API et gère en un seul endroit les clés, le routage, les replis, les limites de débit, la journalisation et le suivi des dépenses.
- Modèle de repli
- Le repli de modèle (model fallback) est une règle qui envoie une requête à un modèle ou un fournisseur de secours quand le premier choix échoue, expire, atteint une limite de débit ou rejette l'entrée. Il maintient une fonction d'IA en état de marche pendant les pannes.
- Clé API
- Une clé API est une chaîne secrète qu'une application envoie avec chaque requête pour qu'un service sache quel compte appelle, applique ses limites et le facture. Toute personne qui détient la clé peut généralement s'en servir.