Modèle de repli
Le repli de modèle (model fallback) est une règle qui envoie une requête à un modèle ou un fournisseur de secours quand le premier choix échoue, expire, atteint une limite de débit ou rejette l'entrée. Il maintient une fonction d'IA en état de marche pendant les pannes.
Aussi appelé : failover, fallback model, provider failover
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Les modèles hébergés tombent en panne plus souvent que la plupart des API web. Les fournisseurs connaissent des pannes, renvoient des erreurs de limite de débit et de surcharge aux heures chargées, et rejettent les requêtes trop longues ou qui déclenchent un filtre de contenu. Une chaîne de repli transforme ces erreurs en une réponse plus lente ou légèrement différente au lieu d'une fonction cassée.
Comment ça marche
Vous listez les modèles par ordre de préférence, par exemple un modèle principal, puis le même modèle chez un second fournisseur d'inférence, puis un modèle moins cher d'une autre entreprise. Le client ou une passerelle LLM essaie le premier ; s'il échoue après un nombre défini de tentatives, la requête descend dans la liste. Des outils comme LiteLLM, Portkey et OpenRouter le permettent. LiteLLM vous laisse aussi définir des chaînes distinctes par type d'erreur, comme une pour les prompts qui dépassent la fenêtre de contexte et une pour les rejets liés à la politique de contenu, et met un déploiement défaillant en pause pour que le trafic cesse de l'atteindre.
Repli ou routage
Le routage de LLM choisit un modèle d'emblée pour chaque requête, par exemple selon la difficulté ou le prix. Le repli n'intervient qu'après un problème. Beaucoup de passerelles font les deux.
Points de vigilance
Un modèle de secours peut formater sa sortie différemment, prendre en charge d'autres outils ou avoir une fenêtre de contexte plus petite : testez donc chaque modèle de la chaîne avec vos prompts et votre schéma de sortie structurée. Journalisez quel modèle a répondu à chaque requête ; sinon, les changements de qualité dus à des replis silencieux sont difficiles à retracer. Ne relancez pas les requêtes qui ont des effets de bord, comme les appels d'outils d'un agent, sans les avoir rendues sûres à répéter.
Termes liés
- Passerelle LLM
- Une passerelle LLM (LLM gateway) est un serveur proxy placé entre vos applications et les fournisseurs de modèles, qui expose une seule API et gère en un seul endroit les clés, le routage, les replis, les limites de débit, la journalisation et le suivi des dépenses.
- Routage de LLM
- Le routage de LLM (LLM routing) consiste à envoyer chaque requête au modèle de langage le plus adapté, souvent un modèle bon marché pour les prompts simples et un modèle plus puissant pour les prompts difficiles, afin d'équilibrer coût, vitesse et qualité.
- Limite de débit (API)
- Une limite de débit (rate limit) plafonne l'usage qu'un compte peut faire d'une API sur une période donnée, généralement en requêtes par minute (RPM) et en tokens par minute (TPM). Les requêtes au-delà de la limite sont rejetées, en général avec une erreur HTTP 429.
- Fournisseur d'inférence
- Un fournisseur d'inférence (inference provider) est une entreprise qui fait tourner des modèles d'IA sur son propre matériel et en vend l'accès par une API, généralement facturée au token. Vous envoyez des prompts et recevez des sorties sans gérer vous-même de GPU.
- Observabilité des LLM
- L'observabilité des LLM (LLM observability) consiste à enregistrer ce que fait une application d'IA en production, y compris les prompts, les réponses, les appels d'outils, la latence, la consommation de tokens et le coût, sous forme de traces consultables, afin de déboguer les défaillances et de voir comment le système se comporte dans le temps.