Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Modèle de repli

Le repli de modèle (model fallback) est une règle qui envoie une requête à un modèle ou un fournisseur de secours quand le premier choix échoue, expire, atteint une limite de débit ou rejette l'entrée. Il maintient une fonction d'IA en état de marche pendant les pannes.

Aussi appelé : failover, fallback model, provider failover

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Les modèles hébergés tombent en panne plus souvent que la plupart des API web. Les fournisseurs connaissent des pannes, renvoient des erreurs de limite de débit et de surcharge aux heures chargées, et rejettent les requêtes trop longues ou qui déclenchent un filtre de contenu. Une chaîne de repli transforme ces erreurs en une réponse plus lente ou légèrement différente au lieu d'une fonction cassée.

Comment ça marche

Vous listez les modèles par ordre de préférence, par exemple un modèle principal, puis le même modèle chez un second fournisseur d'inférence, puis un modèle moins cher d'une autre entreprise. Le client ou une passerelle LLM essaie le premier ; s'il échoue après un nombre défini de tentatives, la requête descend dans la liste. Des outils comme LiteLLM, Portkey et OpenRouter le permettent. LiteLLM vous laisse aussi définir des chaînes distinctes par type d'erreur, comme une pour les prompts qui dépassent la fenêtre de contexte et une pour les rejets liés à la politique de contenu, et met un déploiement défaillant en pause pour que le trafic cesse de l'atteindre.

Repli ou routage

Le routage de LLM choisit un modèle d'emblée pour chaque requête, par exemple selon la difficulté ou le prix. Le repli n'intervient qu'après un problème. Beaucoup de passerelles font les deux.

Points de vigilance

Un modèle de secours peut formater sa sortie différemment, prendre en charge d'autres outils ou avoir une fenêtre de contexte plus petite : testez donc chaque modèle de la chaîne avec vos prompts et votre schéma de sortie structurée. Journalisez quel modèle a répondu à chaque requête ; sinon, les changements de qualité dus à des replis silencieux sont difficiles à retracer. Ne relancez pas les requêtes qui ont des effets de bord, comme les appels d'outils d'un agent, sans les avoir rendues sûres à répéter.

Termes liés

Passerelle LLM
Une passerelle LLM (LLM gateway) est un serveur proxy placé entre vos applications et les fournisseurs de modèles, qui expose une seule API et gère en un seul endroit les clés, le routage, les replis, les limites de débit, la journalisation et le suivi des dépenses.
Routage de LLM
Le routage de LLM (LLM routing) consiste à envoyer chaque requête au modèle de langage le plus adapté, souvent un modèle bon marché pour les prompts simples et un modèle plus puissant pour les prompts difficiles, afin d'équilibrer coût, vitesse et qualité.
Limite de débit (API)
Une limite de débit (rate limit) plafonne l'usage qu'un compte peut faire d'une API sur une période donnée, généralement en requêtes par minute (RPM) et en tokens par minute (TPM). Les requêtes au-delà de la limite sont rejetées, en général avec une erreur HTTP 429.
Fournisseur d'inférence
Un fournisseur d'inférence (inference provider) est une entreprise qui fait tourner des modèles d'IA sur son propre matériel et en vend l'accès par une API, généralement facturée au token. Vous envoyez des prompts et recevez des sorties sans gérer vous-même de GPU.
Observabilité des LLM
L'observabilité des LLM (LLM observability) consiste à enregistrer ce que fait une application d'IA en production, y compris les prompts, les réponses, les appels d'outils, la latence, la consommation de tokens et le coût, sous forme de traces consultables, afin de déboguer les défaillances et de voir comment le système se comporte dans le temps.

Sources