Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Passerelle LLM

Une passerelle LLM (LLM gateway) est un serveur proxy placé entre vos applications et les fournisseurs de modèles, qui expose une seule API et gère en un seul endroit les clés, le routage, les replis, les limites de débit, la journalisation et le suivi des dépenses.

Aussi appelé : AI gateway

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Dès qu'une équipe appelle plus d'un fournisseur de modèles, la même tuyauterie est reconstruite dans chaque service : clés API, nouvelles tentatives, suivi des coûts, limites par équipe. Une passerelle déplace ce travail dans une couche partagée unique. Les applications envoient chaque requête à la passerelle, qui la transmet au bon fournisseur.

Ce que fait généralement une passerelle

La plupart des passerelles présentent une API compatible OpenAI, si bien que le code client existant fonctionne avec de nombreux fournisseurs en changeant l'URL de base. Derrière ce point d'accès, elles distribuent des clés virtuelles par utilisateur ou par équipe, appliquent des budgets et des limites de débit, enregistrent le coût de chaque appel, relancent ou basculent quand un fournisseur est en panne, et envoient journaux et traces aux outils d'observabilité. Certaines font aussi du routage de LLM, de la mise en cache et des contrôles de sécurité.

Parmi les exemples open source figurent LiteLLM, Portkey Gateway et Bifrost. Des services hébergés comme OpenRouter proposent un point d'accès unique similaire sous forme de service payant.

Passerelle ou routeur

Un routeur répond à une seule question : quel modèle doit traiter cette requête. Une passerelle est le point de contrôle plus large, qui peut contenir un routeur ainsi que les clés, les limites et la journalisation.

Limites

Une passerelle est une nouvelle pièce d'infrastructure sur le chemin des requêtes. Elle ajoute un saut de latence, devient un point de défaillance unique si elle ne tourne pas avec de la redondance, et détient toutes les clés des fournisseurs : elle exige donc le même soin que tout autre coffre à secrets.

Termes liés

Routage de LLM
Le routage de LLM (LLM routing) consiste à envoyer chaque requête au modèle de langage le plus adapté, souvent un modèle bon marché pour les prompts simples et un modèle plus puissant pour les prompts difficiles, afin d'équilibrer coût, vitesse et qualité.
API compatible OpenAI
Une API compatible OpenAI (OpenAI-compatible API) est un point de terminaison d'un autre fournisseur ou outil qui accepte le même format de requête et de réponse que l'API d'OpenAI, si bien que du code écrit pour OpenAI peut y basculer en changeant l'URL de base, la clé et le nom du modèle.
Modèle de repli
Le repli de modèle (model fallback) est une règle qui envoie une requête à un modèle ou un fournisseur de secours quand le premier choix échoue, expire, atteint une limite de débit ou rejette l'entrée. Il maintient une fonction d'IA en état de marche pendant les pannes.
Limite de débit (API)
Une limite de débit (rate limit) plafonne l'usage qu'un compte peut faire d'une API sur une période donnée, généralement en requêtes par minute (RPM) et en tokens par minute (TPM). Les requêtes au-delà de la limite sont rejetées, en général avec une erreur HTTP 429.
Observabilité des LLM
L'observabilité des LLM (LLM observability) consiste à enregistrer ce que fait une application d'IA en production, y compris les prompts, les réponses, les appels d'outils, la latence, la consommation de tokens et le coût, sous forme de traces consultables, afin de déboguer les défaillances et de voir comment le système se comporte dans le temps.
Clé API
Une clé API est une chaîne secrète qu'une application envoie avec chaque requête pour qu'un service sache quel compte appelle, applique ses limites et le facture. Toute personne qui détient la clé peut généralement s'en servir.

Sources