Routage et passerelles LLM

Ce qu’il faut regarder

Les questions qui départagent les options, par ordre d’importance.

1. 01

   Avez-vous seulement besoin d'un routeur ?

   Si un seul service appelle un ou deux fournisseurs, leurs propres SDK plus une couche de relance sont plus simples et suppriment un saut réseau. Une passerelle se rentabilise quand plusieurs équipes partagent des clés de fournisseurs, que la finance veut les dépenses par équipe ou qu'il vous faut une bascule automatique entre fournisseurs. Le routage de chaque requête selon son sens n'est rentable que si le trafic est assez important et varié pour qu'envoyer les requêtes faciles vers un modèle moins cher change la facture, et si vous avez des évaluations pour prouver que la qualité tient.

2. 02

   Routeur hébergé, passerelle auto-hébergée ou modèle de décision

   Un routeur hébergé (OpenRouter) donne une seule clé et une seule facture pour des centaines de modèles sans rien à faire tourner, mais chaque requête passe par un tiers et vous payez des frais sur les crédits. Une passerelle auto-hébergée (LiteLLM, Bifrost, Portkey, Claude Code Router) garde le trafic et les clés dans votre réseau et ajoute budgets et journalisation, mais c'est vous qui l'exploitez. Un routeur à modèle de décision (vLLM Semantic Router, ou un modèle de décision comme Jev, pplx-decider ou d3 appelé depuis votre code) lit chaque requête et choisit le modèle ; c'est une couche au-dessus d'une passerelle, pas un remplacement.

3. 03

   Solutions de repli, relances et couverture des fournisseurs

   Vérifiez que le routeur peut relancer en cas de limite de débit ou de délai dépassé et basculer vers un autre fournisseur ou un autre modèle, pas seulement vers une autre clé. Les annonces de couverture (plus de 100 fournisseurs, plus de 1 600 modèles) comptent moins que la prise en charge de vos fournisseurs précis, dont Azure, Bedrock et Vertex, avec leurs particularités : appels d'outils, streaming, en-têtes de cache de prompts et entrées image. Testez une bascule avant de compter dessus.

4. 04

   Clés, budgets et suivi des dépenses

   Pour les équipes, la fonction centrale est l'émission de clés virtuelles avec budgets et limites de débit par équipe, utilisateur ou projet, et la journalisation des dépenses correspondantes. Vérifiez quelles fonctions figurent dans la version open source et lesquelles sont payantes : la documentation et la page entreprise de LiteLLM ne s'accordent pas sur le fait que les budgets soient réservés à l'offre entreprise. Les routeurs hébergés gèrent la facturation pour vous mais offrent des contrôles moins fins.

5. 05

   Posture de sécurité et chaîne d'approvisionnement

   Une passerelle détient toutes vos clés de fournisseurs : son propre bilan de sécurité compte donc autant que ses fonctions. Les versions PyPI 1.82.7 et 1.82.8 de LiteLLM ont été piégées en mars 2026 pour voler des identifiants. Figez les versions exactes, installez à partir d'images vérifiées, isolez la passerelle et gardez les routeurs locaux liés à localhost. Vérifiez aussi les réglages par défaut : Bifrost était livré avec son API d'administration sans authentification, et une faille notée 9,8 qui permettait à une seule requête non authentifiée d'exécuter des commandes n'a été corrigée qu'en v2.1.0 en septembre 2026. Le propriétaire compte aussi : Portkey fait désormais partie de Palo Alto Networks, qui fixe sa feuille de route.

6. 06

   Surcoût de latence et cache

   Les passerelles annoncent de faibles surcoûts (LiteLLM cite 8 ms au P95 à 1 000 requêtes par seconde ; Bifrost 11 µs à 5 000 ; Portkey moins de 1 ms), mais ce sont les benchmarks des projets eux-mêmes ; mesurez sur votre trafic. Un routeur hébergé ajoute un saut réseau et peut-être un changement de région. Les routeurs sémantiques ajoutent un appel de classifieur par requête ; les modèles de décision annoncent de quelques dizaines à quelques centaines de millisecondes. Le cache des réponses et la transmission du cache de prompts des fournisseurs peuvent faire économiser plus que ce que coûte le routeur.

7. 07

   Méthode de routage, licence et maintenance

   Le routage à base de règles (listes de modèles, pondérations, conditions) est prévisible et facile à auditer. Le routage sémantique ou appris est moins cher en théorie mais plus difficile à déboguer ; vérifiez s'il indique pourquoi un modèle a été choisi. Les licences diffèrent : MIT (Portkey, Claude Code Router), MIT avec un dossier entreprise commercial (LiteLLM), Apache 2.0 (vLLM Semantic Router, Bifrost, dont la version Enterprise est sous licence séparée). Vérifiez l'activité des versions : la passerelle de Portkey n'a eu aucune version stable entre janvier et octobre 2026.

11 outils comparés

Classés selon notre note. Ouvrez un avis pour voir les sources, les prix et le verdict complet.

Outils comparés : Routage et passerelles LLM

Outil	Note	Notre verdict	Idéal pour	Prix
OpenRouteroutil	4.6/5	OpenRouter est le premier arrêt raisonnable si votre application a besoin de plus d'un modèle, mais une fois que vous vous fixez sur un seul modèle à fort volume régulier, ses frais sur les crédits valent la peine d'être supprimés.	Les développeurs et petites équipes qui veulent tester, comparer ou proposer de nombreux modèles d'IA via une seule intégration.	Vous payez les modèles au prix catalogue des fournisseurs. Frais sur les achats de crédits : 5,5 % (Standard) ou 8 % (Business). Vos propres clés : gratuites pour les premiers 25 000 $ d'usage par mois, puis 5 %. Modèles gratuits : 50 requêtes par jour, ou 1 000 par jour après un achat de 10 $.
Perplexity Decider (pplx-decider)modèle	4.5/5	Un modèle de décision que vous pouvez télécharger, avec lequel lire des images et faire tourner pour moins de la moitié du prix de Jev, obtenant un score bien au-dessus de Jev sur des tests que personne ne peut entraîner.	Les équipes qui veulent des décisions typées solides sur texte et images, soit via une API bon marché, soit sur leurs propres GPU.	API : pplx-decider-v1.2 0,02 $ et Flash 0,01 $ par 1M de tokens en entrée ; sortie gratuite, pas de frais par requête. Poids gratuits sous Apache 2.0.
LiteLLMdépôt	4.3/5	La passerelle auto-hébergée par défaut pour les équipes qui ont besoin d'une seule API, de budgets par équipe et de basculements sur de nombreux fournisseurs, pourvu qu'elles épinglent les versions et la traitent comme une infrastructure critique pour la sécurité.	Les équipes plateforme qui doivent donner à de nombreux développeurs un accès gouverné à de nombreux fournisseurs de modèles depuis leur propre infrastructure.	Gratuit et open source sous MIT, sauf le dossier enterprise/, qui est sous une licence commerciale séparée. L'Enterprise est à prix sur mesure avec une clé d'essai gratuite de 30 jours.
d3 (vLLM Semantic Router)modèle	4.0/5	Fort, ouvert et facile à servir sur vLLM, mais neuf jours après son lancement son propre d3-turbo en a fait la version à quitter.	Les équipes qui font déjà tourner vLLM et veulent un modèle de décision ouvert pour les vérifications de texte, d'image ou de vidéo sur leurs propres GPU et ont validé face à ce checkpoint.	Poids gratuits sous Apache 2.0. Pas d'API hébergée payante ; la démo publique gratuite sert désormais d3-turbo.
Claude Code Routerdépôt	4.0/5	Un standard local capable pour faire tourner des agents de code sur des modèles moins chers, tant que vous acceptez qu'Anthropic ne supportera pas le résultat et que les éditions seront moins bonnes.	Les développeurs qui veulent faire tourner Claude Code ou d'autres agents sur des modèles moins chers ou locaux.	Gratuit et open source (MIT). Vous payez chaque fournisseur de modèle vers lequel vous routez.
Bifrostdépôt	3.9/5	Une passerelle rapide sous licence Apache avec des budgets dans le build gratuit, desservie par un réglage de sécurité par défaut qui a laissé son API d'administration ouverte jusqu'en septembre 2026.	Les équipes à gros volumes de requêtes, ou les boutiques Go, qui veulent une passerelle sous licence Apache avec des budgets et sont prêtes à verrouiller son API d'administration.	Gratuit et open source sous Apache 2.0. L'Enterprise est à prix sur mesure, avec un essai gratuit de 14 jours ; le prix n'est pas publié.
vLLM Semantic Routerdépôt	3.8/5	Un routeur ouvert ambitieux pour choisir des modèles par requête, adapté aux équipes qui font déjà tourner vLLM et peuvent absorber un projet à évolution rapide.	Les équipes qui servent plusieurs modèles, souvent sur leur propre flotte vLLM, avec assez de trafic varié pour justifier de choisir un modèle par requête.	Gratuit et open source sous Apache 2.0. Pas de service payant hébergé.
Jevmodèle	3.8/5	Jev a transformé les décisions typées en produit, et des modèles ouverts l'ont depuis dépassé en score comme en prix.	Les équipes qui veulent une API hébergée à bas coût pour le routage de texte, le tri et les portes oui/non sans faire tourner leurs propres GPU.	0,042 $ par 1M de tokens en entrée (42 $ le milliard) ; les tokens de sortie sont gratuits. Même prix en long contexte. Limites entreprise via l'équipe commerciale.
Portkey AI Gatewaydépôt	3.7/5	Un routeur soigné sous licence MIT qui est resté immobile depuis que Palo Alto Networks l'a acheté ; correct à faire tourner aujourd'hui, difficile pour bâtir une feuille de route.	Les équipes sur des runtimes edge, ou les entreprises qui achètent déjà la sécurité Palo Alto, qui veulent une couche de routage légère.	Gratuit et open source sous MIT. Plans hébergés : Developer gratuit (10 000 logs enregistrés par mois, rétention des logs 3 jours) ; Production 49 $/mois (100 000 logs, puis 9 $ par 100 000) ; Enterprise sur mesure.
ScaleDown Constrained Decoding Models (Classify, Extract, Summarize)modèle	3.7/5	Les prix sont réels et le classifieur est bon, mais les chiffres de lancement ont devancé les preuves et la compatibilité Jev coûte plus qu'il n'y paraît.	Les équipes qui paient des prix de modèle phare pour le routage, l'étiquetage ou l'extraction de champs et veulent un remplaçant hébergé bon marché et le testeront d'abord sur leurs propres données étiquetées.	0,05 $ par 1M de tokens de texte en entrée, 0,15 $ par 1M de tokens d'image en entrée, sortie gratuite ; 1M de tokens gratuits pour les nouveaux comptes. OpenRouter : 0,04 $ avec une remise de 20 %. Entreprise : instance dédiée ou licence d'auto-hébergement, sur devis.
LLayamodèle	3.4/5	Très rapide et véritablement ouvert, mais proche du hasard sur les décisions difficiles à la sortie de la boîte : une base à affiner, pas un remplaçant de Jev.	Les équipes avec leurs propres données de décision étiquetées qui veulent un modèle minuscule, auto-hébergé, à affiner pour un routage ou des garde-fous rapides.	Poids et paquet Python gratuits sous Apache 2.0. Pas d'API payante hébergée ; vous le faites tourner vous-même.

Côte à côte

Les caractéristiques qui comptent pour cette étape. Vérifiées le 19 oct. 2026 ; confirmez-les sur le site du fournisseur avant de vous engager.

Face-à-face et classements

• LiteLLM ou Bifrost
• LiteLLM ou Portkey AI Gateway

Où s’insère cette étape

• Agent de service client : nous commencerions par Jev.
• Agent de code : nous commencerions par OpenRouter, LiteLLM.
• Agent vocal : nous commencerions par Laya.
• Traitement de documents : nous commencerions par GLiNER2.5-Decide.
• Automatisation de workflows : nous commencerions par Perplexity Decider (pplx-decider).

Sources de ce guide

• OpenRouter pricing
• LiteLLM repository
• LiteLLM enterprise
• Datadog Security Labs: LiteLLM PyPI compromise
• Portkey AI Gateway repository
• Palo Alto Networks completes acquisition of Portkey
• Bifrost repository
• Bifrost docs: supported providers
• The Hacker News: Critical Bifrost AI gateway flaw
• vLLM Semantic Router repository
• Claude Code Router repository