Qu’est-ce que LiteLLM ?
LiteLLM fait deux travaux. Comme bibliothèque Python, il laisse le code appeler OpenAI, Anthropic, Gemini, Bedrock, Azure, Vertex AI et plus de 100 autres fournisseurs avec une seule fonction au format OpenAI. Comme serveur proxy, que le projet appelle désormais son AI Gateway, il se place entre toute une organisation et ces fournisseurs.
La passerelle délivre des clés virtuelles, suit la dépense par clé, utilisateur et équipe, impose des budgets et des limites de débit, équilibre la charge entre déploiements et bascule sur un autre modèle quand un échoue. Elle journalise vers Langfuse, MLflow, Helicone et d'autres outils, et peut faire tourner des garde-fous comme le masquage des données personnelles. La description du dépôt annonce désormais un cœur Rust aux côtés du SDK Python, et la documentation lie une passerelle Rust en beta.
Il est open core. Tout hors du dossier enterprise/ est MIT ; ce dossier a sa propre licence commerciale. Le palier entreprise ajoute SSO et SCIM, journaux d'audit, contrôle d'accès basé sur les rôles, déploiement en air-gap et SLA de support, à des prix donnés seulement sur demande.
LiteLLM vaut-il le coup ?
LiteLLM est la passerelle vers laquelle la plupart des équipes se tournent en premier, et sa prétention à cette position est l'ampleur : plus de 100 fournisseurs derrière une seule API au format OpenAI, une version tous les quelques jours (v1.106.4 sortie le 25 octobre 2026) et environ 62 100 étoiles GitHub. Beaucoup d'outils livrent une intégration LiteLLM, si bien qu'il devient rarement la pièce bizarre d'une pile. La latence P95 de 8 ms à 1 000 requêtes par seconde du README est le propre benchmark du projet.
Toutes les équipes n'ont pas besoin d'une passerelle. Si vous appelez un ou deux fournisseurs depuis un seul service, les propres SDK des fournisseurs et une enveloppe de réessai sont plus simples et suppriment un saut. Une passerelle commence à se rentabiliser quand plusieurs équipes partagent des clés de fournisseurs, quand la finance veut la dépense par équipe, ou quand vous avez besoin d'un basculement automatique entre, disons, Azure OpenAI et OpenAI. Les clés virtuelles, budgets et basculements fonctionnent tous dans le build open source.
Sa faiblesse est qu'une passerelle détient chaque clé de fournisseur que vous possédez, ce qui fait que son bilan de sécurité compte. Le 24 mars 2026, des attaquants avec un jeton PyPI volé ont publié deux versions empoisonnées, 1.82.7 et 1.82.8, qui récoltaient les clés SSH, les identifiants cloud et les jetons Kubernetes ; la propre note d'incident de LiteLLM dit qu'elles ont été en ligne environ 40 minutes et trace la brèche au scanner Trivy dans son pipeline CI, et les images Docker officielles n'étaient pas affectées. La propre liste d'avis du projet est longue aussi : 17 publiés en 2026, quatre notés critiques, dont un contournement d'authentification via injection d'en-tête Host en mai et une élévation de privilèges vers admin du proxy en septembre. Les atténuations sont là, car les images Docker -stable reçoivent des tests de charge de 12 heures et chaque image est signée par cosign, mais elles n'aident que les équipes qui épinglent et vérifient.
La ligne open-core est aussi floue. SSO, journaux d'audit et SLA sont clairement payants ; la page entreprise liste aussi les clés virtuelles, budgets et limites RPM/TPM sous ses fonctions de gouvernance, tandis que la documentation open source les décrit comme standard. La même page cite SOC 2 Type 2 et ISO 27001 et un objectif de réponse d'une heure pour les pannes Sev 0. La passerelle de Portkey est le principal rival open source, et OpenRouter convient aux équipes qui préféreraient louer la couche plutôt que la faire tourner, au prix d'envoyer chaque prompt via un tiers.
Là où il fait la différence
Une équipe plateforme qui donne à 300 ingénieurs l'accès à OpenAI, Anthropic et Bedrock
Délivrer des clés par équipe avec budgets et rapporter la dépense par équipe
Faites tourner le proxy sur Kubernetes avec Postgres et Redis, donnez à chaque équipe une clé virtuelle avec un budget, et donnez à la finance la dépense par clé, utilisateur et équipe. Gratuit dans le build open source ; le SSO pour l'interface d'administration a besoin d'une licence entreprise.
Un SRE responsable de la disponibilité d'un produit adossé à un LLM
Basculer d'Azure OpenAI vers OpenAI quand un déploiement se dégrade
Mettez les deux déploiements dans un seul groupe de modèles avec basculements et réessais dans le routeur. Le coût est un saut réseau supplémentaire et un composant qui détient chaque clé de fournisseur, alors épinglez une image -stable et vérifiez sa signature cosign.
Un responsable d'ingénierie dans une fintech réglementée
Décider entre LiteLLM open source auto-hébergé et la licence entreprise
L'Enterprise est à prix sur mesure avec une clé d'essai auto-hébergée de 30 jours et ajoute SSO, SCIM, journaux d'audit et un objectif de réponse Sev 0 d'une heure. Dans les deux cas, budgétez du temps pour les correctifs : quatre avis critiques ont atterri en 2026.
Avant de vous engager
- Mise en route
- uv tool install 'litellm[proxy]' puis litellm --model gpt-4o fait tourner un proxy local sur le port 4000 ; la production utilise l'image Docker, le chart Helm ou les modules Terraform pour AWS (ECS Fargate, Aurora, ElastiCache) et GCP (Cloud Run, Cloud SQL).
- Intégrations
- /chat/completions, /responses, /embeddings, /messages, /batches et plus compatibles OpenAI sur plus de 100 fournisseurs ; journalisation vers Langfuse, MLflow, Helicone et d'autres ; passerelles MCP et A2A ; un SDK Python qui fonctionne sans le proxy.
- Données et confidentialité
- Auto-hébergé, si bien que les prompts ne vont qu'aux fournisseurs que vous configurez ; le guide de production ne mentionne aucune télémétrie vers BerriAI. Le proxy garde les clés, les journaux de dépense et optionnellement les prompts dans votre Postgres. Dix-sept avis de sécurité ont été publiés en 2026, quatre critiques.
- Coût à grande échelle
- La documentation dimensionne chaque worker à 1 vCPU et 4 Gio, si bien qu'un nœud à 8 workers a besoin de 8 vCPU et 32 Gio, plus Postgres et Redis 7 une fois que vous faites tourner plus d'une instance. L'Enterprise est tarifé sur demande.
- Limites
- 5 748 issues et pull requests ouvertes ; les versions tous les quelques jours signifient des mises à niveau fréquentes ; les pools de connexions Postgres doivent être dimensionnés par instance et worker ; la passerelle Rust est encore en beta.
Les points forts
- Plus de 100 fournisseurs au format OpenAI
- Clés virtuelles, budgets et basculements dans le build gratuit
- Images -stable signées par cosign avec tests de charge de 12 heures
- Modules Terraform pour AWS et GCP
Les points faibles
- 17 avis de sécurité en 2026, quatre critiques
- Versions PyPI empoisonnées en mars 2026
- La frontière open-core est peu claire dans la documentation
- Tarification Enterprise non publiée
Idéal pour
Les équipes plateforme qui doivent donner à de nombreux développeurs un accès gouverné à de nombreux fournisseurs de modèles depuis leur propre infrastructure.
Alternatives à LiteLLM
LiteLLM : questions fréquentes
- LiteLLM vaut-il le coup ?
- La passerelle auto-hébergée par défaut pour les équipes qui ont besoin d'une seule API, de budgets par équipe et de basculements sur de nombreux fournisseurs, pourvu qu'elles épinglent les versions et la traitent comme une infrastructure critique pour la sécurité. Nous lui donnons 4.3 sur 5.
- Combien coûte LiteLLM ?
- Gratuit et open source sous MIT, sauf le dossier enterprise/, qui est sous une licence commerciale séparée. L'Enterprise est à prix sur mesure avec une clé d'essai gratuite de 30 jours.
- Quels sont les inconvénients de LiteLLM ?
- 17 avis de sécurité en 2026, quatre critiques; versions PyPI empoisonnées en mars 2026; la frontière open-core est peu claire dans la documentation; tarification Enterprise non publiée.
- À qui s’adresse LiteLLM ?
- Les équipes plateforme qui doivent donner à de nombreux développeurs un accès gouverné à de nombreux fournisseurs de modèles depuis leur propre infrastructure.
- Combien coûte LiteLLM pour une équipe ou en production ?
- La documentation dimensionne chaque worker à 1 vCPU et 4 Gio, si bien qu'un nœud à 8 workers a besoin de 8 vCPU et 32 Gio, plus Postgres et Redis 7 une fois que vous faites tourner plus d'une instance. L'Enterprise est tarifé sur demande.
- LiteLLM est-il sûr pour les données de l’entreprise ?
- Auto-hébergé, si bien que les prompts ne vont qu'aux fournisseurs que vous configurez ; le guide de production ne mentionne aucune télémétrie vers BerriAI. Le proxy garde les clés, les journaux de dépense et optionnellement les prompts dans votre Postgres. Dix-sept avis de sécurité ont été publiés en 2026, quatre critiques.
- Quelles sont les meilleures alternatives à LiteLLM ?
- Les alternatives les plus proches que nous avons testées sont Portkey AI Gateway, Bifrost, vLLM Semantic Router et Langfuse.
Réponses vérifiées le 26 oct. 2026.