Qu’est-ce que Bifrost ?
Bifrost est une passerelle LLM open source écrite en Go par Maxim AI, l'entreprise derrière la plateforme d'évaluation et d'observabilité Maxim. Elle tourne comme un seul service HTTP avec une interface web, ou comme une bibliothèque Go, et donne aux applications une seule API compatible OpenAI devant OpenAI, Anthropic, Bedrock, Vertex AI, Azure, Groq, Mistral, Ollama, vLLM et d'autres ; la matrice de prise en charge de la documentation liste 32 fournisseurs.
Le build open source gère les basculements, l'équilibrage de charge entre clés, le cache sémantique, une passerelle MCP pour les serveurs d'outils, les métriques Prometheus et des clés virtuelles avec budgets et limites de débit par équipe ou client. Il offre aussi des endpoints prêts à l'emploi pour les SDK OpenAI, Anthropic et Google GenAI, si bien que le code existant ne change que son URL de base.
Tout le dépôt est Apache 2.0. Un build Enterprise sous licence séparée ajoute le clustering, l'équilibrage de charge adaptatif, le SSO avec accès basé sur les rôles, les journaux d'audit, l'intégration de coffre-fort, les garde-fous et le déploiement en VPC, avec un essai de 14 jours et aucun prix publié.
Bifrost vaut-il le coup ?
Bifrost est le plus sérieux concurrent de LiteLLM parmi les passerelles auto-hébergées, et son argument repose sur la vitesse. Son README rapporte 11 µs de latence ajoutée par requête à un rythme soutenu de 5 000 requêtes par seconde sur un AWS t3.xlarge, et 59 µs sur un t3.medium. La page de comparaison de Maxim va plus loin : à 500 requêtes par seconde sur un t3.medium, elle montre Bifrost achevant 100 % des requêtes contre 88,78 % pour LiteLLM, avec une latence P99 de 1,68 seconde contre 90,72. Ce sont les propres tests du fournisseur, et les graphiques de comparaison sont simulés à partir de distributions mesurées. Le projet est jeune, créé en mars 2025, mais actif : environ 9 100 étoiles et une version de passerelle, v2.3.2, le 20 octobre 2026.
La licence est plus propre que celle de LiteLLM. Le dépôt entier est Apache 2.0, sans dossier commercial, et la documentation met les clés virtuelles, les budgets en dollars avec des réinitialisations quotidiennes à annuelles, les limites de tokens et de requêtes, et les hiérarchies d'équipe et de client dans le build open source. La ligne devient floue ailleurs : la page entreprise liste la gouvernance et les garde-fous comme fonctions payantes alors que la description open source revendique les deux, et le README dit que les déploiements entreprise ajoutent la passerelle MCP que la documentation présente aussi comme standard. Le clustering et l'équilibrage de charge adaptatif sont clairement payants, ce qui compte pour quiconque planifie la haute disponibilité.
Le point faible est les réglages de sécurité par défaut. L'authentification de gestion était désactivée par défaut, et l'image Docker officielle se lie à toutes les interfaces, si bien que quiconque pouvait atteindre le port pouvait administrer la passerelle. En septembre 2026, JFrog a divulgué CVE-2026-90898 (avis GitHub GHSA-86gf-xh3g-rvxq), noté 9,8 sur 10 à la fois dans l'entrée NVD et dans l'avis : une seule requête non authentifiée pouvait enregistrer un serveur MCP stdio et exécuter des commandes dans le conteneur. C'est corrigé dans transports v2.1.0, sorti le 8 septembre ; The Hacker News rapporte que Maxim considère la faille de faible sévérité, tandis que JFrog conseille de traiter toute instance exposée comme compromise et de faire tourner chaque clé. Deux avis de forte sévérité l'accompagnent, une faille d'exécution de code au chargement de plugins sur les builds liés dynamiquement et un filtre SSRF incomplet en juillet. Le guide de configuration exige désormais un jeton de configuration pour le premier compte admin et avertit qu'une nouvelle instance n'a pas de mot de passe.
La couverture est l'autre lacune. La documentation liste 32 fournisseurs contre plus de 100 pour LiteLLM, le README dit encore 23+, et la description du dépôt revendique plus de 10 000 modèles, ce qui compte les modèles plutôt que les intégrations. Il n'y a pas de bibliothèque Python, seulement un SDK Go. Presque chaque article Bifrost contre LiteLLM en ligne est publié par Maxim ou son personnel ; la seule vue indépendante que nous ayons trouvée, un commentaire Hacker News de fin 2025, l'a qualifié de « rapide mais beaucoup de fonctions derrière un paywall ». L'avance en vitesse est réelle dans les chiffres du fournisseur mais compte surtout à des milliers de requêtes par seconde : dans le même tableau du README, le temps moyen de requête incluant le fournisseur était de 1,61 seconde, contre 11 µs de surcoût de passerelle.
Là où il fait la différence
Un ingénieur plateforme dont la passerelle Python a besoin d'une flotte de nœuds en pointe
Servir plusieurs milliers de requêtes par seconde via moins d'instances de passerelle
Maxim rapporte 5 000 requêtes par seconde avec 100 % de succès sur un t3.medium à 2 vCPU et 4 Go, culminant à environ 1,3 Go de mémoire. Faites votre propre test de charge avec le guide de benchmark publié avant de redimensionner, et adossez plusieurs instances à PostgreSQL 16 ou ultérieur.
Une équipe backend qui écrit des services en Go
Appeler plusieurs fournisseurs avec basculements sans faire tourner un proxy séparé
go get github.com/maximhq/bifrost/core embarque le routeur dans le service, si bien qu'il n'y a pas de saut réseau supplémentaire ni de passerelle à sécuriser. Le compromis est que vous perdez l'interface web et le suivi de dépense partagé qu'une passerelle centrale vous donne.
Un responsable d'ingénierie dans une entreprise de 60 personnes avec trois équipes produit
Donner à chaque équipe sa propre clé et son budget mensuel sans acheter une licence entreprise
Créez une clé virtuelle par équipe avec un budget en dollars qui se réinitialise mensuellement et des limites de requêtes, le tout dans le build open source. Le SSO pour le tableau de bord, les journaux d'audit et le clustering ont besoin de l'Enterprise, qui a un essai de 14 jours et une tarification non publiée.
Une équipe qui construit des agents appelant des outils internes
Enregistrer les serveurs MCP une fois et contrôler quelles clés peuvent utiliser quels outils
Ajoutez des clients MCP dans la passerelle et filtrez les outils par clé virtuelle. Activez d'abord l'authentification de gestion et faites tourner v2.1.0 ou ultérieur : l'enregistrement MCP stdio était la voie de la faille notée 9,8.
Avant de vous engager
- Mise en route
- npx -y @maximhq/bifrost ou docker run -p 8080:8080 maximhq/bifrost démarre la passerelle et l'interface web sur le port 8080, ce qui prend moins d'une minute selon le README ; la config et les logs vont par défaut dans SQLite dans le répertoire de l'appli, avec PostgreSQL 16+ pour la production, plus des charts Helm et du Terraform dans le dépôt.
- Intégrations
- API compatible OpenAI plus des endpoints de SDK OpenAI, Anthropic, Bedrock et GenAI prêts à l'emploi ; 32 fournisseurs dans la documentation ; passerelle MCP ; Prometheus et OpenTelemetry ; un plugin pour le produit d'observabilité de Maxim ; un SDK Go.
- Données et confidentialité
- Auto-hébergée, si bien que les prompts ne vont qu'aux fournisseurs que vous configurez ; nous n'avons trouvé aucun rapport d'usage vers Maxim dans la documentation, et son plugin de télémétrie sert des métriques Prometheus en local. La journalisation du contenu peut être désactivée par clé. Un avis critique et deux de forte sévérité ont été publiés en 2026 ; l'authentification de gestion doit être activée à la main.
- Coût à grande échelle
- Le test du fournisseur à 5 000 requêtes par seconde a tourné sur un t3.medium (2 vCPU, 4 Go) et un t3.xlarge (4 vCPU, 16 Go), ce dernier culminant à 3,3 Go de mémoire. Faire tourner plus d'un nœud avec état partagé signifie PostgreSQL ; le clustering pair-à-pair est Enterprise, tarifé sur demande.
- Limites
- 550 issues ouvertes et 823 pull requests ouvertes ; versions fréquentes avec migrations de base de données ; les migrations PostgreSQL peuvent échouer derrière PgBouncer en mode transaction ou RDS Proxy ; pas de SDK Python ; moins de fournisseurs que LiteLLM.
Les points forts
- Apache 2.0 sur tout le dépôt
- Clés virtuelles, budgets et limites de débit dans le build gratuit
- 11 µs de surcoût à 5 000 requêtes par seconde (benchmark fournisseur)
- Endpoints prêts à l'emploi pour les SDK OpenAI, Anthropic et GenAI
Les points faibles
- API d'administration non authentifiée par défaut avant v2.1.0 ; faille CVSS 9,8
- 32 fournisseurs contre plus de 100 pour LiteLLM
- Le clustering et l'équilibrage de charge adaptatif sont réservés à l'Enterprise
- La plupart des comparaisons en ligne sont écrites par le fournisseur
Idéal pour
Les équipes à gros volumes de requêtes, ou les boutiques Go, qui veulent une passerelle sous licence Apache avec des budgets et sont prêtes à verrouiller son API d'administration.
Alternatives à Bifrost
Bifrost : questions fréquentes
- Bifrost vaut-il le coup ?
- Une passerelle rapide sous licence Apache avec des budgets dans le build gratuit, desservie par un réglage de sécurité par défaut qui a laissé son API d'administration ouverte jusqu'en septembre 2026. Nous lui donnons 3.9 sur 5.
- Combien coûte Bifrost ?
- Gratuit et open source sous Apache 2.0. L'Enterprise est à prix sur mesure, avec un essai gratuit de 14 jours ; le prix n'est pas publié.
- Quels sont les inconvénients de Bifrost ?
- API d'administration non authentifiée par défaut avant v2.1.0 ; faille CVSS 9,8; 32 fournisseurs contre plus de 100 pour LiteLLM; le clustering et l'équilibrage de charge adaptatif sont réservés à l'Enterprise; la plupart des comparaisons en ligne sont écrites par le fournisseur.
- À qui s’adresse Bifrost ?
- Les équipes à gros volumes de requêtes, ou les boutiques Go, qui veulent une passerelle sous licence Apache avec des budgets et sont prêtes à verrouiller son API d'administration.
- Combien coûte Bifrost pour une équipe ou en production ?
- Le test du fournisseur à 5 000 requêtes par seconde a tourné sur un t3.medium (2 vCPU, 4 Go) et un t3.xlarge (4 vCPU, 16 Go), ce dernier culminant à 3,3 Go de mémoire. Faire tourner plus d'un nœud avec état partagé signifie PostgreSQL ; le clustering pair-à-pair est Enterprise, tarifé sur demande.
- Bifrost est-il sûr pour les données de l’entreprise ?
- Auto-hébergée, si bien que les prompts ne vont qu'aux fournisseurs que vous configurez ; nous n'avons trouvé aucun rapport d'usage vers Maxim dans la documentation, et son plugin de télémétrie sert des métriques Prometheus en local. La journalisation du contenu peut être désactivée par clé. Un avis critique et deux de forte sévérité ont été publiés en 2026 ; l'authentification de gestion doit être activée à la main.
- Quelles sont les meilleures alternatives à Bifrost ?
- Les alternatives les plus proches que nous avons testées sont LiteLLM, Portkey AI Gateway et vLLM Semantic Router.
Réponses vérifiées le 26 oct. 2026.