Was ist Bifrost?
Bifrost ist ein Open-Source-LLM-Gateway, das Maxim AI in Go geschrieben hat, das Unternehmen hinter der Plattform Maxim für Evaluation und Observability. Es läuft als einzelner HTTP-Dienst mit Web-UI oder als Go-Bibliothek und gibt Anwendungen eine OpenAI-kompatible API vor OpenAI, Anthropic, Bedrock, Vertex AI, Azure, Groq, Mistral, Ollama, vLLM und weiteren; die Support-Matrix der Dokumentation listet 32 Anbieter.
Der Open-Source-Build übernimmt Fallbacks, Lastverteilung über Schlüssel, semantisches Caching, ein MCP-Gateway für Tool-Server, Prometheus-Metriken und virtuelle Schlüssel mit Budgets und Ratenlimits pro Team oder Kunde. Er bietet außerdem direkt einsetzbare Endpunkte für die SDKs von OpenAI, Anthropic und Google GenAI, sodass bestehender Code nur seine Basis-URL ändert.
Das ganze Repository steht unter Apache 2.0. Ein separat lizenzierter Enterprise-Build ergänzt Clustering, adaptive Lastverteilung, SSO mit rollenbasiertem Zugriff, Audit-Logs, Vault-Integration, Guardrails und Deployment in der VPC, mit einer Testphase von 14 Tagen und ohne veröffentlichten Preis.
Lohnt sich Bifrost?
Bifrost ist unter den selbst gehosteten Gateways der ernsthafteste Herausforderer von LiteLLM, und sein Argument ist Geschwindigkeit. Sein README meldet 11 µs zusätzliche Latenz pro Anfrage bei dauerhaft 5.000 Anfragen pro Sekunde auf einer AWS t3.xlarge und 59 µs auf einer t3.medium. Maxims Vergleichsseite geht weiter: Bei 500 Anfragen pro Sekunde auf einer t3.medium zeigt sie, dass Bifrost 100% der Anfragen abschließt, gegenüber 88,78% bei LiteLLM, mit einer P99-Latenz von 1,68 Sekunden gegenüber 90,72. Das sind Tests des Herstellers, und die Vergleichsdiagramme sind aus gemessenen Verteilungen simuliert. Das Projekt ist jung, angelegt im März 2025, aber betriebsam: rund 9.100 Sterne und ein Gateway-Release, v2.3.2, am 20. Oktober 2026.
Die Lizenz ist sauberer als die von LiteLLM. Das gesamte Repository steht unter Apache 2.0, ohne kommerziellen Ordner, und laut Dokumentation gehören virtuelle Schlüssel, Dollar-Budgets mit Zurücksetzung von täglich bis jährlich, Token- und Anfragelimits sowie Team- und Kundenhierarchien zum Open-Source-Build. An anderer Stelle verschwimmt die Grenze: Die Enterprise-Seite führt Governance und Guardrails als bezahlte Funktionen, während die Open-Source-Beschreibung beides für sich beansprucht, und das README sagt, Enterprise-Deployments ergänzten das MCP-Gateway, das die Dokumentation ebenfalls als Standard darstellt. Clustering und adaptive Lastverteilung sind eindeutig kostenpflichtig, was für alle zählt, die Hochverfügbarkeit planen.
Die Schwachstelle sind die Sicherheitsvoreinstellungen. Die Authentifizierung für die Verwaltung war standardmäßig aus, und das offizielle Docker-Image bindet an alle Interfaces, sodass jeder, der den Port erreichen konnte, das Gateway administrieren konnte. Im September 2026 legte JFrog CVE-2026-90898 offen (GitHub-Sicherheitshinweis GHSA-86gf-xh3g-rvxq), sowohl im NVD-Eintrag als auch im Sicherheitshinweis mit 9,8 von 10 bewertet: Eine einzige nicht authentifizierte Anfrage konnte einen stdio-MCP-Server registrieren und Befehle im Container ausführen. Behoben ist es in transports v2.1.0, veröffentlicht am 8. September; The Hacker News berichtet, dass Maxim die Schwachstelle als gering einstuft, während JFrog rät, jede erreichbare Instanz als kompromittiert zu behandeln und jeden Schlüssel zu rotieren. Daneben stehen zwei Sicherheitshinweise mit hohem Schweregrad, eine Codeausführung beim Laden von Plugins in dynamisch gelinkten Builds und ein unvollständiger SSRF-Filter im Juli. Die Einrichtungsanleitung verlangt inzwischen ein Setup-Token für das erste Admin-Konto und warnt, dass eine neue Instanz kein Passwort hat.
Die Abdeckung ist die andere Lücke. Die Dokumentation listet 32 Anbieter gegenüber den 100+ von LiteLLM, das README spricht noch von 23+, und die Beschreibung des Repositorys beansprucht 10.000+ Modelle, was Modelle statt Integrationen zählt. Es gibt keine Python-Bibliothek, nur ein Go-SDK. Fast jeder Artikel im Netz, der Bifrost mit LiteLLM vergleicht, stammt von Maxim oder seinen Mitarbeitern; die einzige unabhängige Stimme, die wir fanden, ein Kommentar auf Hacker News von Ende 2025, nannte es „schnell, aber viele Funktionen hinter der Bezahlschranke“. Der Geschwindigkeitsvorsprung ist in den Zahlen des Herstellers real, zählt aber vor allem bei Tausenden Anfragen pro Sekunde: In derselben Tabelle im README lag die durchschnittliche Anfragezeit einschließlich Anbieter bei 1,61 Sekunden, gegenüber 11 µs Overhead durch das Gateway.
Wo es sich lohnt
Ein Platform Engineer, dessen Python-Gateway in Spitzenzeiten eine ganze Flotte von Knoten braucht
Mehrere tausend Anfragen pro Sekunde über weniger Gateway-Instanzen bedienen
Maxim meldet 5.000 Anfragen pro Sekunde mit 100% Erfolg auf einer t3.medium mit 2 vCPU und 4 GB, bei einer Speicherspitze von etwa 1,3 GB. Vor dem Umdimensionieren einen eigenen Lasttest mit der veröffentlichten Benchmark-Anleitung fahren und mehrere Instanzen mit PostgreSQL 16 oder neuer absichern.
Ein Backend-Team, das Dienste in Go schreibt
Mehrere Anbieter mit Fallbacks aufrufen, ohne einen separaten Proxy zu betreiben
go get github.com/maximhq/bifrost/core bettet den Router in den Dienst ein, also gibt es keinen zusätzlichen Netzwerksprung und kein Gateway abzusichern. Der Preis ist, dass die Web-UI und das gemeinsame Ausgaben-Tracking eines zentralen Gateways fehlen.
Eine Engineering Managerin in einer Firma mit 60 Leuten und drei Produktteams
Jedem Team einen eigenen Schlüssel und ein Monatsbudget geben, ohne eine Enterprise-Lizenz zu kaufen
Pro Team einen virtuellen Schlüssel mit monatlich zurückgesetztem Dollar-Budget und Anfragelimits anlegen, alles im Open-Source-Build. SSO für das Dashboard, Audit-Logs und Clustering brauchen Enterprise, mit 14 Tagen Testphase und unveröffentlichten Preisen.
Ein Team, das Agenten baut, die interne Tools aufrufen
MCP-Server einmal registrieren und steuern, welche Schlüssel welche Tools nutzen dürfen
MCP-Clients im Gateway hinzufügen und Tools pro virtuellem Schlüssel filtern. Zuerst die Authentifizierung für die Verwaltung einschalten und v2.1.0 oder neuer betreiben: Die Registrierung von stdio-MCP war der Weg für die mit 9,8 bewertete Schwachstelle.
Bevor du dich festlegst
- Einrichtung
- npx -y @maximhq/bifrost oder docker run -p 8080:8080 maximhq/bifrost startet Gateway und Web-UI auf Port 8080, was laut README unter einer Minute dauert; Konfiguration und Logs liegen standardmäßig in SQLite im App-Verzeichnis, für die Produktion PostgreSQL 16+, dazu Helm-Charts und Terraform im Repository.
- Integrationen
- OpenAI-kompatible API plus direkt einsetzbare Endpunkte für die SDKs von OpenAI, Anthropic, Bedrock und GenAI; 32 Anbieter in der Dokumentation; MCP-Gateway; Prometheus und OpenTelemetry; ein Plugin für Maxims eigenes Observability-Produkt; ein Go-SDK.
- Daten und Datenschutz
- Selbst gehostet, also gehen Prompts nur an die Anbieter, die du konfigurierst; in der Dokumentation fanden wir keine Nutzungsmeldungen an Maxim, und sein Telemetrie-Plugin stellt Prometheus-Metriken lokal bereit. Das Protokollieren von Inhalten lässt sich pro Schlüssel abschalten. 2026 wurden ein kritischer und zwei Sicherheitshinweise mit hohem Schweregrad veröffentlicht; die Authentifizierung für die Verwaltung muss von Hand aktiviert werden.
- Kosten im großen Maßstab
- Der Test des Herstellers mit 5.000 Anfragen pro Sekunde lief auf einer t3.medium (2 vCPU, 4 GB) und einer t3.xlarge (4 vCPU, 16 GB), Letztere mit einer Speicherspitze von 3,3 GB. Mehr als einen Knoten mit gemeinsamem Zustand zu betreiben heißt PostgreSQL; Peer-to-Peer-Clustering gibt es in Enterprise, bepreist auf Anfrage.
- Grenzen
- 550 offene Issues und 823 offene Pull Requests; häufige Releases mit Datenbankmigrationen; PostgreSQL-Migrationen können hinter PgBouncer im Transaktionsmodus oder RDS Proxy scheitern; kein Python-SDK; weniger Anbieter als LiteLLM.
Was gut ist
- Apache 2.0 im gesamten Repository
- Virtuelle Schlüssel, Budgets und Ratenlimits im kostenlosen Build
- 11 µs Overhead bei 5.000 Anfragen pro Sekunde (Benchmark des Herstellers)
- Direkt einsetzbare Endpunkte für die SDKs von OpenAI, Anthropic und GenAI
Was nicht
- Admin-API vor v2.1.0 standardmäßig ohne Authentifizierung; Schwachstelle mit CVSS 9,8
- 32 Anbieter gegenüber den 100+ von LiteLLM
- Clustering und adaptive Lastverteilung nur in Enterprise
- Die meisten Vergleiche im Netz schreibt der Hersteller
Am besten für
Teams mit hohem Anfragevolumen oder Go-Shops, die ein Gateway unter Apache-Lizenz mit Budgets wollen und bereit sind, seine Admin-API abzusichern.
Alternativen zu Bifrost
Bifrost: häufige Fragen
- Lohnt sich Bifrost?
- Ein schnelles Gateway unter Apache-Lizenz mit Budgets schon im kostenlosen Build, das eine Sicherheitsvoreinstellung im Stich lässt, durch die seine Admin-API bis September 2026 offen stand. Wir bewerten es mit 3.9 von 5.
- Was kostet Bifrost?
- Kostenlos und Open Source unter Apache 2.0. Enterprise wird individuell bepreist, mit einer kostenlosen Testphase von 14 Tagen; der Preis ist nicht veröffentlicht.
- Welche Nachteile hat Bifrost?
- Admin-API vor v2.1.0 standardmäßig ohne Authentifizierung; Schwachstelle mit CVSS 9,8; 32 Anbieter gegenüber den 100+ von LiteLLM; Clustering und adaptive Lastverteilung nur in Enterprise; Die meisten Vergleiche im Netz schreibt der Hersteller.
- Für wen eignet sich Bifrost?
- Teams mit hohem Anfragevolumen oder Go-Shops, die ein Gateway unter Apache-Lizenz mit Budgets wollen und bereit sind, seine Admin-API abzusichern.
- Was kostet Bifrost für ein Team oder im Produktivbetrieb?
- Der Test des Herstellers mit 5.000 Anfragen pro Sekunde lief auf einer t3.medium (2 vCPU, 4 GB) und einer t3.xlarge (4 vCPU, 16 GB), Letztere mit einer Speicherspitze von 3,3 GB. Mehr als einen Knoten mit gemeinsamem Zustand zu betreiben heißt PostgreSQL; Peer-to-Peer-Clustering gibt es in Enterprise, bepreist auf Anfrage.
- Ist Bifrost sicher für Firmendaten?
- Selbst gehostet, also gehen Prompts nur an die Anbieter, die du konfigurierst; in der Dokumentation fanden wir keine Nutzungsmeldungen an Maxim, und sein Telemetrie-Plugin stellt Prometheus-Metriken lokal bereit. Das Protokollieren von Inhalten lässt sich pro Schlüssel abschalten. 2026 wurden ein kritischer und zwei Sicherheitshinweise mit hohem Schweregrad veröffentlicht; die Authentifizierung für die Verwaltung muss von Hand aktiviert werden.
- Was sind die besten Alternativen zu Bifrost?
- Die nächsten Alternativen, die wir getestet haben, sind LiteLLM, Portkey AI Gateway und vLLM Semantic Router.
Antworten geprüft am 26. Okt. 2026.