Was ist LiteLLM?
LiteLLM erledigt zwei Aufgaben. Als Python-Bibliothek lässt es Code OpenAI, Anthropic, Gemini, Bedrock, Azure, Vertex AI und über 100 weitere Anbieter mit einer Funktion im OpenAI-Format aufrufen. Als Proxy-Server, den das Projekt inzwischen AI Gateway nennt, sitzt es zwischen einer ganzen Organisation und diesen Anbietern.
Das Gateway vergibt virtuelle Keys, erfasst Ausgaben nach Key, Nutzer und Team, setzt Budgets und Ratenlimits durch, verteilt die Last über Deployments und weicht auf ein anderes Modell aus, wenn eines ausfällt. Es loggt an Langfuse, MLflow, Helicone und andere Werkzeuge und kann Guardrails wie PII-Maskierung ausführen. Die Repository-Beschreibung bewirbt inzwischen einen Rust-Kern neben dem Python-SDK, und die Doku verlinkt ein Rust-Gateway in der Beta.
Es ist Open Core. Alles außerhalb des Ordners enterprise/ steht unter MIT; dieser Ordner hat eine eigene kommerzielle Lizenz. Die Enterprise-Stufe ergänzt SSO und SCIM, Audit-Logs, rollenbasierte Zugriffskontrolle, Air-Gapped-Deployment und Support-SLAs, zu Preisen, die es nur auf Anfrage gibt.
Lohnt sich LiteLLM?
LiteLLM ist das Gateway, zu dem die meisten Teams zuerst greifen, und sein Anspruch auf diese Position ist die Breite: mehr als 100 Anbieter hinter einer API im OpenAI-Format, ein Release alle paar Tage (v1.106.4 erschien am 25. Oktober 2026) und rund 62.100 GitHub-Sterne. Viele Werkzeuge bringen eine LiteLLM-Integration mit, es wird also selten zum Fremdkörper in einem Stack. Die im README genannte P95-Latenz von 8 ms bei 1.000 Anfragen pro Sekunde stammt aus dem projekteigenen Benchmark.
Nicht jedes Team braucht ein Gateway. Wenn du aus einem Dienst einen oder zwei Anbieter aufrufst, sind die SDKs der Anbieter und ein Retry-Wrapper einfacher und sparen einen Hop. Ein Gateway zahlt sich aus, wenn mehrere Teams Anbieter-Keys teilen, wenn die Finanzabteilung Ausgaben pro Team sehen will oder wenn du automatisches Failover brauchst, etwa zwischen Azure OpenAI und OpenAI. Virtuelle Keys, Budgets und Fallbacks funktionieren alle in der Open-Source-Version.
Seine Schwäche ist, dass ein Gateway jeden Anbieter-Key hält, den du besitzt, und deshalb zählt seine Sicherheitsbilanz. Am 24. März 2026 veröffentlichten Angreifer mit einem gestohlenen PyPI-Token zwei vergiftete Releases, 1.82.7 und 1.82.8, die SSH-Keys, Cloud-Zugangsdaten und Kubernetes-Tokens abgriffen. Laut LiteLLMs eigenem Vorfallsbericht waren sie rund 40 Minuten online, der Einbruch geht auf den Scanner Trivy in der CI-Pipeline zurück, und die offiziellen Docker-Images waren nicht betroffen. Auch die Advisory-Liste des Projekts ist lang: 17 Veröffentlichungen 2026, vier davon als kritisch eingestuft, darunter eine Umgehung der Authentifizierung per Host-Header-Injection im Mai und eine Rechteausweitung bis zum Proxy-Admin im September. Gegenmaßnahmen gibt es, denn -stable-Docker-Images durchlaufen 12-stündige Lasttests und jedes Image ist mit cosign signiert, aber sie helfen nur Teams, die Versionen festschreiben und prüfen.
Auch die Open-Core-Grenze ist unscharf. SSO, Audit-Logs und SLAs sind klar kostenpflichtig; die Enterprise-Seite führt aber auch virtuelle Keys, Budgets und RPM/TPM-Limits unter ihren Governance-Funktionen, während die Open-Source-Doku sie als Standard beschreibt. Dieselbe Seite nennt SOC 2 Type 2 und ISO 27001 sowie ein Reaktionsziel von einer Stunde für Sev-0-Ausfälle. Das Gateway von Portkey ist der wichtigste Open-Source-Konkurrent, und OpenRouter passt zu Teams, die die Schicht lieber mieten als betreiben, um den Preis, jeden Prompt durch einen Dritten zu schicken.
Wo es sich lohnt
Ein Plattformteam, das 300 Engineers Zugang zu OpenAI, Anthropic und Bedrock gibt
Keys pro Team mit Budgets ausgeben und die Ausgaben nach Team auswerten
Betreibe den Proxy auf Kubernetes mit Postgres und Redis, gib jedem Team einen virtuellen Key mit Budget und liefere der Finanzabteilung die Ausgaben nach Key, Nutzer und Team. Kostenlos in der Open-Source-Version; SSO für die Admin-Oberfläche braucht eine Enterprise-Lizenz.
Eine SRE, die für die Verfügbarkeit eines LLM-gestützten Produkts verantwortlich ist
Von Azure OpenAI auf OpenAI umschalten, wenn ein Deployment schwächelt
Lege beide Deployments in eine Modellgruppe mit Fallbacks und Retries im Router. Der Preis ist ein zusätzlicher Netzwerk-Hop und eine Komponente, die jeden Anbieter-Key hält, also schreibe ein -stable-Image fest und prüfe seine cosign-Signatur.
Ein Head of Engineering bei einem regulierten Fintech
Zwischen selbst gehostetem Open-Source-LiteLLM und der Enterprise-Lizenz entscheiden
Enterprise wird nach Vereinbarung bepreist, mit einem Test-Key für 30 Tage Self-Hosting, und ergänzt SSO, SCIM, Audit-Logs und ein Reaktionsziel von einer Stunde bei Sev 0. So oder so: Plane Zeit fürs Patchen ein, denn 2026 kamen vier kritische Advisories.
Bevor du dich festlegst
- Einrichtung
- uv tool install 'litellm[proxy]', dann startet litellm --model gpt-4o einen lokalen Proxy auf Port 4000; in der Produktion kommen das Docker-Image, das Helm-Chart oder Terraform-Module für AWS (ECS Fargate, Aurora, ElastiCache) und GCP (Cloud Run, Cloud SQL) zum Einsatz.
- Integrationen
- OpenAI-kompatible Endpunkte /chat/completions, /responses, /embeddings, /messages, /batches und mehr über mehr als 100 Anbieter; Logging an Langfuse, MLflow, Helicone und andere; Gateways für MCP und A2A; ein Python-SDK, das ohne den Proxy funktioniert.
- Daten und Datenschutz
- Selbst gehostet, Prompts gehen also nur an die Anbieter, die du konfigurierst; der Produktionsleitfaden erwähnt keine Telemetrie an BerriAI. Der Proxy hält Keys, Ausgaben-Logs und optional Prompts in deinem Postgres. 2026 wurden siebzehn Sicherheits-Advisories veröffentlicht, vier davon kritisch.
- Kosten im großen Maßstab
- Die Doku dimensioniert jeden Worker mit 1 vCPU und 4 GiB, ein Knoten mit 8 Workern braucht also 8 vCPU und 32 GiB, plus Postgres und Redis 7, sobald du mehr als eine Instanz betreibst. Enterprise-Preise auf Anfrage.
- Grenzen
- 5.748 offene Issues und Pull Requests; Releases alle paar Tage bedeuten häufige Upgrades; Postgres-Connection-Pools müssen pro Instanz und Worker dimensioniert werden; das Rust-Gateway ist noch in der Beta.
Was gut ist
- Über 100 Anbieter im OpenAI-Format
- Virtuelle Keys, Budgets und Fallbacks in der kostenlosen Version
- Mit cosign signierte -stable-Images mit 12-stündigen Lasttests
- Terraform-Module für AWS und GCP
Was nicht
- 17 Sicherheits-Advisories 2026, vier kritisch
- Vergiftete PyPI-Releases im März 2026
- Die Open-Core-Grenze ist in der Doku unklar
- Enterprise-Preise nicht veröffentlicht
Am besten für
Plattformteams, die vielen Entwicklern von der eigenen Infrastruktur aus kontrollierten Zugang zu vielen Modellanbietern geben müssen.
Alternativen zu LiteLLM
LiteLLM: häufige Fragen
- Lohnt sich LiteLLM?
- Das Standard-Gateway zum Selbsthosten für Teams, die eine API, Budgets pro Team und Fallbacks über viele Anbieter brauchen, sofern sie Versionen festschreiben und es als sicherheitskritische Infrastruktur behandeln. Wir bewerten es mit 4.3 von 5.
- Was kostet LiteLLM?
- Kostenlos und Open Source unter MIT, außer dem Ordner enterprise/, der unter einer separaten kommerziellen Lizenz steht. Enterprise nach Vereinbarung, mit einem kostenlosen Test-Key für 30 Tage.
- Welche Nachteile hat LiteLLM?
- 17 Sicherheits-Advisories 2026, vier kritisch; Vergiftete PyPI-Releases im März 2026; Die Open-Core-Grenze ist in der Doku unklar; Enterprise-Preise nicht veröffentlicht.
- Für wen eignet sich LiteLLM?
- Plattformteams, die vielen Entwicklern von der eigenen Infrastruktur aus kontrollierten Zugang zu vielen Modellanbietern geben müssen.
- Was kostet LiteLLM für ein Team oder im Produktivbetrieb?
- Die Doku dimensioniert jeden Worker mit 1 vCPU und 4 GiB, ein Knoten mit 8 Workern braucht also 8 vCPU und 32 GiB, plus Postgres und Redis 7, sobald du mehr als eine Instanz betreibst. Enterprise-Preise auf Anfrage.
- Ist LiteLLM sicher für Firmendaten?
- Selbst gehostet, Prompts gehen also nur an die Anbieter, die du konfigurierst; der Produktionsleitfaden erwähnt keine Telemetrie an BerriAI. Der Proxy hält Keys, Ausgaben-Logs und optional Prompts in deinem Postgres. 2026 wurden siebzehn Sicherheits-Advisories veröffentlicht, vier davon kritisch.
- Was sind die besten Alternativen zu LiteLLM?
- Die nächsten Alternativen, die wir getestet haben, sind Portkey AI Gateway, Bifrost, vLLM Semantic Router und Langfuse.
Antworten geprüft am 26. Okt. 2026.