Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

LiteLLM vs Portkey AI Gateway

LiteLLM ist das Gateway, auf dem man aufbauen sollte: Es erscheint alle paar Tage neu und hat Budgets in der kostenlosen Version, während das Open-Source-Gateway von Portkey seit Januar kein Release hatte und inzwischen Palo Alto Networks gehört.

Von Sheela · Geprüft am 26. Okt. 2026 · So testen wir

LiteLLM

4.3/5

Wähle LiteLLM, wenn mehrere Teams Anbieter-Keys teilen und du Budgets pro Team, Ausgabenberichte und Fallbacks brauchst, die du selbst betreibst, aus einem Projekt, das aktiv gepflegt wird.

Unseren Test von LiteLLM lesen

Portkey AI Gateway

3.7/5

Wähle das Gateway von Portkey, wenn du einen leichten Router auf Cloudflare Workers oder einer anderen Edge-Runtime brauchst oder schon Prisma AIRS von Palo Alto kaufst und die gehostete Version willst.

Unseren Test von Portkey AI Gateway lesen
LiteLLM vs Portkey AI Gateway im direkten Vergleich
MerkmalLiteLLMPortkey AI Gateway
Unsere Bewertung4.3/53.7/5
PreisKostenlos und Open Source unter MIT, außer dem Ordner enterprise/, der unter einer separaten kommerziellen Lizenz steht. Enterprise nach Vereinbarung, mit einem kostenlosen Test-Key für 30 Tage.Kostenlos und Open Source unter MIT. Gehostete Pläne: Developer kostenlos (10.000 aufgezeichnete Logs im Monat, 3 Tage Log-Aufbewahrung); Production 49 $/Monat (100.000 Logs, danach 9 $ pro 100.000); Enterprise nach Vereinbarung.
Am besten fürPlattformteams, die vielen Entwicklern von der eigenen Infrastruktur aus kontrollierten Zugang zu vielen Modellanbietern geben müssen.Teams auf Edge-Laufzeiten oder Unternehmen, die schon Sicherheitsprodukte von Palo Alto kaufen und eine schlanke Routing-Schicht wollen.
Sprache und LaufzeitPython-Proxy und SDK; Docker, Helm, TerraformTypeScript auf Node, Bun, Docker oder Cloudflare Workers
Angegebene AbdeckungMehr als 100 AnbieterMehr als 1.600 Modelle laut README
Budgets und AusgabenverfolgungVirtuelle Keys, Budgets und Rate Limits in der kostenlosen VersionIn den gehosteten Tarifen, nicht im Open-Source-Gateway
LizenzMIT, außer einem Ordner enterprise/ unter kommerzieller LizenzMIT, kein Enterprise-Ordner
Neuestes Releasev1.106.4 am 25. Oktober 2026v1.15.2 am 12. Januar 2026
BezahloptionEnterprise, Preis auf Anfrage, mit einem Test-Key für 30 TageGehostetes Production für 49 $ im Monat für 100.000 Logs; Enterprise individuell
EigentümerBerriAIPalo Alto Networks, seit dem 29. Mai 2026
SicherheitsbilanzVergiftete PyPI-Releases im März 2026; 17 Advisories in diesem JahrEin SSRF-Advisory mittlerer Schwere, Dezember 2025

Beide sind Gateways unter MIT-Lizenz, die viele Anbieter hinter eine API im Stil von OpenAI stellen, mit Fallbacks und Wiederholungen. LiteLLM ist ein Python-Proxy mit virtuellen Keys, Budgets und Ausgabenverfolgung in der Open-Source-Version. Portkey ist ein kleiner TypeScript-Router, der auf Edge-Runtimes wie Cloudflare Workers läuft, aber Logs, Budgets und Analysen in seinen gehosteten Tarifen hält, und sein Repository ist seit Mai 2026 ruhig.

Das waren einmal die beiden naheliegenden Open-Source-Gateways, und der Abstand zwischen ihnen betrifft heute mehr die Pflege als die Funktionen. LiteLLM veröffentlichte v1.106.4 am 25. Oktober 2026 und hat etwa 62.000 Sterne auf GitHub. Das Gateway von Portkey, mit etwa 13.300, veröffentlichte zuletzt v1.15.2 am 12. Januar; sein Standard-Branch hat sich seit dem 25. Mai nicht verändert, vier Tage bevor Palo Alto Networks die Übernahme von Portkey abschloss. Der Branch für Gateway 2.0, der das Enterprise-Gateway in die Open-Source-Version überführen sollte, ruht seit März.

Die Produkte ziehen die Grenze zur Open-Source-Version auch an verschiedenen Stellen. Die kostenlose Version von LiteLLM vergibt virtuelle Keys, verfolgt Ausgaben nach Key, Nutzer und Team und setzt Budgets durch, der Hauptgrund, warum ein Plattformteam überhaupt ein Gateway betreibt. Die Open-Source-Version von Portkey routet, wiederholt und weicht aus einer einzigen JSON-Konfiguration aus, während Logs, semantisches Caching, Analysen und die meisten vorgefertigten Guardrails im gehosteten Produkt liegen. Dieses gehostete Produkt ist für den Einstieg günstig, 49 $ im Monat für 100.000 Logs plus 9 $ pro weiteren 100.000, aber es bedeutet, dass deine Anfrage-Logs bei einem Anbieter liegen, der heute als Prisma AIRS verkauft wird.

Portkey behält einen echten technischen Vorteil. Sein kleiner TypeScript-Kern läuft auf Cloudflare Workers, wo ein Python-Proxy das nicht kann, und das README beansprucht unter 1 ms zusätzliche Latenz gegenüber 8 ms bei P95 für LiteLLM; beide Werte stammen von den Projekten selbst. Auch seine Sicherheitsbilanz ist leichter, ein einziges SSRF-Advisory mittlerer Schwere gegenüber 17 Advisories bei LiteLLM im Jahr 2026 und dem Supply-Chain-Angriff auf seine PyPI-Releases im März. Ein Teil dieses Unterschieds spiegelt wider, wie viel Code jedes Projekt dieses Jahr ausgeliefert hat.

Für ein Team, das heute wählt, ist LiteLLM das Gateway, das auch das Modell des nächsten Monats unterstützen wird; ein Portkey-Gateway ohne Release seit neun Monaten braucht für seitdem hinzugekommene Anbieter womöglich Passthrough. Der Vergleich würde sich ändern, wenn Palo Alto Gateway 2.0 als Open Source veröffentlicht, und das ist das Signal, das man auf der Release-Seite von Portkey beobachten sollte.

Was solltest du wählen?

Die Aufgaben, die jedes am besten erledigt, aus unseren Tests.

Nimm LiteLLM, wenn du…

  • Ein Plattformteam, das 300 Engineers Zugang zu OpenAI, Anthropic und Bedrock gibt

    Keys pro Team mit Budgets ausgeben und die Ausgaben nach Team auswerten

    Betreibe den Proxy auf Kubernetes mit Postgres und Redis, gib jedem Team einen virtuellen Key mit Budget und liefere der Finanzabteilung die Ausgaben nach Key, Nutzer und Team. Kostenlos in der Open-Source-Version; SSO für die Admin-Oberfläche braucht eine Enterprise-Lizenz.

  • Eine SRE, die für die Verfügbarkeit eines LLM-gestützten Produkts verantwortlich ist

    Von Azure OpenAI auf OpenAI umschalten, wenn ein Deployment schwächelt

    Lege beide Deployments in eine Modellgruppe mit Fallbacks und Retries im Router. Der Preis ist ein zusätzlicher Netzwerk-Hop und eine Komponente, die jeden Anbieter-Key hält, also schreibe ein -stable-Image fest und prüfe seine cosign-Signatur.

  • Ein Head of Engineering bei einem regulierten Fintech

    Zwischen selbst gehostetem Open-Source-LiteLLM und der Enterprise-Lizenz entscheiden

    Enterprise wird nach Vereinbarung bepreist, mit einem Test-Key für 30 Tage Self-Hosting, und ergänzt SSO, SCIM, Audit-Logs und ein Reaktionsziel von einer Stunde bei Sev 0. So oder so: Plane Zeit fürs Patchen ein, denn 2026 kamen vier kritische Advisories.

Nimm Portkey AI Gateway, wenn du…

  • Ein Entwickler mit einer App auf Cloudflare Workers

    OpenAI und Anthropic mit automatischem Fallback hinter einen Endpunkt stellen

    Stelle das Gateway auf Workers bereit und beschreibe den Fallback in einer Konfiguration. Es kostet nichts über die Workers-Nutzung hinaus; da es seit Januar kein Release gab, brauchen sehr neue Modelle womöglich Passthrough statt eines nativen Anbieters.

  • Ein Start-up mit fünf Engineers und einer LLM-Funktion in Produktion

    Request-Logs und Kosten-Dashboards bekommen, ohne einen Observability-Stack zu betreiben

    Das gehostete Production für 49 $ im Monat deckt 100.000 protokollierte Anfragen mit 30 Tagen Log-Aufbewahrung ab; bei einer Million Anfragen im Monat liegt die Rechnung bei etwa 130 $, also 49 $ plus neun weitere Blöcke zu je 9 $.

  • Ein Security-Team in einem Unternehmen, das schon Prisma AIRS nutzt

    Zentral steuern, welche Modelle und Agenten die Belegschaft erreichen kann

    Die Bedingungen für Enterprise oder Prisma AIRS werden individuell bepreist; Enterprise führt SSO, SOC 2 Type 2, DSGVO, HIPAA mit individuellen BAAs und Deployment in der VPC.

LiteLLM vs. Portkey AI Gateway: Preise

LiteLLM

Kostenlos und Open Source unter MIT, außer dem Ordner enterprise/, der unter einer separaten kommerziellen Lizenz steht. Enterprise nach Vereinbarung, mit einem kostenlosen Test-Key für 30 Tage.

Portkey AI Gateway

Tarife von Portkey AI Gateway
Open sourceFreeMIT
DeveloperFree10.000 aufgezeichnete Logs im Monat, 3 Tage Log-Aufbewahrung
Production$49/month100.000 Logs, danach 9 $ pro 100.000
EnterpriseCustom

Vor- und Nachteile

LiteLLM

Gut

  • Über 100 Anbieter im OpenAI-Format
  • Virtuelle Keys, Budgets und Fallbacks in der kostenlosen Version
  • Mit cosign signierte -stable-Images mit 12-stündigen Lasttests
  • Terraform-Module für AWS und GCP

Weniger gut

  • 17 Sicherheits-Advisories 2026, vier kritisch
  • Vergiftete PyPI-Releases im März 2026
  • Die Open-Core-Grenze ist in der Doku unklar
  • Enterprise-Preise nicht veröffentlicht

Portkey AI Gateway

Gut

  • MIT-Lizenz ohne Enterprise-Ordner
  • Kleiner TypeScript-Kern, der auf Cloudflare Workers läuft
  • Eine Konfiguration für Fallbacks, Wiederholungen und bedingtes Routing
  • Gehostete Logs ab 49 $ im Monat

Weniger gut

  • Kein Release seit Januar 2026; der 2.0-Branch ruht seit März
  • Die Roadmap bestimmt jetzt Palo Alto Networks
  • Caching, Analysen und die meisten Guardrails gibt es nur gehostet
  • SSO und Compliance-Zertifizierungen nur bei Enterprise

Bevor du dich festlegst

LiteLLM vs Portkey AI Gateway: Einrichtung, Integrationen, Daten, Kosten und Grenzen
ThemaLiteLLMPortkey AI Gateway
Einrichtunguv tool install 'litellm[proxy]', dann startet litellm --model gpt-4o einen lokalen Proxy auf Port 4000; in der Produktion kommen das Docker-Image, das Helm-Chart oder Terraform-Module für AWS (ECS Fargate, Aurora, ElastiCache) und GCP (Cloud Run, Cloud SQL) zum Einsatz.`npx @portkey-ai/gateway` startet es lokal; die Deployment-Anleitung deckt Docker, Bun, Node und Cloudflare Workers ab.
IntegrationenOpenAI-kompatible Endpunkte /chat/completions, /responses, /embeddings, /messages, /batches und mehr über mehr als 100 Anbieter; Logging an Langfuse, MLflow, Helicone und andere; Gateways für MCP und A2A; ein Python-SDK, das ohne den Proxy funktioniert.API im Stil von OpenAI vor laut README mehr als 1.600 Modellen; Konfigurationen für Routing und Guardrail-Hooks; das gehostete Produkt ergänzt ein MCP-Gateway, Prompt-Verwaltung und Analysen.
Daten und DatenschutzSelbst gehostet, Prompts gehen also nur an die Anbieter, die du konfigurierst; der Produktionsleitfaden erwähnt keine Telemetrie an BerriAI. Der Proxy hält Keys, Ausgaben-Logs und optional Prompts in deinem Postgres. 2026 wurden siebzehn Sicherheits-Advisories veröffentlicht, vier davon kritisch.Selbst gehostet laufen Anfragen nur durch deine Instanz. Gehostete Logs werden bei Developer 3 Tage, bei Production 30 Tage und bei Enterprise individuell lange aufbewahrt; SOC 2 Type 2, DSGVO und HIPAA sind für Enterprise aufgeführt. Ein SSRF-Advisory mittlerer Schwere (Dezember 2025).
Kosten im großen MaßstabDie Doku dimensioniert jeden Worker mit 1 vCPU und 4 GiB, ein Knoten mit 8 Workern braucht also 8 vCPU und 32 GiB, plus Postgres und Redis 7, sobald du mehr als eine Instanz betreibst. Enterprise-Preise auf Anfrage.Open Source ist kostenlos. Das gehostete Production kostet 49 $ im Monat für 100.000 Logs plus 9 $ pro weitere 100.000, eine Million Anfragen kosten also rund 130 $ im Monat; die Vergleichstabelle begrenzt Production auf 3 Millionen, darüber gelten individuelle Enterprise-Preise.
Grenzen5.748 offene Issues und Pull Requests; Releases alle paar Tage bedeuten häufige Upgrades; Postgres-Connection-Pools müssen pro Instanz und Worker dimensioniert werden; das Rust-Gateway ist noch in der Beta.Kein Release seit dem 12. Januar 2026 und kein Commit seit dem 25. Mai; 307 offene Issues; semantisches Caching und Analysen sind nicht im Open-Source-Build enthalten.

Häufige Fragen

Ist LiteLLM besser als Portkey AI Gateway?
LiteLLM ist das Gateway, auf dem man aufbauen sollte: Es erscheint alle paar Tage neu und hat Budgets in der kostenlosen Version, während das Open-Source-Gateway von Portkey seit Januar kein Release hatte und inzwischen Palo Alto Networks gehört. Wir bewerten LiteLLM mit 4,3 und Portkey AI Gateway mit 3,7 von 5.
Wann sollte ich LiteLLM wählen?
Wähle LiteLLM, wenn mehrere Teams Anbieter-Keys teilen und du Budgets pro Team, Ausgabenberichte und Fallbacks brauchst, die du selbst betreibst, aus einem Projekt, das aktiv gepflegt wird.
Wann sollte ich Portkey AI Gateway wählen?
Wähle das Gateway von Portkey, wenn du einen leichten Router auf Cloudflare Workers oder einer anderen Edge-Runtime brauchst oder schon Prisma AIRS von Palo Alto kaufst und die gehostete Version willst.
Was kosten LiteLLM und Portkey AI Gateway?
LiteLLM: Kostenlos und Open Source unter MIT, außer dem Ordner enterprise/, der unter einer separaten kommerziellen Lizenz steht. Enterprise nach Vereinbarung, mit einem kostenlosen Test-Key für 30 Tage. Portkey AI Gateway: Kostenlos und Open Source unter MIT. Gehostete Pläne: Developer kostenlos (10.000 aufgezeichnete Logs im Monat, 3 Tage Log-Aufbewahrung); Production 49 $/Monat (100.000 Logs, danach 9 $ pro 100.000); Enterprise nach Vereinbarung.

Quellen