Was ist agentgateway?
agentgateway ist ein Open-Source-Proxy in Rust, der zwischen KI-Agenten und allem sitzt, was sie aufrufen: Modellanbietern, MCP-Tool-Servern und anderen Agenten über Googles A2A-Protokoll. Solo.io startete das Projekt im März 2025, übergab es im August 2025 an die Linux Foundation, und im Juni 2026 wurde es ein Projekt der Growth-Stufe in der Agentic AI Foundation (AAIF) der Linux Foundation, die auch MCP beherbergt.
Als LLM-Gateway bietet es eine OpenAI-kompatible API vor OpenAI, Anthropic, Gemini, Bedrock und anderen, mit Ausgabenkontrolle, Kostenerfassung, Failover und "virtuellen Modellen", die nach Gewichtung, Bedingung oder per Aufruf deines eigenen Routing-Dienstes verteilen. Als MCP-Gateway bündelt es mehrere Tool-Server hinter einem Endpunkt, verbindet stdio, SSE und Streamable HTTP, macht aus OpenAPI-Spezifikationen MCP-Tools und übernimmt OAuth. Die Authentifizierung umfasst JWT, API-Keys und OIDC, mit Autorisierung pro Tool als CEL-Richtlinien, dazu Guardrails, Ratenlimits und OpenTelemetry.
Es läuft auf zwei Arten: als einzelnes Binary, gesteuert über eine YAML-Datei und eine eingebaute Weboberfläche, oder auf Kubernetes mit eigenem Controller, der die Gateway API implementiert. Ursprünglich war es die KI-Datenebene für kgateway, das bei der CNCF gehostete Envoy-Gateway von Solo.io; kgateway 2.2 trennte beide in eigene Charts und APIs, und der Controller wird heute aus diesem Repository ausgeliefert. Das gesamte Repository steht unter Apache 2.0. Solo.io verkauft Solo Enterprise for agentgateway, einen gehärteten Build mit zusätzlichen MCP-Governance-Funktionen und 24x7-Support, zu Preisen, die es nur auf Anfrage gibt.
Lohnt sich agentgateway?
agentgateway ist die stärkste Open-Source-Antwort auf ein Problem, das LiteLLM und Bifrost als Nebensache behandeln: zu regeln, was Agenten mit Tools tun, nicht nur, welches Modell sie aufrufen. MCP und A2A sind hier vollwertig, mit Autorisierung pro Tool in CEL, sitzungsbewusstem MCP-Routing und OAuth-Token-Austausch, und das LLM-Gateway läuft auf demselben Proxy statt daneben. Neutrale Governance stärkt die Sache. Das Projekt wechselte fünf Monate nach seiner Gründung von Solo.io zur Linux Foundation und trat im Juni 2026 der AAIF bei; die Ankündigung zählt mehr als 300 aktive Mitwirkende aus mehr als 60 Organisationen, darunter Red Hat, Microsoft und Salesforce.
Nach eigener Darstellung ist es schnell. Der projekteigene Benchmark gegen LiteLLM, gefahren gegen ein Mock-Backend, meldet 36.933 Anfragen pro Sekunde bei einem P99 von 1,97 ms gegenüber 3.198 bei 32,19 ms für LiteLLM, mit agentgateway unter 30 MB Speicher und LiteLLM bei fast 12 GB; eine spätere Runde gegen den Rust-Modus von LiteLLM beansprucht etwa den 36-fachen Durchsatz. Gemessen wird nur der Overhead des Proxys, die Zahlen stammen vom Projekt selbst, und LiteLLM veröffentlicht andere. Selbst mit Abschlag ist ein Rust-Proxy auf Tokio und Hyper mit Latenz unter einer Millisekunde plausibel, und das zählt bei gesprächigen Agenten-Schleifen mehr als bei einzelnen Chat-Aufrufen.
Die Kubernetes-Geschichte ist sein zweiter Vorteil. Der Controller implementiert die Gateway API, sodass Teams, die HTTP bereits über Gateway-Ressourcen routen, LLM- und MCP-Backends mit denselben Objekten und Richtlinien ergänzen, und v1.7.0 liefert Helm-Charts für den Controller, die CRDs und ein Standalone-Chart. Der Preis ist die Vorgeschichte: kgateway 2.2 benannte den Controller um, verschob die APIs in die neue Gruppe agentgateway.dev und veröffentlichte einen Migrationsleitfaden für alle, die die frühere Integration betrieben. Breaking Changes kommen weiterhin monatlich; v1.7.0 vom 27. Oktober 2026 schaltete im Standalone-Modus die Verschlüsselung von MCP-Sitzungen ein, ließ Prompt-Guards standardmäßig auch Tool-Ausgaben prüfen und sperrte dynamische Backends für Loopback- und Cloud-Metadaten-Adressen.
Die Sicherheitsbilanz ist kurz, aber deutlich. Sieben Advisories wurden veröffentlicht, eines als hoch eingestuft: Im Juli 2026 konnten zustandsbehaftete MCP-Sitzungen Routen überqueren und die Autorisierungsrichtlinie überschreiben, und im Oktober tauchte dieselbe Fehlerklasse bei MCP-Guardrails wieder auf, zusammen mit einer ungültigen Tool-Call-ID, die die MCP-Autorisierung umging. Genau das ist die Funktion, die das Projekt verkauft, also Versionen festschreiben und Release Notes lesen. Neben LiteLLM hat es weniger Anbieterbreite und ein kleineres Ökosystem an Integrationen, rund 6.100 Sterne gegenüber etwa 62.000; neben Bifrost ist es weniger ein Kosten-Dashboard als eine Richtlinien-Engine für Agentenverkehr.
Wo es sich lohnt
Ein Plattformteam, das 20 interne MCP-Server für Coding-Agenten in einer Engineering-Organisation mit 400 Leuten bereitstellt
Agenten einen MCP-Endpunkt geben und festlegen, welche Teams welche Tools aufrufen dürfen
Die Server hinter einer agentgateway-Route bündeln, Nutzer per OIDC authentifizieren und CEL-Regeln pro Tool schreiben, sodass ein Support-Agent Tickets lesen, aber das Deploy-Tool nicht aufrufen kann. Kostenlos in der Open-Source-Version; Releases festschreiben, denn zwei Advisories von 2026 ließen MCP-Sitzungen diese Regeln umgehen.
Ein SRE-Team, das die Kubernetes Gateway API bereits für HTTP-Dienste nutzt
Routen zu OpenAI, Anthropic und Bedrock mit Failover ergänzen, ohne ein separates Gateway einzuführen
Die Helm-Charts für CRDs und Controller von agentgateway installieren und dann LLM-Backends und AgentgatewayPolicy-Objekte neben bestehende HTTPRoutes legen. Eine Steuerungsebene und ein Satz OpenTelemetry-Traces, um den Preis eines monatlichen Upgrade-Takts mit Breaking Changes.
Ein Head of Platform bei einer Bank, der Open Source gegen einen Herstellervertrag abwägt
Entscheiden, ob die kostenlose Version reicht oder sich Solo Enterprise lohnt
Die Open-Source-Version enthält bereits MCP-Föderation, CEL-Autorisierung, Guardrails und Kostenerfassung. Solo Enterprise ergänzt eine gehärtete Distribution, zusätzliche MCP-Governance und 24x7-Support, auf Anfrage und ohne veröffentlichten Preis, also hängt die Entscheidung daran, ob du einen Supportvertrag dringender brauchst als Funktionen.
Bevor du dich festlegst
- Einrichtung
- curl -sL https://agentgateway.dev/install | bash installiert das Binary; agentgateway ohne Konfiguration gestartet schreibt ~/.config/agentgateway/config.yaml und stellt Oberfläche und API auf Port 4000 bereit, wo ein Assistent ein Modell hinzufügt. Auf Kubernetes installieren Helm-Charts von cr.agentgateway.dev die CRDs und den Controller.
- Integrationen
- OpenAI-kompatible Chat-API vor OpenAI, Anthropic, Gemini, Bedrock, Perplexity und anderen; MCP über stdio, SSE und Streamable HTTP plus OpenAPI-zu-MCP; A2A; Guardrails über OpenAI Moderation, Bedrock Guardrails, Google Model Armor, Azure Content Safety und Webhooks; Metriken, Logs und Traces über OpenTelemetry; Kubernetes-Inference-Gateway-Erweiterungen für selbst gehostete Modelle.
- Daten und Datenschutz
- Selbst gehostet; Prompts gehen nur an die Anbieter und Guardrail-APIs, die du konfigurierst, und die Doku erwähnt keine Telemetrie an das Projekt. Seit v1.7.0 schicken Prompt-Guards standardmäßig auch Tool-Ausgaben an die Guardrail-APIs der Anbieter. Sieben Sicherheits-Advisories veröffentlicht, eines hoch.
- Kosten im großen Maßstab
- Der projekteigene Benchmark zeigt den Proxy unter 30 MB Speicher bei etwa 37.000 Anfragen pro Sekunde, die Gateway-Hardware ist also selten der Kostenfaktor; teuer ist die Zeit der Betreiber für monatliche Upgrades. Solo Enterprise wird pro Deployment auf Anfrage bepreist.
- Grenzen
- 313 offene Issues und Pull Requests; monatliche Releases mit Breaking Changes; die frühere kgateway-Integration erfordert eine Migration; weniger Anbieter und Drittanbieter-Integrationen als LiteLLM.
Was gut ist
- MCP-, A2A- und LLM-Verkehr unter einer Richtlinien-Engine
- Autorisierung pro Tool und Guardrails in CEL
- Controller für die Kubernetes Gateway API wie auch ein einzelnes Binary
- Apache 2.0 unter Governance der Linux Foundation
Was nicht
- Wiederholte Umgehungen der MCP-Autorisierung in Advisories 2026
- Monatliche Releases mit Breaking Changes
- Leistungszahlen stammen vom Projekt selbst
- Enterprise-Preise nicht veröffentlicht
Am besten für
Plattformteams auf Kubernetes, die Authentifizierung, Autorisierung und Audit vor MCP-Tool-Server und Agenten setzen müssen, nicht nur vor Modell-APIs.
Alternativen zu agentgateway
agentgateway: häufige Fragen
- Lohnt sich agentgateway?
- Das Gateway für den Fall, dass Agenten, Tools und Modelle eine gemeinsame Richtlinienschicht brauchen, besonders auf Kubernetes, solange du mit dem monatlichen Release-Takt und seinen Korrekturen an der MCP-Autorisierung Schritt hältst. Wir bewerten es mit 4.2 von 5.
- Was kostet agentgateway?
- Kostenlos und Open Source unter Apache 2.0. Solo Enterprise for agentgateway (gehärteter Build, zusätzliche MCP-Governance, 24x7-Support) gibt es auf Anfrage; ein Preis ist nicht veröffentlicht.
- Welche Nachteile hat agentgateway?
- Wiederholte Umgehungen der MCP-Autorisierung in Advisories 2026; Monatliche Releases mit Breaking Changes; Leistungszahlen stammen vom Projekt selbst; Enterprise-Preise nicht veröffentlicht.
- Für wen eignet sich agentgateway?
- Plattformteams auf Kubernetes, die Authentifizierung, Autorisierung und Audit vor MCP-Tool-Server und Agenten setzen müssen, nicht nur vor Modell-APIs.
- Was kostet agentgateway für ein Team oder im Produktivbetrieb?
- Der projekteigene Benchmark zeigt den Proxy unter 30 MB Speicher bei etwa 37.000 Anfragen pro Sekunde, die Gateway-Hardware ist also selten der Kostenfaktor; teuer ist die Zeit der Betreiber für monatliche Upgrades. Solo Enterprise wird pro Deployment auf Anfrage bepreist.
- Ist agentgateway sicher für Firmendaten?
- Selbst gehostet; Prompts gehen nur an die Anbieter und Guardrail-APIs, die du konfigurierst, und die Doku erwähnt keine Telemetrie an das Projekt. Seit v1.7.0 schicken Prompt-Guards standardmäßig auch Tool-Ausgaben an die Guardrail-APIs der Anbieter. Sieben Sicherheits-Advisories veröffentlicht, eines hoch.
- Was sind die besten Alternativen zu agentgateway?
- Die nächsten Alternativen, die wir getestet haben, sind LiteLLM, Bifrost, Portkey AI Gateway und vLLM Semantic Router.
Antworten geprüft am 9. Nov. 2026.
Du entwickelst agentgateway? Zeig diese Bewertung auf deiner Website
