LLM-Gateway
Ein LLM-Gateway ist ein Proxy-Server zwischen deinen Anwendungen und Modellanbietern, der eine einzige API bereitstellt und Schlüssel, Routing, Fallbacks, Rate Limits, Protokollierung und Kostenerfassung an einer Stelle übernimmt.
Auch: AI gateway
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Sobald ein Team mehr als einen Modellanbieter aufruft, wird in jedem Dienst dieselbe Infrastruktur neu gebaut: API-Schlüssel, Wiederholungsversuche, Kostenerfassung, Limits pro Team. Ein Gateway verlagert diese Arbeit in eine gemeinsame Schicht. Anwendungen schicken jede Anfrage an das Gateway, und das Gateway leitet sie an den richtigen Anbieter weiter.
Was ein Gateway meist tut
Die meisten Gateways bieten eine OpenAI-kompatible API, sodass bestehender Client-Code durch Ändern der Basis-URL mit vielen Anbietern funktioniert. Hinter diesem Endpunkt vergeben sie virtuelle Schlüssel pro Nutzer oder Team, setzen Budgets und Rate Limits durch, erfassen die Kosten jedes Aufrufs, wiederholen Anfragen oder schalten um, wenn ein Anbieter ausfällt, und schicken Logs und Traces an Observability-Tools. Manche übernehmen auch LLM-Routing, Caching und Schutzprüfungen.
Zu den Open-Source-Beispielen gehören LiteLLM, Portkey Gateway und Bifrost. Gehostete Dienste wie OpenRouter bieten einen ähnlichen einzelnen Endpunkt als kostenpflichtigen Dienst an.
Gateway und Router
Ein Router beantwortet eine Frage: Welches Modell soll diese Anfrage übernehmen. Ein Gateway ist der breitere Kontrollpunkt, der neben Schlüsseln, Limits und Protokollierung einen Router enthalten kann.
Grenzen
Ein Gateway ist ein neues Stück Infrastruktur im Anfragepfad. Es fügt einen Zwischenschritt mit Latenz hinzu, wird ohne Redundanz zum Single Point of Failure und verwahrt jeden Anbieterschlüssel, braucht also dieselbe Sorgfalt wie jeder andere Secrets-Speicher.
Verwandte Begriffe
- LLM-Routing
- LLM-Routing ist die Praxis, jede Anfrage an das Sprachmodell zu schicken, das am besten zu ihr passt, oft ein günstiges Modell für einfache Prompts und ein stärkeres für schwierige, um Kosten, Geschwindigkeit und Qualität auszubalancieren.
- OpenAI-kompatible API
- Eine OpenAI-kompatible API ist ein Endpunkt eines anderen Anbieters oder Tools, der dasselbe Anfrage- und Antwortformat wie die API von OpenAI annimmt. Code, der für OpenAI geschrieben wurde, kann also darauf umsteigen, indem man Base-URL, Schlüssel und Modellnamen ändert.
- Modell-Fallback
- Ein Modell-Fallback ist eine Regel, die eine Anfrage an ein Ersatzmodell oder einen Ersatzanbieter schickt, wenn die erste Wahl scheitert, in ein Timeout läuft, ein Rate Limit erreicht oder die Eingabe ablehnt. So bleibt eine KI-Funktion auch bei Ausfällen nutzbar.
- Rate Limit (API)
- Ein Rate Limit (Ratenbegrenzung) begrenzt, wie stark ein Konto eine API in einem Zeitfenster nutzen darf, typischerweise als Anfragen pro Minute (RPM) und Tokens pro Minute (TPM). Anfragen über der Grenze werden abgewiesen, meist mit einem HTTP-Fehler 429.
- LLM-Observability
- LLM-Observability (Beobachtbarkeit von LLM-Anwendungen) heißt, aufzuzeichnen, was eine KI-Anwendung im Betrieb tut, darunter Prompts, Antworten, Tool-Aufrufe, Latenz, Token-Verbrauch und Kosten, und zwar als durchsuchbare Traces. So kannst du Fehler debuggen und sehen, wie sich das System über die Zeit verhält.
- API-Schlüssel
- Ein API-Schlüssel (API Key) ist eine geheime Zeichenkette, die eine Anwendung mit jeder Anfrage mitschickt, damit ein Dienst erkennt, welches Konto anfragt, dessen Limits anwendet und es abrechnet. Wer den Schlüssel besitzt, kann ihn in der Regel nutzen.