Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

LLM-Gateway

Ein LLM-Gateway ist ein Proxy-Server zwischen deinen Anwendungen und Modellanbietern, der eine einzige API bereitstellt und Schlüssel, Routing, Fallbacks, Rate Limits, Protokollierung und Kostenerfassung an einer Stelle übernimmt.

Auch: AI gateway

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Sobald ein Team mehr als einen Modellanbieter aufruft, wird in jedem Dienst dieselbe Infrastruktur neu gebaut: API-Schlüssel, Wiederholungsversuche, Kostenerfassung, Limits pro Team. Ein Gateway verlagert diese Arbeit in eine gemeinsame Schicht. Anwendungen schicken jede Anfrage an das Gateway, und das Gateway leitet sie an den richtigen Anbieter weiter.

Was ein Gateway meist tut

Die meisten Gateways bieten eine OpenAI-kompatible API, sodass bestehender Client-Code durch Ändern der Basis-URL mit vielen Anbietern funktioniert. Hinter diesem Endpunkt vergeben sie virtuelle Schlüssel pro Nutzer oder Team, setzen Budgets und Rate Limits durch, erfassen die Kosten jedes Aufrufs, wiederholen Anfragen oder schalten um, wenn ein Anbieter ausfällt, und schicken Logs und Traces an Observability-Tools. Manche übernehmen auch LLM-Routing, Caching und Schutzprüfungen.

Zu den Open-Source-Beispielen gehören LiteLLM, Portkey Gateway und Bifrost. Gehostete Dienste wie OpenRouter bieten einen ähnlichen einzelnen Endpunkt als kostenpflichtigen Dienst an.

Gateway und Router

Ein Router beantwortet eine Frage: Welches Modell soll diese Anfrage übernehmen. Ein Gateway ist der breitere Kontrollpunkt, der neben Schlüsseln, Limits und Protokollierung einen Router enthalten kann.

Grenzen

Ein Gateway ist ein neues Stück Infrastruktur im Anfragepfad. Es fügt einen Zwischenschritt mit Latenz hinzu, wird ohne Redundanz zum Single Point of Failure und verwahrt jeden Anbieterschlüssel, braucht also dieselbe Sorgfalt wie jeder andere Secrets-Speicher.

Verwandte Begriffe

LLM-Routing
LLM-Routing ist die Praxis, jede Anfrage an das Sprachmodell zu schicken, das am besten zu ihr passt, oft ein günstiges Modell für einfache Prompts und ein stärkeres für schwierige, um Kosten, Geschwindigkeit und Qualität auszubalancieren.
OpenAI-kompatible API
Eine OpenAI-kompatible API ist ein Endpunkt eines anderen Anbieters oder Tools, der dasselbe Anfrage- und Antwortformat wie die API von OpenAI annimmt. Code, der für OpenAI geschrieben wurde, kann also darauf umsteigen, indem man Base-URL, Schlüssel und Modellnamen ändert.
Modell-Fallback
Ein Modell-Fallback ist eine Regel, die eine Anfrage an ein Ersatzmodell oder einen Ersatzanbieter schickt, wenn die erste Wahl scheitert, in ein Timeout läuft, ein Rate Limit erreicht oder die Eingabe ablehnt. So bleibt eine KI-Funktion auch bei Ausfällen nutzbar.
Rate Limit (API)
Ein Rate Limit (Ratenbegrenzung) begrenzt, wie stark ein Konto eine API in einem Zeitfenster nutzen darf, typischerweise als Anfragen pro Minute (RPM) und Tokens pro Minute (TPM). Anfragen über der Grenze werden abgewiesen, meist mit einem HTTP-Fehler 429.
LLM-Observability
LLM-Observability (Beobachtbarkeit von LLM-Anwendungen) heißt, aufzuzeichnen, was eine KI-Anwendung im Betrieb tut, darunter Prompts, Antworten, Tool-Aufrufe, Latenz, Token-Verbrauch und Kosten, und zwar als durchsuchbare Traces. So kannst du Fehler debuggen und sehen, wie sich das System über die Zeit verhält.
API-Schlüssel
Ein API-Schlüssel (API Key) ist eine geheime Zeichenkette, die eine Anwendung mit jeder Anfrage mitschickt, damit ein Dienst erkennt, welches Konto anfragt, dessen Limits anwendet und es abrechnet. Wer den Schlüssel besitzt, kann ihn in der Regel nutzen.

Quellen