LLM-Routing und Gateways

Worauf du achten solltest

Die Fragen, die die Optionen unterscheiden, nach Wichtigkeit geordnet.

1. 01

   Brauchst du überhaupt einen Router?

   Wenn ein Dienst einen oder zwei Anbieter aufruft, sind deren eigene SDKs plus ein Wrapper für Wiederholungen einfacher und sparen einen Netzwerksprung. Ein Gateway zahlt sich aus, wenn mehrere Teams Anbieter-Keys teilen, die Finanzabteilung die Ausgaben pro Team sehen will oder du automatisches Failover zwischen Anbietern brauchst. Routing pro Anfrage nach Bedeutung lohnt sich nur, wenn der Traffic groß und vielfältig genug ist, dass das Weiterleiten leichter Anfragen an ein günstigeres Modell die Rechnung verändert, und du Evaluierungen hast, die belegen, dass die Qualität hält.

2. 02

   Gehosteter Router, selbst gehostetes Gateway oder Entscheidungsmodell

   Ein gehosteter Router (OpenRouter) gibt dir einen Key und eine Rechnung für Hunderte Modelle, ohne dass du etwas betreiben musst, aber jede Anfrage läuft über einen Dritten, und du zahlst eine Gebühr auf Credits. Ein selbst gehostetes Gateway (LiteLLM, Bifrost, Portkey, Claude Code Router) hält Traffic und Keys in deinem Netz und bringt Budgets und Logging, aber du betreibst es. Ein Router mit Entscheidungsmodell (vLLM Semantic Router oder ein Entscheidungsmodell wie Jev, pplx-decider oder d3, aus deinem Code aufgerufen) liest jede Anfrage und wählt das Modell; er ist eine Schicht über einem Gateway, kein Ersatz dafür.

3. 03

   Fallbacks, Wiederholungen und Abdeckung an Anbietern

   Prüfe, ob der Router bei Rate Limits und Timeouts wiederholen und auf einen anderen Anbieter oder ein anderes Modell ausweichen kann, nicht nur auf einen anderen Key. Angaben zur Abdeckung (mehr als 100 Anbieter, mehr als 1.600 Modelle) zählen weniger als die Frage, ob deine konkreten Anbieter, auch Azure, Bedrock und Vertex, samt ihren Eigenheiten unterstützt werden: Tool-Aufrufe, Streaming, Header für Prompt Caching und Bildeingaben. Teste ein Failover, bevor du dich darauf verlässt.

4. 04

   Keys, Budgets und Ausgabenverfolgung

   Für Teams ist die Kernfunktion, virtuelle Keys mit Budgets und Rate Limits pro Team, Nutzer oder Projekt auszugeben und die Ausgaben dagegen zu protokollieren. Prüfe, welche dieser Funktionen in der Open-Source-Version stecken und welche kostenpflichtig sind: Die Dokumentation und die Enterprise-Seite von LiteLLM widersprechen sich darin, ob Budgets nur in Enterprise enthalten sind. Gehostete Router übernehmen die Abrechnung für dich, bieten aber gröbere Kontrollen.

5. 05

   Sicherheitslage und Lieferkette

   Ein Gateway verwahrt jeden Anbieter-Key, den du besitzt, seine eigene Sicherheitsbilanz zählt also so viel wie seine Funktionen. Die PyPI-Releases 1.82.7 und 1.82.8 von LiteLLM wurden im März 2026 vergiftet, um Zugangsdaten zu stehlen. Pinne genaue Versionen, installiere aus geprüften Images, isoliere das Gateway und binde lokale Router an localhost. Prüfe auch die Standards: Bifrost wurde mit nicht authentifizierter Verwaltungs-API ausgeliefert, und eine mit 9.8 bewertete Lücke, über die eine einzige nicht authentifizierte Anfrage Befehle ausführen konnte, wurde erst im September 2026 in v2.1.0 behoben. Auch der Eigentümer zählt: Portkey gehört inzwischen zu Palo Alto Networks, das seine Roadmap bestimmt.

6. 06

   Latenz-Overhead und Caching

   Gateways werben mit kleinem Overhead (LiteLLM nennt 8 ms bei P95 und 1.000 Anfragen pro Sekunde; Bifrost 11 µs bei 5.000; Portkey unter 1 ms), aber das sind die eigenen Benchmarks der Projekte; miss an deinem Traffic. Ein gehosteter Router fügt einen Netzwerksprung und womöglich einen Regionswechsel hinzu. Semantische Router fügen pro Anfrage einen Klassifikator-Aufruf hinzu; Entscheidungsmodelle melden zehn bis hunderte Millisekunden. Antwort-Caching und das Durchreichen des Prompt Caching der Anbieter können mehr sparen, als der Router kostet.

7. 07

   Routing-Methode, Lizenz und Pflege

   Regelbasiertes Routing (Modelllisten, Gewichte, Bedingungen) ist vorhersehbar und leicht zu prüfen. Semantisches oder gelerntes Routing ist theoretisch günstiger, aber schwerer zu debuggen; prüfe, ob es meldet, warum ein Modell gewählt wurde. Die Lizenzen unterscheiden sich: MIT (Portkey, Claude Code Router), MIT mit kommerziellem Enterprise-Ordner (LiteLLM), Apache 2.0 (vLLM Semantic Router, Bifrost, dessen Enterprise-Version separat lizenziert wird). Prüfe die Release-Aktivität: Das Gateway von Portkey hatte zwischen Januar und Oktober 2026 kein stabiles Release.

11 Tools im Vergleich

Sortiert nach unserer Bewertung. Öffne einen Testbericht für Quellen, Preise und das vollständige Fazit.

Tools für LLM-Routing und Gateways im Vergleich

Tool	Bewertung	Unser Fazit	Ideal für	Preis
OpenRouterTool	4.6/5	OpenRouter ist die vernünftige erste Anlaufstelle, wenn deine App mehr als ein Modell braucht, aber sobald du dich bei gleichmäßig hohem Volumen auf ein einziges Modell festlegst, lohnt es sich, die Credit-Gebühr einzusparen.	Entwickler und kleine Teams, die viele KI-Modelle über eine einzige Integration testen, vergleichen oder anbieten wollen.	Für Modelle zahlst du die Listenpreise der Anbieter. Gebühr beim Kauf von Credits: 5,5% (Standard) oder 8% (Business). Eigene Schlüssel kostenlos für die ersten 25.000 $ Nutzung im Monat, danach 5%. Kostenlose Modelle: 50 Anfragen/Tag oder 1.000/Tag nach einem Kauf für 10 $.
Perplexity Decider (pplx-decider)Modell	4.5/5	Ein Entscheidungsmodell, das du herunterladen kannst, das Bilder liest und für weniger als die Hälfte des Preises von Jev läuft, und das auf Tests, auf die niemand trainieren kann, deutlich besser abschneidet als Jev.	Teams, die starke typisierte Entscheidungen über Text und Bilder wollen, entweder über eine günstige API oder auf eigenen GPUs.	API: pplx-decider-v1.2 0,02 $ und Flash 0,01 $ pro 1M Eingabe-Tokens; Ausgabe kostenlos, keine Gebühr pro Anfrage. Gewichte kostenlos unter Apache 2.0.
LiteLLMRepo	4.3/5	Das Standard-Gateway zum Selbsthosten für Teams, die eine API, Budgets pro Team und Fallbacks über viele Anbieter brauchen, sofern sie Versionen festschreiben und es als sicherheitskritische Infrastruktur behandeln.	Plattformteams, die vielen Entwicklern von der eigenen Infrastruktur aus kontrollierten Zugang zu vielen Modellanbietern geben müssen.	Kostenlos und Open Source unter MIT, außer dem Ordner enterprise/, der unter einer separaten kommerziellen Lizenz steht. Enterprise nach Vereinbarung, mit einem kostenlosen Test-Key für 30 Tage.
d3 (vLLM Semantic Router)Modell	4.0/5	Stark, offen und leicht auf vLLM bereitzustellen, doch neun Tage nach dem Start machte das eigene d3-turbo es zu der Version, von der man migriert.	Teams, die bereits vLLM betreiben, ein offenes Entscheidungsmodell für Prüfungen von Text, Bild oder Video auf eigenen GPUs wollen und gegen diesen Checkpoint validiert haben.	Kostenlose Gewichte unter Apache 2.0. Keine kostenpflichtige gehostete API; die kostenlose öffentliche Demo bedient inzwischen d3-turbo.
Claude Code RouterRepo	4.0/5	Eine fähige lokale Schaltzentrale, um Coding-Agenten mit günstigeren Modellen zu betreiben, solange du akzeptierst, dass Anthropic das Ergebnis nicht unterstützt und die Edits schlechter werden.	Entwickler, die Claude Code oder andere Agenten mit günstigeren oder lokalen Modellen betreiben wollen.	Kostenlos und Open Source (MIT). Du bezahlst jeden Modellanbieter, an den du weiterleitest.
BifrostRepo	3.9/5	Ein schnelles Gateway unter Apache-Lizenz mit Budgets schon im kostenlosen Build, das eine Sicherheitsvoreinstellung im Stich lässt, durch die seine Admin-API bis September 2026 offen stand.	Teams mit hohem Anfragevolumen oder Go-Shops, die ein Gateway unter Apache-Lizenz mit Budgets wollen und bereit sind, seine Admin-API abzusichern.	Kostenlos und Open Source unter Apache 2.0. Enterprise wird individuell bepreist, mit einer kostenlosen Testphase von 14 Tagen; der Preis ist nicht veröffentlicht.
vLLM Semantic RouterRepo	3.8/5	Ein ehrgeiziger offener Router, der pro Anfrage das Modell wählt, geeignet für Teams, die bereits vLLM betreiben und ein schnelllebiges Projekt verkraften können.	Teams, die mehrere Modelle bereitstellen, oft auf einer eigenen vLLM-Flotte, mit genug vielfältigem Traffic, um die Modellwahl pro Anfrage zu rechtfertigen.	Kostenlos und Open Source unter Apache 2.0. Kein gehosteter bezahlter Dienst.
JevModell	3.8/5	Jev hat typisierte Entscheidungen zum Produkt gemacht, und offene Modelle haben es inzwischen bei Wertung und Preis überholt.	Teams, die eine gehostete, günstige API für Text-Routing, Triage und Ja/Nein-Schranken wollen, ohne eigene GPUs zu betreiben.	0,042 $ pro 1 Mio. Input-Tokens (42 $ pro Milliarde); Output-Tokens sind kostenlos. Gleicher Preis bei langem Kontext. Enterprise-Limits über den Vertrieb.
Portkey AI GatewayRepo	3.7/5	Ein sauberer Router unter MIT-Lizenz, der seit der Übernahme durch Palo Alto Networks stillsteht; heute gut zu betreiben, schwer als Grundlage für eine Roadmap.	Teams auf Edge-Laufzeiten oder Unternehmen, die schon Sicherheitsprodukte von Palo Alto kaufen und eine schlanke Routing-Schicht wollen.	Kostenlos und Open Source unter MIT. Gehostete Pläne: Developer kostenlos (10.000 aufgezeichnete Logs im Monat, 3 Tage Log-Aufbewahrung); Production 49 $/Monat (100.000 Logs, danach 9 $ pro 100.000); Enterprise nach Vereinbarung.
ScaleDown Constrained Decoding Models (Classify, Extract, Summarize)Modell	3.7/5	Die Preise sind echt und der Klassifikator ist gut, aber die Zahlen zum Start eilten den Belegen voraus, und die Jev-Kompatibilität kostet mehr, als es scheint.	Teams, die für Routing, Tagging oder Feldextraktion Preise von Flaggschiffmodellen zahlen, einen günstigen gehosteten Ersatz suchen und ihn zuerst auf eigenen gelabelten Daten testen wollen.	0,05 $ pro 1 Mio. Text-Input-Tokens, 0,15 $ pro 1 Mio. Bild-Input-Tokens, Output kostenlos; 1 Mio. kostenlose Tokens für neue Konten. OpenRouter: 0,04 $ mit 20 % Rabatt. Enterprise: dedizierte Instanz oder Lizenz zum Selbsthosten, nach Angebot.
LLayaModell	3.4/5	Sehr schnell und wirklich offen, ab Werk bei schwierigen Entscheidungen aber nahe am Raten: eine Basis zum Feinjustieren, kein Ersatz für Jev.	Teams mit eigenen gelabelten Entscheidungsdaten, die ein winziges, selbst gehostetes Modell für schnelles Routing oder Guardrails feinjustieren wollen.	Kostenlose Gewichte und Python-Paket unter Apache 2.0. Keine gehostete kostenpflichtige API; du betreibst es selbst.

Im direkten Vergleich

Die Spezifikationen, die für diesen Schritt zählen. Geprüft am 19. Okt. 2026; prüf sie auf der Website des Anbieters, bevor du dich festlegst.

Direktvergleiche und Ranglisten

• LiteLLM vs. Bifrost
• LiteLLM vs. Portkey AI Gateway

Wo diese Stufe hingehört

• Kundensupport-Agent: Wir würden mit Jev anfangen.
• Coding-Agent: Wir würden mit OpenRouter, LiteLLM anfangen.
• Sprachagent: Wir würden mit Laya anfangen.
• Dokumentenverarbeitung: Wir würden mit GLiNER2.5-Decide anfangen.
• Workflow-Automatisierung: Wir würden mit Perplexity Decider (pplx-decider) anfangen.

Quellen für diesen Leitfaden

• OpenRouter pricing
• LiteLLM repository
• LiteLLM enterprise
• Datadog Security Labs: LiteLLM PyPI compromise
• Portkey AI Gateway repository
• Palo Alto Networks completes acquisition of Portkey
• Bifrost repository
• Bifrost docs: supported providers
• The Hacker News: Critical Bifrost AI gateway flaw
• vLLM Semantic Router repository
• Claude Code Router repository