Was ist vLLM Semantic Router?
vLLM Semantic Router sitzt vor einem Pool von Modellen und entscheidet, welches davon jede Anfrage beantworten soll. Anwendungen rufen einen einzigen virtuellen Modellnamen auf, etwa vllm-sr/auto; der Router zieht Signale aus der Anfrage (Thema, Modalität, Sicherheit, personenbezogene Daten, Nutzerpräferenzen), wendet von dir geschriebene Regeln an und schickt den Aufruf an ein Backend, das nach Qualität, Kosten, Latenz oder Standort passt.
Er ist in Go geschrieben, steht unter Apache 2.0 und gehört zum vLLM-Projekt. Version 0.4 mit dem Namen Hermes wurde am 24. September 2026 angekündigt, mit 982 Commits von 130 Mitwirkenden seit dem vorherigen Release. Das Projekt trainiert außerdem eigene kleine Klassifikatormodelle (Vela) für Domäne, Jailbreaks, personenbezogene Daten und Halluzinationen sowie größere Entscheidungsmodelle, die separat als d3 besprochen werden.
Backends können vLLM, SGLang oder jede OpenAI-kompatible API sein, einschließlich geschlossener Modelle von OpenAI und Anthropic.
Lohnt sich vLLM Semantic Router?
Semantisches Routing ist für eine kleine Gruppe von Teams die richtige Idee, und dies ist die stärkste offene Umsetzung davon. Wenn der Großteil deines Traffics einfach ist und ein kleines offenes Modell ihn beantworten kann, spart es Geld, nur schwierige Anfragen an ein teures Frontier-Modell zu schicken. Der Router trifft diese Entscheidung pro Anfrage und kann private Daten auf deinen eigenen GPUs halten, während andere Aufrufe in die Cloud gehen.
Das Projekt bewegt sich schnell. Es erreichte v0.1 im Januar 2026 und v0.4 im September, und der main-Branch ändert sich täglich. Der Preis ist ständiger Wandel: Die Release Notes beschreiben in jeder Version neue Signale, Plugins und experimentelle Funktionen (Fusion, Workflows), und die Entscheidungsmodelle, die das Projekt bewirbt, sind nach eigener Aussage noch nicht in den Router selbst eingebunden. Die Benchmark-Zahlen stammen aus eigenen Evaluierungen des Projekts, und 490 Issues sind offen.
Die betriebliche Angriffsfläche ist größer als bei einem Gateway. Eine lokale Installation betreibt den Router, ein Dashboard auf Port 8700, eine OpenAI-kompatible API auf 8899 und Hilfsdienste unter Docker, und die Härtungsanleitung fordert Betreiber auf, die Listener für Inferenz und Verwaltung zu authentifizieren und interne Ports privat zu binden. Am 18. Oktober 2026 veröffentlichte das Projekt ein Advisory mit hohem Schweregrad: Unter Istio konnte ein Client-Header den Router wegen eines doppelt verwendeten Filternamens komplett umgehen.
Die meisten Teams brauchen das nicht. Eine statische Regel, etwa ein Modell für Chat und ein anderes für Code, oder die Fallback-Liste eines Gateways deckt den üblichen Fall mit weit weniger Aufwand ab. Routing nach Bedeutung lohnt sich nur, wenn der Traffic groß und vielfältig genug ist, dass Entscheidungen pro Anfrage die Rechnung verändern, und wenn Evaluierungen bestätigen, dass günstigere Wege die Qualität nicht senken. RouteLLM, der oft für dieselbe Idee zitierte Forschungsrouter von LMSYS, hat seit August 2024 keine Commits mehr, was diesem Projekt wenig offene Konkurrenz lässt.
Wo es sich lohnt
Ein Plattform-Team, das 10 Millionen Anfragen im Monat über eine vLLM-Flotte und eine Frontier-API bedient
Einfache Prompts an ein hauseigenes offenes Modell schicken und nur schwierige an die bezahlte API
Anwendungen rufen vllm-sr/auto auf, und Regeln routen nach Domäne und Schwierigkeit. Die Ersparnis hängt vom Anteil des Traffics ab, den ein kleines Modell übernehmen kann, und das muss vor der Umstellung ein Evaluierungsset belegen.
Eine IT-Leiterin im Gesundheitswesen mit Patientendaten in Prompts
Anfragen mit personenbezogenen Daten im eigenen Haus halten, während andere Aufrufe Cloud-Modelle nutzen
Der PII-Klassifikator markiert Anfragen, und Routing-Regeln binden sie an lokale vLLM-Backends. Der Router ist kostenlos; die Kosten sind sein Betrieb, die Klassifikatoren und die privaten GPUs.
Ein Engineering-Manager in einem Unternehmen mit 40 Entwicklern, das Coding-Agenten nutzt
Agenten eine automatische Modellwahl wie den Auto-Modus von Cursor geben
Das Agenten-Harness auf den OpenAI-kompatiblen Endpunkt des Routers richten. Die OpenCode-Anleitung des Projekts zeigt das Muster; rechne mit Konfigurationsänderungen zwischen Releases.
Bevor du dich festlegst
- Einrichtung
- curl -fsSL https://vllm-sr.ai/install.sh | bash oder pip install vllm-sr und dann vllm-sr serve; braucht Linux, macOS oder WSL2, Python 3.10+ und Docker oder Podman. Kubernetes läuft über ein Helm-Chart oder einen Operator.
- Integrationen
- Backends auf vLLM, SGLang oder jeder OpenAI-kompatiblen API, einschließlich OpenAI und Anthropic; Gateway-Modus über Envoy ext_proc; Valkey für agentisches Gedächtnis; ein experimentelles Beispiel für NVIDIA Dynamo.
- Daten und Datenschutz
- Apache 2.0 ohne gehosteten bezahlten Dienst. Der Router kann Replay, Antwort-Cache, Gedächtnis und Logs speichern, die Betreiber absichern und mit Aufbewahrungsfristen versehen müssen. Ein Advisory mit hohem Schweregrad (GHSA-xr66-pq9r-2c8j) betrifft eine Header-basierte Umgehung unter Istio.
- Kosten im großen Maßstab
- Kostenlose Software. Der Router läuft auf x86-64-CPUs, optional mit CUDA oder ROCm für seine Klassifikatormodelle; die Doku nennt keine Dimensionierung, die Kosten sind also deine Container plus die Backends, an die du routest.
- Grenzen
- 490 offene Issues und neue Funktionen in jedem Release; Unterstützung für ARM, DGX Spark und AMD-NPUs ist nur build-qualifiziert oder experimentell. Entscheidungsmodelle sind noch nicht in den Router selbst integriert.
Was gut ist
- Routet nach Inhalt der Anfrage, nicht nach statischen Regeln
- Eingebaute Klassifikatoren für Sicherheit, Jailbreaks und personenbezogene Daten
- Teil des vLLM-Projekts; Apache 2.0
- Kann sensible Aufrufe auf privater Hardware halten
Was nicht
- Ändert sich schnell zwischen Releases
- Mehr Dienste abzusichern als bei einem einfachen Gateway
- Benchmarks sind selbst berichtet
- Advisory mit hohem Schweregrad zu einer Istio-Umgehung im Oktober 2026
Am besten für
Teams, die mehrere Modelle bereitstellen, oft auf einer eigenen vLLM-Flotte, mit genug vielfältigem Traffic, um die Modellwahl pro Anfrage zu rechtfertigen.
Alternativen zu vLLM Semantic Router
vLLM Semantic Router: häufige Fragen
- Lohnt sich vLLM Semantic Router?
- Ein ehrgeiziger offener Router, der pro Anfrage das Modell wählt, geeignet für Teams, die bereits vLLM betreiben und ein schnelllebiges Projekt verkraften können. Wir bewerten es mit 3.8 von 5.
- Was kostet vLLM Semantic Router?
- Kostenlos und Open Source unter Apache 2.0. Kein gehosteter bezahlter Dienst.
- Welche Nachteile hat vLLM Semantic Router?
- Ändert sich schnell zwischen Releases; Mehr Dienste abzusichern als bei einem einfachen Gateway; Benchmarks sind selbst berichtet; Advisory mit hohem Schweregrad zu einer Istio-Umgehung im Oktober 2026.
- Für wen eignet sich vLLM Semantic Router?
- Teams, die mehrere Modelle bereitstellen, oft auf einer eigenen vLLM-Flotte, mit genug vielfältigem Traffic, um die Modellwahl pro Anfrage zu rechtfertigen.
- Was kostet vLLM Semantic Router für ein Team oder im Produktivbetrieb?
- Kostenlose Software. Der Router läuft auf x86-64-CPUs, optional mit CUDA oder ROCm für seine Klassifikatormodelle; die Doku nennt keine Dimensionierung, die Kosten sind also deine Container plus die Backends, an die du routest.
- Ist vLLM Semantic Router sicher für Firmendaten?
- Apache 2.0 ohne gehosteten bezahlten Dienst. Der Router kann Replay, Antwort-Cache, Gedächtnis und Logs speichern, die Betreiber absichern und mit Aufbewahrungsfristen versehen müssen. Ein Advisory mit hohem Schweregrad (GHSA-xr66-pq9r-2c8j) betrifft eine Header-basierte Umgehung unter Istio.
- Was sind die besten Alternativen zu vLLM Semantic Router?
- Die nächsten Alternativen, die wir getestet haben, sind LiteLLM und Portkey AI Gateway.
Antworten geprüft am 26. Okt. 2026.