LLM-Routing
LLM-Routing ist die Praxis, jede Anfrage an das Sprachmodell zu schicken, das am besten zu ihr passt, oft ein günstiges Modell für einfache Prompts und ein stärkeres für schwierige, um Kosten, Geschwindigkeit und Qualität auszubalancieren.
Auch: model routing, router
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Die meisten Anwendungen brauchen nicht für jede Anfrage ihr leistungsfähigstes Modell. Eine Begrüßung, eine kurze Abfrage oder eine Formatierungsaufgabe kann an ein kleines, schnelles Modell gehen, während eine knifflige Programmier- oder Denkaufgabe an ein größeres geht. Ein Router trifft diese Wahl pro Anfrage, sodass die Rechnung den tatsächlichen Arbeitsmix widerspiegelt.
So funktioniert es
Ein Router kann ein Satz von Regeln sein (alles mit Code an Modell A, alles über einer bestimmten Länge an Modell B), ein Klassifikator, der auf früheren Ergebnissen trainiert wurde, oder ein kleines Modell, das den Prompt liest und ein Ziel wählt. Das RouteLLM-Paper trainierte Router auf Daten menschlicher Präferenzen, um zwischen einem stärkeren und einem schwächeren Modell zu wählen, und berichtet, dass die Kosten in manchen Fällen um mehr als die Hälfte sanken, ohne dass die Antwortqualität nachließ. Ein Decision Model, das eine typisierte Auswahl zurückgibt, ist eine weitere Möglichkeit, den Auswahlschritt zu bauen.
Routing sitzt meist in einem LLM-Gateway oder einem Dienst wie OpenRouter, oder in einem Open-Source-Router wie vLLM Semantic Router. Die Stufe LLM-Routing des KI-Stacks listet weitere Optionen.
Routing versus Fallback
Routing wählt ein Modell vor dem Aufruf, anhand der Anfrage. Ein Fallback-Modell kommt zum Einsatz, nachdem ein Aufruf fehlschlägt oder in ein Timeout läuft. Viele Systeme machen beides.
Grenzen
Ein Router bringt eigene Latenz mit und kann einen schwierigen Prompt fälschlich für einfach halten. Das zeigt sich dann als schlechtere Antwort statt als Fehler. Teste ihn mit deinem eigenen Verkehr und logge, welches Modell jede Anfrage bearbeitet hat.
Verwandte Begriffe
- LLM-Gateway
- Ein LLM-Gateway ist ein Proxy-Server zwischen deinen Anwendungen und Modellanbietern, der eine einzige API bereitstellt und Schlüssel, Routing, Fallbacks, Rate Limits, Protokollierung und Kostenerfassung an einer Stelle übernimmt.
- Entscheidungsmodell
- Ein Entscheidungsmodell (Decision Model) ist ein Modell, das eine typisierte Antwort liefern soll, etwa eine Wahl aus einer Liste, eine Bewertung nach einem Kriterienkatalog oder eine Ja/Nein-Wahrscheinlichkeit, statt freien Text zu erzeugen.
- Modell-Fallback
- Ein Modell-Fallback ist eine Regel, die eine Anfrage an ein Ersatzmodell oder einen Ersatzanbieter schickt, wenn die erste Wahl scheitert, in ein Timeout läuft, ein Rate Limit erreicht oder die Eingabe ablehnt. So bleibt eine KI-Funktion auch bei Ausfällen nutzbar.
- Token-Preise
- Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
- Inferenzanbieter
- Ein Inferenzanbieter (Inference Provider) ist ein Unternehmen, das KI-Modelle auf eigener Hardware betreibt und den Zugang über eine API verkauft, meist pro Token abgerechnet. Du schickst Prompts und bekommst Ausgaben, ohne selbst GPUs zu verwalten.