Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

LLM-Routing

LLM-Routing ist die Praxis, jede Anfrage an das Sprachmodell zu schicken, das am besten zu ihr passt, oft ein günstiges Modell für einfache Prompts und ein stärkeres für schwierige, um Kosten, Geschwindigkeit und Qualität auszubalancieren.

Auch: model routing, router

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Die meisten Anwendungen brauchen nicht für jede Anfrage ihr leistungsfähigstes Modell. Eine Begrüßung, eine kurze Abfrage oder eine Formatierungsaufgabe kann an ein kleines, schnelles Modell gehen, während eine knifflige Programmier- oder Denkaufgabe an ein größeres geht. Ein Router trifft diese Wahl pro Anfrage, sodass die Rechnung den tatsächlichen Arbeitsmix widerspiegelt.

So funktioniert es

Ein Router kann ein Satz von Regeln sein (alles mit Code an Modell A, alles über einer bestimmten Länge an Modell B), ein Klassifikator, der auf früheren Ergebnissen trainiert wurde, oder ein kleines Modell, das den Prompt liest und ein Ziel wählt. Das RouteLLM-Paper trainierte Router auf Daten menschlicher Präferenzen, um zwischen einem stärkeren und einem schwächeren Modell zu wählen, und berichtet, dass die Kosten in manchen Fällen um mehr als die Hälfte sanken, ohne dass die Antwortqualität nachließ. Ein Decision Model, das eine typisierte Auswahl zurückgibt, ist eine weitere Möglichkeit, den Auswahlschritt zu bauen.

Routing sitzt meist in einem LLM-Gateway oder einem Dienst wie OpenRouter, oder in einem Open-Source-Router wie vLLM Semantic Router. Die Stufe LLM-Routing des KI-Stacks listet weitere Optionen.

Routing versus Fallback

Routing wählt ein Modell vor dem Aufruf, anhand der Anfrage. Ein Fallback-Modell kommt zum Einsatz, nachdem ein Aufruf fehlschlägt oder in ein Timeout läuft. Viele Systeme machen beides.

Grenzen

Ein Router bringt eigene Latenz mit und kann einen schwierigen Prompt fälschlich für einfach halten. Das zeigt sich dann als schlechtere Antwort statt als Fehler. Teste ihn mit deinem eigenen Verkehr und logge, welches Modell jede Anfrage bearbeitet hat.

Verwandte Begriffe

LLM-Gateway
Ein LLM-Gateway ist ein Proxy-Server zwischen deinen Anwendungen und Modellanbietern, der eine einzige API bereitstellt und Schlüssel, Routing, Fallbacks, Rate Limits, Protokollierung und Kostenerfassung an einer Stelle übernimmt.
Entscheidungsmodell
Ein Entscheidungsmodell (Decision Model) ist ein Modell, das eine typisierte Antwort liefern soll, etwa eine Wahl aus einer Liste, eine Bewertung nach einem Kriterienkatalog oder eine Ja/Nein-Wahrscheinlichkeit, statt freien Text zu erzeugen.
Modell-Fallback
Ein Modell-Fallback ist eine Regel, die eine Anfrage an ein Ersatzmodell oder einen Ersatzanbieter schickt, wenn die erste Wahl scheitert, in ein Timeout läuft, ein Rate Limit erreicht oder die Eingabe ablehnt. So bleibt eine KI-Funktion auch bei Ausfällen nutzbar.
Token-Preise
Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
Inferenzanbieter
Ein Inferenzanbieter (Inference Provider) ist ein Unternehmen, das KI-Modelle auf eigener Hardware betreibt und den Zugang über eine API verkauft, meist pro Token abgerechnet. Du schickst Prompts und bekommst Ausgaben, ohne selbst GPUs zu verwalten.

Quellen