Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Modell-Fallback

Ein Modell-Fallback ist eine Regel, die eine Anfrage an ein Ersatzmodell oder einen Ersatzanbieter schickt, wenn die erste Wahl scheitert, in ein Timeout läuft, ein Rate Limit erreicht oder die Eingabe ablehnt. So bleibt eine KI-Funktion auch bei Ausfällen nutzbar.

Auch: failover, fallback model, provider failover

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Gehostete Modelle fallen öfter aus als die meisten Web-APIs. Anbieter haben Störungen, liefern zu Stoßzeiten Fehler wegen Rate Limits und Überlastung und lehnen Anfragen ab, die zu lang sind oder einen Inhaltsfilter auslösen. Eine Fallback-Kette macht aus diesen Fehlern eine langsamere oder leicht andere Antwort statt einer kaputten Funktion.

So funktioniert es

Du listest Modelle in der Reihenfolge deiner Vorliebe, zum Beispiel ein Hauptmodell, dann dasselbe Modell bei einem zweiten Inferenzanbieter, dann ein günstigeres Modell einer anderen Firma. Der Client oder ein LLM-Gateway versucht das erste; scheitert es nach einer festgelegten Zahl von Wiederholungen, wandert die Anfrage die Liste hinunter. Tools wie LiteLLM, Portkey und OpenRouter unterstützen das. LiteLLM lässt dich außerdem eigene Ketten pro Fehlertyp festlegen, etwa eine für Prompts, die das Kontextfenster überschreiten, und eine für Ablehnungen wegen der Inhaltsrichtlinie, und schickt ein fehlerhaftes Deployment in eine Abkühlphase, damit kein Verkehr mehr dort ankommt.

Fallback und Routing

LLM-Routing wählt für jede Anfrage vorab ein Modell, etwa nach Schwierigkeit oder Preis. Fallback greift erst, wenn etwas schiefgegangen ist. Viele Gateways tun beides.

Worauf du achten solltest

Ein Ersatzmodell kann Ausgaben anders formatieren, andere Tools unterstützen oder ein kleineres Kontextfenster haben, teste also jedes Modell der Kette mit deinen Prompts und deinem Schema für Structured Output. Protokolliere, welches Modell jede Anfrage beantwortet hat; sonst lassen sich Qualitätsänderungen durch stille Fallbacks kaum nachverfolgen. Wiederhole keine Anfragen mit Nebenwirkungen, etwa Tool-Aufrufe von Agenten, ohne sie sicher wiederholbar zu machen.

Verwandte Begriffe

LLM-Gateway
Ein LLM-Gateway ist ein Proxy-Server zwischen deinen Anwendungen und Modellanbietern, der eine einzige API bereitstellt und Schlüssel, Routing, Fallbacks, Rate Limits, Protokollierung und Kostenerfassung an einer Stelle übernimmt.
LLM-Routing
LLM-Routing ist die Praxis, jede Anfrage an das Sprachmodell zu schicken, das am besten zu ihr passt, oft ein günstiges Modell für einfache Prompts und ein stärkeres für schwierige, um Kosten, Geschwindigkeit und Qualität auszubalancieren.
Rate Limit (API)
Ein Rate Limit (Ratenbegrenzung) begrenzt, wie stark ein Konto eine API in einem Zeitfenster nutzen darf, typischerweise als Anfragen pro Minute (RPM) und Tokens pro Minute (TPM). Anfragen über der Grenze werden abgewiesen, meist mit einem HTTP-Fehler 429.
Inferenzanbieter
Ein Inferenzanbieter (Inference Provider) ist ein Unternehmen, das KI-Modelle auf eigener Hardware betreibt und den Zugang über eine API verkauft, meist pro Token abgerechnet. Du schickst Prompts und bekommst Ausgaben, ohne selbst GPUs zu verwalten.
LLM-Observability
LLM-Observability (Beobachtbarkeit von LLM-Anwendungen) heißt, aufzuzeichnen, was eine KI-Anwendung im Betrieb tut, darunter Prompts, Antworten, Tool-Aufrufe, Latenz, Token-Verbrauch und Kosten, und zwar als durchsuchbare Traces. So kannst du Fehler debuggen und sehen, wie sich das System über die Zeit verhält.

Quellen