Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Rate Limit (API)

Ein Rate Limit (Ratenbegrenzung) begrenzt, wie stark ein Konto eine API in einem Zeitfenster nutzen darf, typischerweise als Anfragen pro Minute (RPM) und Tokens pro Minute (TPM). Anfragen über der Grenze werden abgewiesen, meist mit einem HTTP-Fehler 429.

Auch: rate limiting, RPM, TPM

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

KI-Anbieter begrenzen die Nutzung, um Kapazität fair zu verteilen und Missbrauch zu verhindern. Grenzen gelten meist pro Organisation oder Projekt und pro Modell, und sie steigen, wenn dein Konto eine Nutzungshistorie aufbaut. Die Dokumentation von Anthropic misst die Grenzen der Messages API zum Beispiel in Anfragen pro Minute, Input-Tokens pro Minute und Output-Tokens pro Minute und gibt einen Fehler 429 zurück, der nennt, welche Grenze überschritten wurde.

Wie sich Grenzen verhalten

Eine Grenze pro Minute wird oft über kürzere Intervalle durchgesetzt, sodass ein Schub scheitern kann, auch wenn die Summe der Minute in Ordnung wäre. Laut Anthropic nutzt seine API einen Token Bucket, sodass Kapazität laufend nachgefüllt und nicht zu festen Zeiten zurückgesetzt wird. Manche Grenzen zählen nur nicht gecachten Input, was Prompt Caching zu einem Weg macht, mehr Arbeit unter dieselbe Grenze zu bringen. Separate Ausgabengrenzen können Anfragen außerdem blockieren, sobald ein Monatsbudget erreicht ist.

Umgang mit 429-Fehlern

Lies den Header `retry-after`, wenn er vorhanden ist, und warte so lange. Andernfalls wiederhole mit exponentiellem Backoff und etwas zufälligem Jitter und begrenze die Zahl der Wiederholungen, damit ein fehlschlagender Job nicht endlos kreist. Antwort-Header melden meist, wie viel von jeder Grenze übrig ist, sodass ein Client langsamer werden kann, bevor er sie erreicht. Für große Offline-Jobs hat eine Batch API oft eigene, höhere Grenzen.

Planen mit Grenzen

Verteile den Verkehr über die Zeit, halte Prompts schlank und setze eigene Grenzen pro Workspace, damit ein Dienst andere nicht aushungern kann. Ein LLM-Gateway kann Anfragen in eine Warteschlange stellen und an ein Fallback-Modell oder einen zweiten Anbieter leiten, wenn einer begrenzt ist. Rate Limits sind von den Token-Preisen getrennt.

Verwandte Begriffe

Token-Preise
Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
Batch-API
Eine Batch-API lässt dich eine große Menge an Modellanfragen in einem Job einreichen und die Ergebnisse später abholen, statt auf jeden Aufruf zu warten. Anbieter führen den Job aus, wenn Kapazität frei ist, und verlangen dafür meist weniger.
LLM-Gateway
Ein LLM-Gateway ist ein Proxy-Server zwischen deinen Anwendungen und Modellanbietern, der eine einzige API bereitstellt und Schlüssel, Routing, Fallbacks, Rate Limits, Protokollierung und Kostenerfassung an einer Stelle übernimmt.
Modell-Fallback
Ein Modell-Fallback ist eine Regel, die eine Anfrage an ein Ersatzmodell oder einen Ersatzanbieter schickt, wenn die erste Wahl scheitert, in ein Timeout läuft, ein Rate Limit erreicht oder die Eingabe ablehnt. So bleibt eine KI-Funktion auch bei Ausfällen nutzbar.
API-Schlüssel
Ein API-Schlüssel (API Key) ist eine geheime Zeichenkette, die eine Anwendung mit jeder Anfrage mitschickt, damit ein Dienst erkennt, welches Konto anfragt, dessen Limits anwendet und es abrechnet. Wer den Schlüssel besitzt, kann ihn in der Regel nutzen.

Quellen