Rate Limit (API)
Ein Rate Limit (Ratenbegrenzung) begrenzt, wie stark ein Konto eine API in einem Zeitfenster nutzen darf, typischerweise als Anfragen pro Minute (RPM) und Tokens pro Minute (TPM). Anfragen über der Grenze werden abgewiesen, meist mit einem HTTP-Fehler 429.
Auch: rate limiting, RPM, TPM
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
KI-Anbieter begrenzen die Nutzung, um Kapazität fair zu verteilen und Missbrauch zu verhindern. Grenzen gelten meist pro Organisation oder Projekt und pro Modell, und sie steigen, wenn dein Konto eine Nutzungshistorie aufbaut. Die Dokumentation von Anthropic misst die Grenzen der Messages API zum Beispiel in Anfragen pro Minute, Input-Tokens pro Minute und Output-Tokens pro Minute und gibt einen Fehler 429 zurück, der nennt, welche Grenze überschritten wurde.
Wie sich Grenzen verhalten
Eine Grenze pro Minute wird oft über kürzere Intervalle durchgesetzt, sodass ein Schub scheitern kann, auch wenn die Summe der Minute in Ordnung wäre. Laut Anthropic nutzt seine API einen Token Bucket, sodass Kapazität laufend nachgefüllt und nicht zu festen Zeiten zurückgesetzt wird. Manche Grenzen zählen nur nicht gecachten Input, was Prompt Caching zu einem Weg macht, mehr Arbeit unter dieselbe Grenze zu bringen. Separate Ausgabengrenzen können Anfragen außerdem blockieren, sobald ein Monatsbudget erreicht ist.
Umgang mit 429-Fehlern
Lies den Header `retry-after`, wenn er vorhanden ist, und warte so lange. Andernfalls wiederhole mit exponentiellem Backoff und etwas zufälligem Jitter und begrenze die Zahl der Wiederholungen, damit ein fehlschlagender Job nicht endlos kreist. Antwort-Header melden meist, wie viel von jeder Grenze übrig ist, sodass ein Client langsamer werden kann, bevor er sie erreicht. Für große Offline-Jobs hat eine Batch API oft eigene, höhere Grenzen.
Planen mit Grenzen
Verteile den Verkehr über die Zeit, halte Prompts schlank und setze eigene Grenzen pro Workspace, damit ein Dienst andere nicht aushungern kann. Ein LLM-Gateway kann Anfragen in eine Warteschlange stellen und an ein Fallback-Modell oder einen zweiten Anbieter leiten, wenn einer begrenzt ist. Rate Limits sind von den Token-Preisen getrennt.
Verwandte Begriffe
- Token-Preise
- Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
- Batch-API
- Eine Batch-API lässt dich eine große Menge an Modellanfragen in einem Job einreichen und die Ergebnisse später abholen, statt auf jeden Aufruf zu warten. Anbieter führen den Job aus, wenn Kapazität frei ist, und verlangen dafür meist weniger.
- LLM-Gateway
- Ein LLM-Gateway ist ein Proxy-Server zwischen deinen Anwendungen und Modellanbietern, der eine einzige API bereitstellt und Schlüssel, Routing, Fallbacks, Rate Limits, Protokollierung und Kostenerfassung an einer Stelle übernimmt.
- Modell-Fallback
- Ein Modell-Fallback ist eine Regel, die eine Anfrage an ein Ersatzmodell oder einen Ersatzanbieter schickt, wenn die erste Wahl scheitert, in ein Timeout läuft, ein Rate Limit erreicht oder die Eingabe ablehnt. So bleibt eine KI-Funktion auch bei Ausfällen nutzbar.
- API-Schlüssel
- Ein API-Schlüssel (API Key) ist eine geheime Zeichenkette, die eine Anwendung mit jeder Anfrage mitschickt, damit ein Dienst erkennt, welches Konto anfragt, dessen Limits anwendet und es abrechnet. Wer den Schlüssel besitzt, kann ihn in der Regel nutzen.