レート制限(API)
レート制限(rate limit)とは、アカウントが一定時間内にAPIをどれだけ使えるかの上限で、通常は1分あたりのリクエスト数(RPM)と1分あたりのトークン数(TPM)で示されます。上限を超えたリクエストは拒否され、通常はHTTP 429エラーが返ります。
別名: rate limiting, RPM, TPM
執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法
AIプロバイダーは、容量を公平に分け合い、悪用を防ぐために利用を制限しています。上限は通常、組織またはプロジェクトごと、モデルごとに設定され、アカウントの利用実績が積み上がるにつれて引き上げられます。たとえばAnthropicのドキュメントでは、Messages APIの上限を1分あたりのリクエスト数、1分あたりの入力トークン数、1分あたりの出力トークン数で測り、どの上限を超えたかを示す429エラーを返すとしています。
上限の挙動
1分あたりの上限は、より短い間隔で適用されることが多いため、1分間の合計では問題がなくても、短時間に集中すると失敗することがあります。AnthropicはAPIがトークンバケットを使っていると説明しており、容量は決まった時刻にリセットされるのではなく、継続的に補充されます。キャッシュされていない入力だけを数える上限もあり、その場合はプロンプトキャッシュが、同じ上限の中でより多くの作業をこなす方法になります。別途設定された支出上限によって、月の予算に達した時点でリクエストが止められることもあります。
429エラーへの対処
`retry-after`ヘッダーがあれば読み、その時間だけ待ちます。なければ、ランダムなジッターを加えた指数バックオフで再試行し、失敗するジョブが永遠にループし ないよう再試行の回数に上限を設けてください。レスポンスヘッダーは通常、各上限の残量を示すため、クライアントは上限に達する前に速度を落とせます。大規模なオフラインのジョブでは、batch APIに独自の、より高い上限があることがよくあります。
上限を踏まえた計画
トラフィックを時間的に分散し、プロンプトを簡潔に保ち、1つのサービスがほかのサービスの枠を食いつぶさないよう、ワークスペースごとに独自の上限を設定してください。LLMゲートウェイは、リクエストをキューに入れ、あるプロバイダーが制限に達したときにフォールバックモデルや2つ目のプロバイダーに振り分けられます。レート制限はトークン料金とは別のものです。
関連用語
- トークン料金
- トークン料金(token pricing)とは、ほとんどのAIモデルのAPIが採用している課金方法です。送る入力トークン100万あたりの定額料金と、モデルが生成する出力トークン100万あたりの、通常はより高い別の料金があり、キャッシュされた入力やバッチジョブには割引があります。
- Batch API
- Batch API とは、大量のモデルへのリクエストを 1 つのジョブとして送信し、呼び出しごとに待つのではなく、後でまとめて結果を受け取れる API です。提供元は余裕があるときにジョブを実行し、通常は料金を安くしています。
- LLM ゲートウェイ
- LLM ゲートウェイ(LLM gateway)とは、アプリケーションとモデルの提供元の間に置くプロキシサーバーです。1 つの API を公開し、キー、ルーティング、フォールバック、レート制限、ログ、支出の追跡を 1 か所で扱います。
- モデルフォールバック
- モデルフォールバック(model fallback)とは、第一候補のモデルが失敗した、タイムアウトした、レート制限に達した、入力を拒否したといった場合に、リクエストを予備のモデルや提供元に送るルールです。障害が起きても AI 機能を動かし続けられます。
- API キー
- API キー(API key)とは、アプリケーションがリクエストごとに送る秘密の文字列です。サービスはこれで呼び出し元のアカウントを判別し、上限を適用し、料金を請求します。キーを持っている人は、通常誰でもそれを使えます。