Batch API
Batch API とは、大量のモデルへのリクエストを 1 つのジョブとして送信し、呼び出しごとに待つのではなく、後でまとめて結果を受け取れる API です。提供元は余裕があるときにジョブを実行し、通常は料金を安くしています。
別名: batch inference, batch processing, Message Batches API
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
ほとんどのモデル呼び出しは同期的です。プロンプトを送り、回答を待ちます。しかし、100 万件のサポートチケットの分類、商品説明の生成、評価スイートの実行、学習データのラベル付けなど、数秒で回答が必要ない作業もたくさんあります。Batch API はそのために作られています。
仕組み
それぞれに ID を付けたリクエストのファイルや一覧をアップロードします。提供元はジョブをキューに入れてバックグラウンドで処理し、ポーリングで確認できる状態を返します。完了したら結果をダウンロードし、自分の ID と突き合わせます。たとえば Anthropic の Message Batches API は通常の呼び出しより 50 パーセント安く、バッチの完了には最大 24 時間かかることがあるとしていますが、多くはそれより早く終わります。OpenAI などの提供元も、独自の割引と期限で同様のエンドポイントを提供しています。最新の数値は AI モデルの料金で確認してください。
なぜ安いのか
提供元は、バッチの作業を空いている時間帯に実行し、リクエストを効率よくまとめて処理できます。バッチのジョブには通常、リアルタイムの通信とは別のレート制限があるため、大きなジョブが製品の処理能力を奪うこともありません。
Batch API とサーバー内のバッチ処理の違い
「バッチ処理」は、continuous batching のように、モデルサーバーが GPU 上でリクエストをまとめる方法を指すこともあります。これは内部の高速化の技術で、リアルタイムの通信でも行われます。Batch API は製品であり、推論を、時間はかかるが割安な形で購入する方法です。
限界
レイテンシーと、ある程度の制御を手放すことになります。個々のリクエストは失敗したり期限切れになったりして再送が必要になることがあり、結果は順不同で届き、ストリーミングもできません。ユーザーが待っているものにはバッチは向きません。
関連用語
- トークン料金
- トークン料金(token pricing)とは、ほとんどのAIモデルのAPIが採用している課金方法です。送る入力トークン100万あたりの定額料金と、モデルが生成する出力トークン100万あたりの、通常はより高い別の料金があり、キャッシュされた入力やバッチジョブ には割引があります。
- レート制限(API)
- レート制限(rate limit)とは、アカウントが一定時間内にAPIをどれだけ使えるかの上限で、通常は1分あたりのリクエスト数(RPM)と1分あたりのトークン数(TPM)で示されます。上限を超えたリクエストは拒否され、通常はHTTP 429エラーが返ります。
- 推論
- 推論(inference)とは、学習済みのモデルを動かし、新しい入力から出力を生み出すことです。LLM がプロンプトへの返答を生成するのがその例です。学習とは対照的に、ユーザーがモデルを呼び出すたびに料金を払う段階です。
- LLM 評価
- LLM 評価(LLM evaluation)は evals とも呼ばれ、モデルや AI アプリケーションをテストケースのセットで動かし、定めた基準に照らしてコード、人、または別のモデルで出力を採点することで、タスクをどれだけうまくこなすかを測ることです。
- Continuous batching
- Continuous batching(連続バッチ処理)とは、バッチ全体の完了を待つのではなく、生成の各ステップの後に、実行中の GPU のバッチへ新しいリクエストを加え、終わったリクエストを取り除くモデルサービングの技術です。GPU を休ませず、スループットを上げます。