本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

Continuous batching

Continuous batching(連続バッチ処理)とは、バッチ全体の完了を待つのではなく、生成の各ステップの後に、実行中の GPU のバッチへ新しいリクエストを加え、終わったリクエストを取り除くモデルサービングの技術です。GPU を休ませず、スループットを上げます。

別名: iteration-level scheduling, in-flight batching, dynamic batching

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

GPU は多くのリクエストを一度に処理するときに最も効率がよくなります。その単純な方法である静的バッチ処理は、リクエストのグループを集めてまとめて実行し、すべて終わったら返します。言語モデルでは、これは大きな無駄を生みます。あるリクエストは 1 行の回答で済み、別のリクエストは長い文章を必要とするかもしれません。そのため、短いリクエストは終わっているのに返されないまま待たされ、新たに届いたリクエストはバッチが空くのを待つことになります。

仕組み

生成は 1 ステップに 1 トークンずつ進みます。Orca の論文(OSDI 2022)は、リクエスト全体ではなく、このステップの単位でスケジューリングすることを提案しました。各ステップの後、サーバーは終わったリクエストを返し、空いた枠に待っているリクエストを入れます。バッチは常に実行中の作業で埋まっています。

この技術は今では標準です。vLLM は、届いたリクエストの continuous batching を中核機能の 1 つに挙げており、SGLang、TensorRT-LLM(in-flight batching と呼んでいます)、Hugging Face TGI も同じことを行っています。

なぜ重要か

モデルを自前でホストする人にとって、現代のモデルサーバーが `generate()` を素朴にループするよりも GPU 1 台あたりはるかに多くのユーザーを扱える理由の大部分は、continuous batching にあります。毎ステップでリクエストを追加したり削除したりするには柔軟な KV キャッシュのメモリが必要なので、PagedAttention と組み合わせると最もよく機能します。

Batch API とは別物

Batch API は、提供元から推論を割安かつオフラインで購入する方法です。continuous batching はサーバー内部のスケジューリングの方法で、リアルタイムの通信に使われます。

トレードオフ

同時に処理するリクエストが増えるほど GPU を分け合うことになり、各リクエストの生成は少し遅くなります。サーバーには最大バッチサイズやステップあたりのトークン数の設定があり、スループットと最初のトークンまでの時間のバランスを取れます。

関連用語

モデルサービング
モデルサービング(model serving)とは、学習済みのモデルを、アプリケーションがネットワーク経由で呼び出すサービスとして動かすことです。重みをGPUに読み込み、リクエストをキューに入れてバッチ処理し、メモリを管理して結果を返すソフトウェアを使います。
PagedAttention
PagedAttentionとは、言語モデルのKV cacheを、OSのページのように、GPUメモリ上で隣り合っている必要のない小さな固定サイズのブロックに格納する手法です。無駄なメモリを減らし、サーバーが同時に処理できるリクエストを増やします。
KV キャッシュ
KV キャッシュ(KV cache)とは、transformer が前のトークンについてすでに計算したアテンションのキーとバリューを保存しておくものです。新しいトークンごとに必要な計算はそのトークン自身の分だけになります。生成を速くしますが、コンテキストの長さに応じて増える GPU メモリを消費します。
Batch API
Batch API とは、大量のモデルへのリクエストを 1 つのジョブとして送信し、呼び出しごとに待つのではなく、後でまとめて結果を受け取れる API です。提供元は余裕があるときにジョブを実行し、通常は料金を安くしています。
1秒あたりのトークン数
1秒あたりのトークン数(tokens per second、tok/s)とは、言語モデルが出力を生成する速さを測る指標です。1つの応答がストリーミングされる速さであるユーザーごとの値か、同時に処理するすべてのリクエストの合計出力であるシステム全体の値で示されます。

出典