モデルサービング
モデルサービング(model serving)とは、学習済みのモデルを、アプリケーションがネットワーク経由で呼び出すサービスとして動かすことです。重みをGPUに読み込み、リクエストをキューに入れてバッチ処理し、メモリを管理して結果を返すソフトウェアを使います。
別名: inference server, serving engine
執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法
ノートブックで`generate()`を呼ぶ方法は、ユーザーが1人なら機能します。製品には、多数のユーザーが同時にアクセスしても、メモリ不足にならず、全員を待たせることもないサーバーが必要です。そのソフトウェアがサービングエンジンで、推論サーバーとも呼ばれます。LLM向けの代表的なオープンソースの例は、vLLM、SGLang、llama.cppのサーバーです。
サービングエンジンの役割
モデルの重みをVRAMに読み込みます。多くの場合、テンソル並列で複数のGPUに分割します。リクエストは通常OpenAI互換APIで受け付け、トークンをストリーミングで返します。主な仕事はスループットです。PagedAttentionの論文は、高スループットのサービングには多数のリクエストを同時にバッチ処理する必要があると指摘しています。エンジンはcontinuous batchingを使って新しいリクエストを実行中のバッチに加え、KV cacheを注意深く管理します。キャッシュのメモリが無駄になると、収容できるリクエスト数が制限されるからです。
セルフホストかマネージドか
サービングエンジンは、自分のマシンやレンタルしたGPUで動かす(セルフホスティング)ことも、サーバーレスGPUプラットフォームで動かすこともできます。あるいはエンジンを使わず、推論プロバイダーにトークン単位で支払う方法もあります。セルフホスティングでは、大量に使う場合のモデル、データ、コストを管理できますが、キャパシティ計画、アップグレード、監視を自分で担うことになります。推論サービングのガイドで選択肢を比較しています。
測定すべきもの
time to first token、ユーザーごととシステム全体の1秒あたりのトークン数、エラー率、GPUメモリの使用量を追跡してください。ある指標に合わせた調整、たとえばスループットのためにバッチを大きくすることは、ユーザーごとのレイテンシのような別の指標を悪化させることがよくあります。
関連用語
- 推論
- 推論(inference)とは、学習済みのモデルを動かし、新しい入力から出力を生み出すことです。LLM がプロンプトへの返答を生成するのがその例です。学習とは対照的に、ユーザーがモデルを呼び出すたびに料金を払う段階です。
- KV キャッシュ
- KV キャッシュ(KV cache)とは、transformer が前のトークンについてすでに計算したアテンションのキーとバリューを保存しておくものです。新しいトークンごとに必要な計算はそのトークン自身の分だけになります。生成を速くしますが、コンテキストの長さに応じて増える GPU メモリを消費します。
- Continuous batching
- Continuous batching(連続バッチ処理)とは、バッチ全体の完了を待つのではなく、生成の各ステップの後に、実行中の GPU のバッチへ新しいリクエストを加え、終わったリクエストを取り除くモデルサービングの技術です。GPU を休ませず、スループットを上げます。
- セルフホスティング(AIモデル)
- AIモデルのセルフホスティング(self-hosting)とは、プロバイダーのAPIを呼び出す代わりに、自社のサーバー、レンタルしたGPU、ノートPCなど、自分が管理するハードウェアでモデルを動かすことです。モデルを選び、データを手元に置けますが、インフラは自分で運用します。
- 推論プロバイダー
- 推論プロバイダー(inference provider)とは、自社のハードウェアで AI モデルを動かし、通常はトークン単位の課金で API を通じて利用権を販売する企業です。自分で GPU を管理することなく、プロンプトを送って出力を受け取れます。
- OpenAI互換API
- OpenAI互換API(OpenAI-compatible API)とは、ほかのプロバイダーやツールが提供するエンドポイント のうち、OpenAIのAPIと同じリクエストとレスポンスの形式を受け付けるものです。OpenAI向けに書いたコードは、ベースURL、キー、モデル名を変えるだけで切り替えられます。