サーバーレスGPU
サーバーレスGPU(serverless GPU)とは、コードやモデルをデプロイすると、リクエストが届いたときだけプラットフォームがGPUワーカーを起動するクラウドの方式です。動いた時間だけ課金され、アイドル時にはゼロまで縮小します。
別名: serverless inference
執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法
GPUサーバーを借りると、使っていてもいなくても時間単位で支払い、マシンの管理も自分で行います。RunpodのServerless製品、Modal、Replicate、BasetenなどのサーバーレスGPUプラットフォームは、マシンの面倒を見てくれます。モデルとハンドラーをパッケージ化すると、プラットフォームはトラフィックが届いたときにGPU上でコンテナを動かし、負荷がかかれば増やし、トラフィックが止まれば取り除きます。たとえばRunpodのドキュメントは、ワーカーが動いている間だけ支払い、短いアイドルのタイムアウトの後にワーカーはゼロまで縮小すると説明しています。
向いている場面
急増するトラフィックや少ないトラフィックに向いています。社内ツール、毎晩動くバッチジョブ、1時間に数回使われる画像モデル、プロトタイプなどです。アイドル状態のGPUに支払わずに済み、独自のモデルサービングクラスターを運用する必要もありません。
コー ルドスタート
主なコストはコールドスタートです。動いているワーカーがないとき、プラットフォームは応答する前にコンテナを起動し、モデルをGPUメモリに読み込む必要があります。大きなモデルほど読み込みに時間がかかるため、しばらく静かだった後の最初のリクエストは遅くなることがあります。プラットフォームは、追加料金で最低限の数のウォームワーカーを保つ、モデルファイルをGPUの近くにキャッシュするといったオプションを用意しています。
ほかの選択肢との比較
利用量が多く安定している場合は、AI GPUクラウドの専用GPUやセルフホスティングの方が、リクエストあたりで安くなることがよくあります。人気のあるモデルだけが必要なら、トークン単位の推論プロバイダーを使えばデプロイ作業を完全に避けられます。選択肢はデプロイのガイドをご覧ください。
関連用語
- モデルサービング
- モデルサービング(model serving)とは、学習済みのモデルを、アプリケーションがネットワーク経由で呼び出すサービスとして動かすことです。重みをGPUに読み込み、リクエストをキューに入れてバッチ処理し、メモリを管理して結果を返すソフトウェアを使います。
- GPU クラウド
- GPU クラウド(GPU cloud)とは、AI の学習、ファインチューニング、推論のために GPU マシンを時間単位や秒単位で貸し出すサービスです。neocloud と呼ばれることもある専門の事業者は GPU に特化しており、大手の汎用クラウドより安いことがよくあります。
- 推論プロバイダー
- 推論プロバイダー(inference provider)とは、自社のハードウェアで AI モデルを動かし、通常はトークン単位の課金で API を通じて利用権を販売する企業です。自分で GPU を管理することなく、プロンプトを送って出力を受け取れます。
- セルフホスティング(AIモデル)
- AIモデルのセルフホスティング(self-hosting)とは、プロバイダーのAPIを呼び出す代わりに、自社のサーバー、レンタルしたGPU、ノートPCなど、自分が管理するハードウェアでモデルを動かすことです。モデルを選び、データを手元に置けますが、インフラは自分で運用します。
- GPU
- GPU(graphics processing unit)は、多数の計算を並列に実行するために作られた、小さなコアを数多く持つプロセッサーです。行列演算が速いため、AI モデルの学習と実行の標準的なハードウェアになっています。