推論プロバイダー
推論プロバイダー(inference provider)とは、自社のハードウェアで AI モデルを動かし、通常はトークン単位の課金で API を通じて利用権を販売する企業です。自分で GPU を管理することなく、プロンプトを送って出力を受け取れます。
別名: model host, inference API, model API provider
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
モデルを動かすには、GPU、モデルサーバー、スケーリング、監視が必要です。推論プロバイダーはそのすべてを引き受け、モデルを API として公開します。大手の開発企業のように自社のモデルだけを提供するところもあります。Together AI、Fireworks AI、Groq、Baseten、Replicate などは多くのオープンウェイトのモデルをホストしているので、同じモデルを複数の会社から利用できます。
どこが違うか
同じモデルを提供していても、価格、速度、コンテキストウィンドウ、レート制限、量子化は事業者によって大きく異なることがあります。コストを抑えるために精度を下げた版を動かしているところもあるからです。多くは OpenAI 互換 API を公開しているので、切り替えはベース URL とキーの変更で済むことがよくあります。最新のトークン単価は AI モデルの料金のページで比較してください。
アグリゲーター
ルーターは多くの事業者の前に位置します。たとえば Hugging Face の Inference Providers は、1 つのトークンと OpenAI 互換のエンドポイントで、提携する事業者のモデルを利用でき、モデルごとに最速または最安の事業者を選べます。OpenRouter も同じように動きます。これらを使うと、事業者間のモデルフォールバックが簡単になります。
推論プロバイダーと GPU クラウドの違い
GPU クラウドはマシンを貸し出し、モデルは自分で動かします。推論プロバイダーはモデルの出力を貸し出します。前者は制御の自由度が高く、後者は手間が少なくて済みます。
確認すべき点
リクエストがどこで処理されるか、保存されたり学習に使われたりするかどうかは、プライバシーとデータレジデンシーにとって重要です。各事業者のデータに関する規約を読み、ゼロデータリテンションを提供しているかを確認してください。
関連用語
- モデルサービング
- モデルサービング(model serving)とは、学習済みのモデルを、アプリケーションがネットワーク経由で呼び出すサービスとして動かすことです。重みをGPUに読み込み、リクエストをキューに入れてバッチ処理し、メモリを管理して結果を返すソフトウェアを使います。
- OpenAI互換API
- OpenAI互換API(OpenAI-compatible API)とは、ほかのプロバイダーやツールが提供するエンドポイントのうち、OpenAIのAPIと同じリクエストとレスポンスの形式を受け付けるものです。OpenAI向けに書いたコードは、ベースURL、キー、モデル名を変えるだけで切り替えられます。
- トークン料金
- トークン料金(token pricing)とは、ほとんどのAIモデルのAPIが採用している課金方法です。送る入力トークン100万あたりの定額料金と、モデルが生成する出力トークン100万あたりの、通常はより高い別の料金があり、キャッシュされた入力やバッチジョブには割引があります。
- GPU クラウド
- GPU クラウド(GPU cloud)とは、AI の学習、ファインチューニング、推論のために GPU マシンを時間単位や秒単位で貸し出すサービスです。neocloud と呼ばれることもある専門の事業者は GPU に特化しており、大手の汎用クラウドより安いことがよくあります。
- モデルフォールバック
- モデルフォールバック(model fallback)とは、第一候補のモデルが失敗した、タイムアウトした、レート制限に達した、入力を拒否したといった場合に、リクエストを予備のモデルや提供元に送るルールです。障害が起きても AI 機能を動かし続けられます。