ステップ 16 / 22
推論エンジン
自分のGPUまたはプロバイダーのGPUで、モデルを高速かつ安価に動かします。 サービングが遅延と請求額を決めます。オープンモデルは効率よく提供できて初めて元が取れます。
執筆： Andrew Miller · 2026年10月19日確認 · レビューの方法
選び方
- 本番用GPU：vLLMやSGLangなどの高スループットサーバー。
- ノートPCやエッジデバイス：llama.cpp、Ollama、MLX。
- GPUを管理したくない：トークン単位で課金されるホスト型推論プロバイダー。
確認すべきポイント
選択肢を分けるポイントを、重要な順に並べています。
01
スループットか遅延か：何を買うのかを決める
スループットは全ユーザーを合わせた毎秒のトークン数で、トークンあたりの費用を決めます。遅延は1人のユーザーが感じるもので、最初のトークンまでの時間（TTFT）とそのリクエストの出力速度です。vLLMやSGLangのようなエンジンは多くのリクエストをまとめてバッチ処理し、スループットを上げますが、個々のストリームは遅くなることがあります。専用チップ（Groq、Cerebras）は、ユーザーあたりの非常に高い速度を売りにしています。チャットボットには低いTTFTが、夜間のバッチジョブにはスループットが、数十回の連続した呼び出しを行うエージェントにはその両方が必要です。
02
Artificial Analysisのプロバイダーのベンチマークの読み方
Artificial Analysisは、同じモデルを提供するすべてのプロバイダーを計測しています。出力速度は最初のトークンが届いた後の毎秒のトークン数で、TTFTは最初のトークンまでの秒数です。推論モデルではこれは最初の推論トークンを意味するので、最初の回答トークンまでの時間も確認してください。数値は過去72時間の中央値で、既定のプロンプトは約10,000入力トークン、テストはアイオワにあるGoogle Cloudの1つのリージョンから実行されるため、TTFTにはそこからのネットワーク距離が含まれます。ほとんどのテストは一度に1リクエストを送り、並列テストも1日1回10リクエストを送るだけなので、ピーク時の負荷にプロバイダーがどこまで耐えるかについては、グラフからはほとんどわかりません。
03
ハードウェアへの対応
エンジンは、所有またはレンタルしているもので快適に動かなければなりません。TensorRT-LLMはNVIDIA専用です。vLLMとSGLangはNVIDIAとAMDをカバーし、部分的にIntelとAscendにも対応しています。llama.cppはCPU、Apple Metal、CUDA、AMD、Vulkanで動き、MLXはApple silicon専用です。ホスト型のプロバイダーではこれは相手が決めます。Groqは独自のLPUチップ、Cerebrasはウェハースケールのチップ、Together AIとFireworksはNVIDIAのGPUで動かしています。
04
量子化の形式
量子化は重みをより少ないビット数で保存するので、 モデルはより少ないGPUに収まり、速く動きます。通常は品質がわずかに下がります。形式はハードウェアに結びついています。FP8にはAdaかHopper以降のGPUが、NVFP4とMXFP4をネイティブの速度で使うにはBlackwellが必要で、GGUFはllama.cpp、Ollama、そしてノートPCでのほとんどの利用で使う形式です。ダウンロードする予定のチェックポイントそのものにエンジンが対応しているかを確認し、量子化の後は自分のタスクで品質をベンチマークしてください。ホスト型のプロバイダーが提供している精度を公表することはまれで、同じモデルでも2つのプロバイダーで回答が異なりうる理由の1つです。
05
OpenAI互換のAPIとその穴
ここで紹介するほぼすべての選択肢がOpenAIのchat completionsの形式に対応しているので、切り替えはほとんどの場合、ベースURLとモデル名の変更で済みます。穴は細部にあります。Groqはlogprobsとlogit_biasを受け付けず、Cerebrasはnを1に制限し、gpt-oss-120bではツールとレスポンススキーマを組み合わせられず、Togetherは名前空間付きのモデルIDを使います。ストリーミングとツール呼び出しを含め、自分のコードが送るパラメータそのものをテストしてください。
06
構造化出力とツール呼び出し
エージェントや抽出のジョブには、毎回スキーマに一致するJSONが必要です。エンジンは生成できるトークンを制約することでこれを強制します。SGLangは構造化生成を中核機能にしており、TogetherはOpenAI互換のAPIでresponse_formatに対応しています。使うモデルで、スキーマの強制がツール呼び出しやストリーミングと一緒に動くかを確認してください。対応はプロバイダーごとだけでなく、モデルごとに異なるからです。
07
1つのベースモデルに多数のファインチューニング版
複数のLoRAのファインチューニング版を提供するなら、エンジンやプロバイダーが1つのベースモデルのコピーに多くのアダプターを読み込み、リクエストごとに正しいものを選べるかを確認してください。それができなければ、ファインチューニング版ごとに専用のGPUが必要になります。たとえばFireworksは、ファインチューニングしたモデルをベースモデルと同じ価格で提供しています。
08
ライセンスと価格の基準
セルフホストのエンジンは無料のソフトウェアで、ほとんどがApache 2.0かMITです。支払うのはGPUと運用する人員の費用です。ホスト型のプロバイダーは100万トークン単位で、入力と出力を別々の価格で課金し、ほとんどがバッチ割引、キャッシュされた入力の割引、時間単位の専用GPUを加えています。安定して大量なら、レンタルGPUでのセルフホストが通常は有利で、急増する量や少ない量ならトークン単位の課金が有利です。
選択肢の違い
セルフホストのエンジンは、自分の、またはレンタルしたハードウェアで動かすソフトウェアです。サーバー向けのエンジン（vLLM、SGLang、TensorRT-LLM）は、データセンターのGPUと多数の同時ユーザー向けに作られています。vLLMは幅広い既定の選択肢、SGLangはリクエストが長いプレフィックスを共有する場合に優れ、TensorRT-LLMは複雑さと引き換えにNVIDIAのハードウェアから最大限を引き出します。ローカル向けのエンジン（llama.cpp、Ollama、MLX、colibri）は、ノートPC、ワークステーション、エッジデバイス上の1人のユーザー向けです。llama.cppは移植性の高い中核で、Ollamaはそれを1つのコマンドで使えるよう包み、MLXはApple siliconを対象とし、colibriはエキスパートをディスクからストリーミングして、非常に大きな混合エキスパートモデルを控えめなマシンで、ゆっくりと動かします。
ホスト型の推論プロバイダー（Groq、Cerebras、Together AI、Fireworks AI）は、モデルを代わりに動かし、トークン単位で課金します。GroqとCerebrasは独自のチップを作り、限られたモデルで純粋な速度をリードしています。Together AIとFireworksはNVIDIAのGPUで、幅広いカタログ、ファインチューニング、専用のエンドポイントを提供しています。ハードウェア、量子化、データの所在の制御と引き換えに、運用の手間がなくなります。
13 個のツールを比較
当サイトの評価順です。各レビューで出典、料金、評価の詳細を確認できます。
| ツール | 評価 | 当サイトの評価 | 向いている用途 | 料金 |
|---|---|---|---|---|
| llama.cppリポジトリ | 4.8/5 | オープンモデルがノートPC上で動作する場合、それはほぼ確実にllama.cppを介して動作しており、これほど広範なハードウェアを網羅するものは他にありません。 | オープンモデルをローカル、エッジデバイス、または控えめな構成のサーバー上で直接制御して実行したい開発者に最適です。 | MITライセンスに基づく無料でオープンソースのソフトウェアです。有料版はありません。 |
| vLLMリポジトリ | 4.7/5 | チーム内にアップグレードとネットワーク公開の管理を担当する担当者がいれば、オープンモデルをマルチユーザー向けAPIの背後に配置するためのエンジンの有力な選択肢であり続けています。 | GPUサーバー上で多数の同時実行ユーザーにオープンモデルを提供するチームに適しています。 | Apache 2.0ライセンスに基づく無料でオープンソースのソフトウェアです。実行するGPUの費用のみが発生します。 |
| Ollamaリポジトリ | 4.6/5 | 1コマンドでロー カルモデルが動きます。ただし初期設定（4,096トークンのコンテキスト、一度に1リクエスト、ログインなし）はノートPC向けで、それ以上の用途には合いません。 | 最小限のセットアップでオープンモデルをローカルで動かしたい開発者や個人。 | オープンソース（MIT）で、ローカル実行は無料です。任意のOllama Cloud：Freeは初回クレジット付き、Proは月20ドル（60ドル分のクレジット）、Maxは月100ドル（300ドル分のクレジット）、Teamは月500ドル（共有クレジット1,000ドル分、ユーザー数無制限）、Enterpriseは個別見積もりです。 |
| Together AIツール | 4.5/5 | Togetherは$15のAPIチャージから予約制のH100クラスタまで、あらゆる段階のオープンモデルを1つの請求で動かせます。専用ハードウェアは専業ホストより安価です。 | オープンモデルで開発し、API呼び出しからファインチューニング、自前のGPUへと1つのプロバイダで移行したいチームに向いています。 | 前払い制で 、最初の購入は最低$15、無料トライアルはありません。100万トークンあたり、たとえばgpt-oss-120Bは入力$0.15／出力$0.60、Kimi K3は$3／$15です。バッチは最大50%引きです。専用エンドポイント：H100 1時間$5.49、B200 1時間$8.99。GPUクラスタ：H100 オンデマンド1時間$3.99、プリエンプティブル$1.99。ファインチューニングは100万トークンあたり$0.34からです。 |
| SGLangリポジトリ | 4.4/5 | SGLang は同じ長いプロンプトを何度も送り直すエージェントや RL のワークロード向けに作られており、厳重に閉じたネットワークの内側に置くべきものです。 | エージェントや複数ターンのチャットなど、プロンプトの再利用が多いオープンモデルをサービングするチームに向いています。 | Apache 2.0 ライセンスのもとで無料のオープンソースです。 |
| MLXリポジトリ | 4.4/5 | MLX はメモリの多い Mac を、ローカルの推論と LoRA のチューニングに使える信頼できるマシンに変えます。Apple silicon 以外では移植版にすぎず、乗り換える理由にはなりません。 | Apple silicon でネイティブの速度と Python での制御を求める、Mac で作業する開発者と研究者。 | MIT ライセンスのもとで無料のオープンソースです。 |
| Fireworks AIツール | 4.4/5 | Fireworksはオープンモデルを本番で動かす安全な置き場所です。デフォルトで何も保持せず、ファインチューニングしたモデルを基本価格で提供します。高くつくのは専用GPUだけです。 | オープンモデルを本番で動かし、ファインチューニングと予測しやすいトークン単価を求めるチーム。 | 前払いクレジットです。100万トークンあたり、たとえばGPT OSS 120Bは入力$0.15、出力$0.60、Kimi K3は$3と$15です。バッチは50%引きです。専用のH100/H200は1時間$8、B200は1時間$13です。ファインチューニングは学習100万トークンあたり$0.50からです。 |
| audio.cppリポジトリ | 4.3/5 | audio.cpp は、llama.cpp がチャットモデルに対して果たした役割をローカルの音声に対して果たしつつあり、4 か月の時点ですでに 110 を超えるモデルファミリーを動かしています。 | 複数の音声・オーディオモデルをセルフホストし、モデルごとの Python 環境ではなく一つのネイティブランタイムと HTTP API を使いたいエンジニア。 | Apache 2.0 で無料です。有料版はありません。モデルの重みはそれぞれのライセンスを維持し、その多くは非商用です。 |
| colibriリポジトリ | 4.2/5 | ディスクからストリーミングする C のエンジンで、744B パラメーターのオープンモデルをデスクトップで、ゆっくりと動かします。Jev の判定 API の誠実なローカルの代替も付いています。 | 最先端規模のオープンの MoE モデルを自分のマシンで動かしたい、あるいは Jev 形式の判定を試作したい愛好家や開発者に向いています。 | 無料のオープンソース（Apache 2.0）です。各モデルはそれぞれのライセンスに従います。 |
| TensorRT-LLMリポジトリ | 4.0/5 | TensorRT-LLMは、新しいNVIDIAシリコンが最初に本格的な最適化を受ける場ですが、その代償として長いCVEリストと、季節単位で数えるほど間隔の空く安定版リリース周期があります。 | GPUあたりの最大スループットを求める、大規模なNVIDIA GPUフリートを運用するチームに適しています。 | Apache 2.0ライセンスに基づく無料のオープンソースです（同梱されている一部のコンポーネントには独自のライセンスが適用されます）。 |
| Groqツール | 4.0/5 | Groqは今も、最速クラスのトークンを格安で売っています。ただし、運営する会社は変わり、モデルの一覧もそれに合わせて縮小しました。 | モデルの選択肢より応答の速さが重要な、音声、リアルタイム、エージェントの機能を作る開発者。 | レート制限付きの無料プラン（gpt-oss-120bで毎分30リクエスト、1日1,000リクエスト）があります。従量課金のDeveloperプランでは、100万トークンあたりgpt-oss-120bが入力$0.15／出力$0.60、gpt-oss-20bが$0.075／$0.30、qwen3.8-27bが$0.80／$4.00で、Whisper large-v3-turboは音声1時間あたり$0.04です。Llamaと一部の新しいモデルは営業経由です。 |
| Cerebrasツール | 4.0/5 | Cerebrasは速さをトークン単位で売っています。gpt-ossの入力価格はGroqの2倍以上なので、元が取れるのはレイテンシーそのものが製品である場合だけです。 | gpt-ossやQwenのモデルで十分な、レイテンシーに敏感なエージェントやコーディングツールを作る開発者。 | 1回限りの$5のトライアルクレジット（30日間）、その後は従量課金。gpt-oss-120bは100万トークンあたり入力$0.35・出力$0.75、Qwen 3.8 27Bは$0.99・$1.49。Dedicated Inferenceは契約による。Cerebras Codeのサブスクリプション（月$50と$200）は売り切れと表示されています。 |
| DeepInferリポジトリ | 3.6/5 | 本番の LLM サービスの内側をのぞける貴重な機会ですが、現時点では 2 つのチップファミリー上で 1 つのモデルを動かすリファレンスエンジンであり、API の裏に置くものではありません。 | DeepSeek-V4.1-Flash をクラスター規模で動かし、DeepSeek のカーネルと設定をリファレンスとして使いたい推論エンジニア。 | Apache 2.0 ライセンスの無料オープンソースです。費用は Blackwell GPU または Ascend NPU の代金です。 |
仕様の比較
このステップで重要な仕様です。2026年10月19日に確認しました。導入前に提供元のサイトで確認してください。
| ツール | 種類 | ハードウェア | 量子化の形式 | OpenAI互換のAPI | ライセンス・価格の基準 |
|---|---|---|---|---|---|
| llama.cpp | エンジン（ローカル） | CPU, Metal, CUDA, AMD, Vulkan | GGUF | あり（llama-server） | MIT |
| vLLM | エンジン（サーバー） | NVIDIA, AMD, Intel GPU, CPU | FP8, AWQ, GPTQ, GGUF, bitsandbytes | あり | Apache 2.0 |
| Ollama | エンジン（ローカル） | macOS, Windows, Linux | GGUF | あり | MIT。オプションの有料クラウド |
| Together AI | ホスト型のプロバイダー | NVIDIAのGPU（H100、B200） | 非公開 | あり | トークン単位またはGPU時間単位 |
| SGLang | エンジン（サーバー） | NVIDIA, AMD, Ascend, Intel CPU | FP8, MXFP4, NVFP4, AWQ, GPTQ, GGUF | あり | Apache 2.0 |
| MLX | フレームワーク（ローカル） | Apple siliconのみ | MLXの量子化（4ビットなど） | 非公開 | MIT |
| Fireworks AI | ホスト型のプロバイダー | NVIDIA H100, H200, B200 | 非公開 | あり | トークン単位またはGPU時間単位 |
| colibri | エンジン（ローカル、MoE） | CPU。CUDAまたはVulkanはオプション | 非公開 | あり、Anthropic APIも | Apache 2.0 |
| TensorRT-LLM | エンジン（サーバー） | NVIDIAのみ | FP8, NVFP4, MXFP4, AWQ, GPTQ | あり（trtllm-serve） | Apache 2.0 |
| Groq | ホスト型のプロバイダー | Groq LPU | 非公開 | ほぼ対応（logprobsなし） | トークン単位 |
| Cerebras | ホスト型のプロバイダー | Cerebrasのウェハースケールのチップ | 非公開 | あり、制限付き | トークン単位 |
| DeepInfer | エンジン（オフライン、DeepSeek-V4.1-Flash専用） | NVIDIA SM100 (Blackwell), Huawei Ascend 950 | MXFP4のエキスパートの重み、FP4のKVキャッシュ | なし（オフラインAPIのみ） | Apache 2.0 |
このステージが使われる場面
- 文書とのチャット：まず Together AI から始めます。
- 音 声エージェント：まず Groq から始めます。
- プライベートなオンデバイスAI：まず Ollama, llama.cpp, MLX から始めます。
- 自社専用のファインチューニング済みモデル：まず vLLM から始めます。
このガイドの出典
- Artificial Analysis: performance benchmarking methodology
- vLLM docs: quantisation support
- SGLang docs: quantisation
- TensorRT-LLM docs: quantisation
- TensorRT-LLM docs: trtllm-serve
- Groq docs: OpenAI compatibility
- Cerebras docs: OpenAI compatibility
- Together AI docs: OpenAI API compatibility
- Fireworks AI docs: OpenAI compatibility
- DeepInfer on GitHub