LLMルーティングとゲートウェイ

確認すべきポイント

選択肢を分けるポイントを、重要な順に並べています。

1. 01

   そもそもルーターが必要か

   1つのサービスが1つか2つのプロバイダーを呼ぶだけなら、プロバイダー自身のSDKとリトライのラッパーのほうがシンプルで、ネットワークの経由地も1つ減ります。ゲートウェイが元を取れるのは、複数のチームがプロバイダーのキーを共有する場合、経理がチームごとの支出を知りたい場合、またはプロバイダー間の自動フェイルオーバーが必要な場合です。意味に基づくリクエストごとのルーティングが元を取れるのは、易しいリクエストを安いモデルに送ることで請求額が変わるほどトラフィックが多く多様で、品質が保たれることを証明する評価がある場合だけです。

2. 02

   ホスト型のルーター、セルフホストのゲートウェイ、判定モデル

   ホスト型のルーター（OpenRouter）は、何も動かさずに数百のモデルを1つのキーと1つの請求書で使えますが、すべてのリクエストが第三者を通り、クレジットに手数料がかかります。セルフホストのゲートウェイ（LiteLLM、Bifrost、Portkey、Claude Code Router）は、トラフィックとキーを自社のネットワーク内にとどめ、予算とログ記録を加えますが、運用は自分で行います。判定モデルのルーター（vLLM Semantic Router、またはJev、pplx-decider、d3などの判定モデルを自分のコードから呼ぶもの）は、各リクエストを読んでモデルを選びます。これはゲートウェイの代わりではなく、その上に載る層です。

3. 03

   フォールバック、リトライ、プロバイダーの対応範囲

   ルーターが、レート制限やタイムアウトでリトライし、別のキーだけでなく別のプロバイダーやモデルにフォールバックできるかを確認してください。対応範囲の主張（100以上のプロバイダー、1,600以上のモデル）よりも、Azure、Bedrock、Vertexを含む自分が使う特定のプロバイダーに、その癖まで含めて対応しているかのほうが重要です。ツール呼び出し、ストリーミング、プロンプトキャッシュのヘッダー、画像の入力などです。頼る前にフェイルオーバーをテストしましょう。

4. 04

   キー、予算、支出の追跡

   チームにとっての中核機能は、チーム、ユーザー、プロジェクトごとに予算とレート制限付きの仮想キーを発行し、それに対する支出を記録することです。これらの機能のどれがオープンソース版にあり、どれが有料かを確認してください。LiteLLMのドキュメントとエンタープライズのページでは、予算がエンタープライズ限定かどうかの記述が食い違っています。ホスト型のルーターは請求を代わりに扱いますが、制御は大まかになります。

5. 05

   セキュリティの姿勢とサプライチェーン

   ゲートウェイはあなたが持つすべてのプロバイダーのキーを預かるので、その機能と同じくらい、ゲートウェイ自体のセキュリティの記録が重要です。LiteLLMのPyPIリリース1.82.7と1.82.8は、2026年3月に認証情報を盗むよう汚染されました。バージョンを厳密に固定し、検証済みのイメージからインストールし、ゲートウェイを隔離し、ローカルのルーターはlocalhostにバインドしたままにしてください。既定値も確認しましょう。Bifrostは管理APIが認証なしの状態で出荷されており、認証なしの1回のリクエストでコマンドを実行できる評価9.8の脆弱性は、2026年9月のv2.1.0でようやく修正されました。所有者も重要です。Portkeyは現在Palo Alto Networksの一部で、ロードマップはそこが決めています。

6. 06

   遅延のオーバーヘッドとキャッシュ

   ゲートウェイは小さなオーバーヘッドを宣伝しています（LiteLLMは毎秒1,000リクエストでP95が8 ms、Bifrostは毎秒5,000で11 µs、Portkeyは1 ms未満）が、これらはプロジェクト自身のベンチマークです。自分のトラフィックで測ってください。ホスト型のルーターはネットワークの経由地を1つ加え、リージョンが変わる可能性もあります。セマンティックルーターはリクエストごとに分類器の呼び出しを加え、判定モデルは数十〜数百ミリ秒と報告しています。応答のキャッシュとプロバイダーのプロンプトキャッシュのパススルーで、ルーターの費用以上を節約できることがあります。

7. 07

   ルーティングの方法、ライセンス、メンテナンス

   ルールベースのルーティング（モデルの一覧、重み、条件）は予測しやすく、監査も簡単です。セマンティックなルーティングや学習によるルーティングは理論上は安く済みますが、デバッグが難しくなります。なぜそのモデルが選ばれたかを報告するかを確認しましょう。ライセンスはさまざまです。MIT（Portkey、Claude Code Router）、商用のenterpriseフォルダ付きのMIT（LiteLLM）、Apache 2.0（vLLM Semantic Router、Bifrost。BifrostのEnterprise版は別ライセンス）です。リリースの活動も確認してください。Portkeyのゲートウェイは、2026年1月から10月の間に安定版のリリースがありませんでした。

11 個のツールを比較

当サイトの評価順です。各レビューで出典、料金、評価の詳細を確認できます。

LLMルーティングとゲートウェイのツール比較

ツール	評価	当サイトの評価	向いている用途	料金
OpenRouterツール	4.6/5	アプリで複数のモデルが必要なら、OpenRouterはまず検討すべき妥当な選択肢です。ただし、1つのモデルに落ち着いて大量の利用が安定したら、クレジットの手数料は省く価値があります。	1つの連携で多くのAIモデルを試したり、比較したり、提供したりしたい開発者や小さなチームに向いています。	モデルは提供元の定価で支払います。クレジット購入時の手数料は5.5%(Standard)または8%(Business)です。自分のキーの持ち込みは、月$25,000分の利用までは無料で、それを超えると5%です。無料モデルは1日50リクエスト、$10の購入後は1日1,000です。
Perplexity Decider (pplx-decider)モデル	4.5/5	ダウンロードでき、画像を読め、Jevの半額未満で動かせる判定モデルで、誰も学習に使えないテストでJevを大きく上回ります。	安価なAPIか自前のGPUで、テキストと画像についての強力な型付き判定を求めるチーム。	API：100万入力トークンあたりpplx-decider-v1.2が$0.02、Flashが$0.01。出力は無料で、リクエストごとの料金はありません。重みはApache 2.0で無料です。
LiteLLMリポジトリ	4.3/5	多数のプロバイダーにまたがって 1 つの API、チームごとの予算、フォールバックを必要とするチームにとって、標準的なセルフホスト型のゲートウェイです。ただしバージョンを固定し、セキュリティ上重要なインフラとして扱うことが前提です。	多くの開発者に、自社のインフラから多数のモデルプロバイダーへの管理されたアクセスを提供しなければならないプラットフォームチーム。	MIT の無料のオープンソースですが、enterprise/ フォルダーは別の商用ライセンスです。Enterprise は個別価格で、30 日間の無料トライアルキーがあります。
d3 (vLLM Semantic Router)モデル	4.0/5	強力でオープン、vLLMで簡単に提供できます。しかし公開から9日後、自らのd3-turboによって移行元のバージョンになりました。	すでにvLLMを動かしていて、自前のGPUでテキスト、画像、動画の確認に使うオープンな判定モデルを求め、このチェックポイントで検証を済ませたチームです。	Apache 2.0の無料の重みです。有料のホスト型APIはありません。無料の公開デモは現在d3-turboで動いています。
Claude Code Routerリポジトリ	4.0/5	コーディングエージェントを安いモデルで動かすための有能なローカルの交換台です。ただし、Anthropic がその結果をサポートしないこと、編集の質が落ちることを受け入れる必要があります。	Claude Code などのエージェントを、より安いモデルやローカルモデルで動かしたい開発者に向いています。	無料のオープンソース（MIT）です。ルーティング先の各モデルプロバイダーに料金を払います。
Bifrostリポジトリ	3.9/5	無料版に予算管理を備えた、高速で Apache ライセンスのゲートウェイです。ただし、2026年9月まで管理 API を開いたままにしていたセキュリティの既定値が足を引っ張っています。	大量のリクエストを扱うチームや Go を使う開発組織で、予算管理付きの Apache ライセンスのゲートウェイを求め、管理 API の防御を固める用意があるところ。	Apache 2.0 の無料オープンソースです。Enterprise は個別見積もりで 14 日間の無料試用があり、価格は公表されていません。
vLLM Semantic Routerリポジトリ	3.8/5	リクエストごとにモデルを選択するための野心的なオープンルーターであり、変化の速いプロジェクトに対応できる、すでにvLLMを運用しているチームに適しています。	主に自社のvLLM群において複数のモデルを提供し、リクエストごとにモデルを選択する価値があるほど多様なトラフィックを持つチームに適しています。	Apache 2.0に基づく無料のオープンソースです。ホスト型の有料サービスはありません。
Jevモデル	3.8/5	Jevは型付きの判断を製品にしましたが、その後オープンモデルがスコアと価格の両方で追い越しています。	自前のGPUを動かさずに、テキストの振り分け、トリアージ、yes/noの関門に使える低コストのホスト型APIを求めるチーム。	100万入力トークンあたり$0.042（10億トークンあたり$42）で、出力トークンは無料です。長いコンテキストでも同じ価格です。エンタープライズ向けの上限は営業経由です。
Portkey AI Gatewayリポジトリ	3.7/5	Palo Alto Networksに買収されて以来動きが止まっている、整然としたMITライセンスのルーターです。現時点で運用する分には問題ありませんが、ロードマップを描くのは困難です。	エッジランタイムを使用しているチームや、すでにPalo Altoのセキュリティ製品を導入しており、軽量なルーティング層を求めている企業に適しています。	MITに基づく無料およびオープンソースです。ホスティングプラン：Developerは無料（月間10,000件の記録ログ、3日間のログ保持）、Productionは月額49ドル（100,000件のログ、以降100,000件ごとに9ドル）、Enterpriseはカスタムです。
ScaleDown Constrained Decoding Models (Classify, Extract, Summarize)モデル	3.7/5	価格は本物で分類器も優秀ですが、発表時の数値は根拠を先走っており、Jev互換は見た目以上に高くつきます。	ルーティング、タグ付け、フィールド抽出にフラッグシップモデルの料金を払っており、安価なホスト型の代替を求め、まず自社のラベル付きデータで試すチーム。	テキスト入力は100万トークンあたり$0.05、画像入力は100万トークンあたり$0.15、出力は無料です。新規アカウントには1Mトークンの無料枠があります。OpenRouter：20%割引で$0.04。Enterprise：専用インスタンスまたはセルフホストのライセンスで、見積もり制です。
LLayaモデル	3.4/5	非常に速く、本当にオープンです。ただし、そのままでは難しい判定で当て推量に近く、Jevの代替ではなくファインチューニングの土台です。	独自のラベル付き判定データを持ち、高速な振り分けやガードレール向けにファインチューニングできる小さなセルフホストのモデルを求めるチーム。	重みとPythonパッケージはApache 2.0で無料。有料のホスト型APIはなく、自分で動かします。

仕様の比較

このステップで重要な仕様です。2026年10月19日に確認しました。導入前に提供元のサイトで確認してください。

一対一の比較とランキング

• LiteLLM vs Bifrost
• LiteLLM vs Portkey AI Gateway

このステージが使われる場面

• カスタマーサポートエージェント：まず Jev から始めます。
• コーディングエージェント：まず OpenRouter, LiteLLM から始めます。
• 音声エージェント：まず Laya から始めます。
• 文書処理：まず GLiNER2.5-Decide から始めます。
• ワークフロー自動化：まず Perplexity Decider (pplx-decider) から始めます。

このガイドの出典

• OpenRouter pricing
• LiteLLM repository
• LiteLLM enterprise
• Datadog Security Labs: LiteLLM PyPI compromise
• Portkey AI Gateway repository
• Palo Alto Networks completes acquisition of Portkey
• Bifrost repository
• Bifrost docs: supported providers
• The Hacker News: Critical Bifrost AI gateway flaw
• vLLM Semantic Router repository
• Claude Code Router repository