LLM ゲートウェイ
LLM ゲートウェイ(LLM gateway)とは、アプリケーションとモデルの提供元の間に置くプロキシサーバーです。1 つの API を公開し、キー、ルーティング、フォールバック、レート制限、ログ、支出の追跡を 1 か所で扱います。
別名: AI gateway
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
チームが複数のモデル提供元を呼び出すようになると、API キー、再試行、コストの追跡、チームごとの上限といった同じ基盤が、サービスごとに作り直されることになります。ゲートウェイはその作業を 1 つの共有の層に移します。アプリケーションはすべてのリクエストをゲートウェイに送り、ゲートウェイが適切な提供元に転送します。
ゲートウェイが通常行うこと
ほとんどのゲートウェイは OpenAI 互換 API を提供しているので、既存のクライアントのコードはベース URL を変えるだけで多くの提供元で動きます。そのエンドポイントの裏で、ユーザーやチームごとに仮想キーを発行し、予算とレート制限を適用し、呼び出しごとのコストを記録し、提供元に障害があれば再試行したり切り替えたりし、ログとトレースをオブザーバビリティのツールに送ります。LLM ルーティング、キャッシュ、安全確認を行うものもあります。
オープンソースの例には LiteLLM、Portkey Gateway、Bifrost があります。OpenRouter などのホスト型サービスは、同様の単一のエンドポイントを有料サービスとして提供しています。
ゲートウェイとルーターの違い
ルーターが答えるのは、このリクエストをどのモデルが受けるべきかという 1 つの問いです。ゲートウェイはより広い制御点で、キー、上限、ログと並んでルーターを含むことがあります。
限界
ゲートウェイは、リクエストの経路に加わる新しいインフラです。1 段分のレイテンシーが加わり、冗長構成で運用しなければ単一障害点になり、すべての提供元のキーを保持するので、ほかの機密情報の保管場所と同じように注意深く扱う必要があります。
関連用語
- LLM routing(LLMルーティング)
- LLM routing(LLMルーティング)とは、各リクエストをそれに最も適した言語モデルに送る手法です。簡単なプロンプトには安価なモデル、難しいプロンプトには強力なモデルを使うことが多く、コスト、速度、品質のバランスを取ります。
- OpenAI互換API
- OpenAI互換API(OpenAI-compatible API)とは、ほかのプロバイダーやツールが提供するエンドポイントのうち、OpenAIのAPIと同じリクエストとレスポンスの形式を受け付けるものです。OpenAI向けに書いたコードは、ベースURL、キー、モデル名を変えるだけで切り替えられます。
- モデルフォールバック
- モデルフォールバック(model fallback)とは、第一候補のモデルが失敗した、タイムアウトした、レート制限に達した、入力を拒否したといった場合に、リクエストを予備のモデルや提供元に送るルールです。障害が起きても AI 機能を動かし続けられます。
- レート制限(API)
- レート制限(rate limit)とは、アカウントが一定時間内にAPIをどれだけ使えるかの上限で、通常は1分あたりのリクエスト数(RPM)と1分あたりのトークン数(TPM)で示されます。上限を超えたリクエストは拒否され、通常はHTTP 429エラーが返ります。
- LLM observability(LLMオブザーバビリティ)
- LLM observability(LLMオブザーバビリティ、可観測性)とは、本番環境でAIアプリケーションが行うこと、つ まりプロンプト、応答、ツール呼び出し、レイテンシ、トークン使用量、コストを、検索できるトレースとして記録することです。これにより障害をデバッグし、システムの挙動を長期的に把握できます。
- API キー
- API キー(API key)とは、アプリケーションがリクエストごとに送る秘密の文字列です。サービスはこれで呼び出し元のアカウントを判別し、上限を適用し、料金を請求します。キーを持っている人は、通常誰でもそれを使えます。