モデルフォールバック
モデルフォールバック(model fallback)とは、第一候補のモデルが失敗した、タイムアウトした、レート制限に達した、入力を拒否したといった場合に、リクエストを予備のモデルや提供元に送るルールです。障害が起きても AI 機能を動かし続けられます。
別名: failover, fallback model, provider failover
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
ホスト型のモデルは、ほとんどのウェブ API よりも頻繁に失敗します。提供元には障害があり、混雑時にはレート制限や過負荷のエラーを返し、長すぎるリクエストやコンテンツフィルターに引っかかるリクエストを拒否します。フォールバックの連鎖があれば、こうしたエラーは機能の停止ではなく、少し遅い、あるいは少し違う回答になります。
仕組み
モデルを優先順に並べます。たとえば、メインのモデル、次に 2 つ目の推論プロバイダーが提供する同じモデル、次に別の会社の安いモデルです。クライアントか LLM ゲートウェイが最初のモデルを試し、決めた回数だけ再試行しても失敗すれば、リクエストは一覧の次へ移ります。LiteLLM、Portkey、OpenRouter などのツールがこれに対応しています。LiteLLM では、コンテキストウィンドウを超えるプロンプト用、コンテンツポリシーによる拒否用など、エラーの種類ごとに別の連鎖を設定することもでき、失敗し ているデプロイメントをクールダウン状態にして通信が届かないようにします。
フォールバックとルーティングの違い
LLM ルーティングは、難しさや価格などに基づいて、リクエストごとに事前にモデルを選びます。フォールバックが動くのは、何か問題が起きた後だけです。多くのゲートウェイは両方を行います。
注意すべき点
予備のモデルは、出力の形式が違ったり、対応するツールが違ったり、コンテキストウィンドウが小さかったりすることがあります。連鎖のすべてのモデルを、自分のプロンプトと構造化出力のスキーマでテストしてください。各リクエストにどのモデルが答えたかを記録してください。そうしないと、気づかないうちに起きたフォールバックによる品質の変化を追跡しにくくなります。エージェントのツール呼び出しなど副作用のあるリクエストは、繰り返しても安全なようにしてからでなければ再試行しないでください。
関連用語
- LLM ゲートウェイ
- LLM ゲートウェイ(LLM gateway)とは、アプリケーションとモデルの提供元の間に置くプロキシサーバーです。1 つの API を公開し、キー、ルーティング、 フォールバック、レート制限、ログ、支出の追跡を 1 か所で扱います。
- LLM routing(LLMルーティング)
- LLM routing(LLMルーティング)とは、各リクエストをそれに最も適した言語モデルに送る手法です。簡単なプロンプトには安価なモデル、難しいプロンプトには強力なモデルを使うことが多く、コスト、速度、品質のバランスを取ります。
- レート制限(API)
- レート制限(rate limit)とは、アカウントが一定時間内にAPIをどれだけ使えるかの上限で、通常は1分あたりのリクエスト数(RPM)と1分あたりのトークン数(TPM)で示されます。上限を超えたリクエストは拒否され、通常はHTTP 429エラーが返ります。
- 推論プロバイダー
- 推論プロバイダー(inference provider)とは、自社のハードウェアで AI モデルを動かし、通常はトークン単位の課金で API を通じて利用権を販売する企業です。自分で GPU を管理することなく、プロンプトを送って出力を受け取れます。
- LLM observability(LLMオブザーバビリティ)
- LLM observability(LLMオブザーバビリティ、可観測性)とは、本番環境でAIアプリケーションが行うこと、つまりプロンプト、応答、ツール呼び出し、レイテンシ、トークン使用量、コストを、検索できるトレースとして記録することです。これにより障害をデバッグし、システムの挙動を長期的に把握できます。