LLM routing(LLMルーティング)
LLM routing(LLMルーティング)とは、各リクエストをそれに最も適した言語モデルに送る手法です。簡単なプロンプトには安価なモデル、難しいプロンプトには強力なモデルを使うことが多く、コスト、速度、品質のバランスを取ります。
別名: model routing, router
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
ほとんどのアプリケーションでは、すべてのリクエストに最も高性能なモデルを使う必要はありません。あいさつ、短い調べもの、書式の整形などは小さく速いモデルに任せ、難しいコーディングや推論のタスクは大きなモデルに送れます。ルーターはこの選択をリクエストごとに行うため、請求額が実際の作業の内訳を反映します。
仕組み
ルーターは、ルールの集合(コードを含むものはモデルA、一定の長さを超えるものはモデルBへ送る)、過去の結果で学習した分類器、あるいはプロンプトを読んで送り先を選ぶ小さなモデルのいずれかです。RouteLLMの論文では、人間の選好データでルーターを学習させて強いモデルと弱いモデルのどちらかを選ばせ、一部のケースで回答品質を落とさずにコストを半分以上削減したと報告しています。型付きの選択肢を返すdecision modelも、選択のステップを作る別の方法です。
ルーティングは通常、LLMゲートウェイやOpenRouterのようなサービス、またはvLLM Semantic Routerのようなオープンソースのルーターに置かれます。AIスタックのLLMルーティング段階に、ほかの選択肢をまとめています。
ルーティングとフォールバックの違い
ルーティングは、呼び出しの前にリクエストに基づいてモデルを選びます。フォールバックモデルは、呼び出しが失敗またはタイムアウトした後に使われます。多くのシステムは両方を行います。
限界
ルーター自体がレイテンシを追加し、難しいプロンプトを簡単だと誤判定することがあります。その場合、エラーではなく質の低い回答として現れます。自分のトラフィックでテストし、各リクエストをどのモデルが処理したかを記録してください。
関連用語
- LLM ゲートウェイ
- LLM ゲートウェイ(LLM gateway)とは、アプリケーションとモデルの提供元の間に置くプロキシサーバーです。1 つの API を公開し、キー、ルーティング、フォールバック、レート制限、ログ、支出の追跡を 1 か所で扱います。
- 判定モデル
- 判定モデル(decision model)とは、自由なテキストを生成する代わりに、一覧からの選択、ルーブリックによるスコア、はい/いいえの確率など、型の決まった答えを返すために作られたモデルです。
- モデルフォールバック
- モデルフォールバック(model fallback)とは、第一候補のモデルが失敗した、タイムアウトした、レート制限に達した、入力を拒否したといった場合に、リクエストを予備のモデルや提供元に送るルールです。障害が起きても AI 機能を動かし続けられます。
- トークン料金
- トークン料金(token pricing)とは、ほとんどのAIモデルのAPIが採用している課金方法です。送る入力トークン100万あたりの定額料金と、モデルが生成する出力トークン100万あたりの、通常はより高い別の料金があり、キャッシュされた入力やバッチジョブには割引があります。
- 推論プロバイダー
- 推論プロバイダー(inference provider)とは、自社のハードウェアで AI モデルを動かし、通常はトークン単位の課金で API を 通じて利用権を販売する企業です。自分で GPU を管理することなく、プロンプトを送って出力を受け取れます。