LiteLLMとは？
LiteLLM には 2 つの役割があります。Python のライブラリとしては、OpenAI、Anthropic、Gemini、Bedrock、Azure、Vertex AI など 100 以上のプロバイダーを、OpenAI 形式の 1 つの関数で呼び出せるようにします。プロジェクトが現在 AI Gateway と呼ぶプロキシサーバーとしては、組織全体とそれらのプロバイダーの間に入ります。
ゲートウェイは仮想キーを発行し、キー、ユーザー、チームごとに支出を追跡し、予算とレート制限を適用し、複数のデプロイ間で負荷を分散し、あるモデルが失敗すると別のモデルにフォールバックします。Langfuse、MLflow、Helicone などのツールにログを送り、PII のマスキングなどのガードレールも動かせます。リポジトリの説明では現在、Python の SDK と並んで Rust のコアをうたっており、ドキュメントにはベータ版の Rust ゲートウェイへのリンクがあります。
オープンコアです。enterprise/ フォルダー以外はすべて MIT で、このフォルダーには独自の商用ライセンスがあります。エンタープライズ版は SSO と SCIM、監査ログ、ロールベースのアクセス制御、エアギャップ環境へのデプロイ、サポートの SLA を加えるもので、価格は問い合わせた場合にのみ示されます。
LiteLLMは使う価値があるか？
LiteLLM は多くのチームが最初に手を伸ばすゲートウェイで、その地位の根拠は幅広さです。100 を超えるプロバイダーを 1 つの OpenAI 形式の API にまとめ、数日ごとにリリースし（v1.106.4 は 2026年10月25日に公開）、GitHub のスターは約 62,100 です。多くのツールが LiteLLM との連携を備えているため、構成の中で浮いた部品になることはまずありません。README にある毎秒 1,000 リクエストでの P95 レイテンシ 8 ms は、プロジェクト自身のベンチマークです。
すべてのチームにゲートウ ェイが必要なわけではありません。1 つのサービスから 1 つか 2 つのプロバイダーを呼ぶだけなら、プロバイダー自身の SDK とリトライのラッパーのほうが単純で、経由する段も 1 つ減ります。ゲートウェイが元を取り始めるのは、複数のチームがプロバイダーのキーを共有するとき、経理がチームごとの支出を知りたいとき、あるいは Azure OpenAI と OpenAI の間などで自動のフェイルオーバーが必要なときです。仮想キー、予算、フォールバックはどれもオープンソース版で使えます。
弱点は、ゲートウェイが手持ちのすべてのプロバイダーのキーを抱えることで、そのためセキュリティの記録が重要になります。2026年3月24日、盗まれた PyPI のトークンを持つ攻撃者が、SSH の鍵、クラウドの認証情報、Kubernetes のトークンを収集する汚染されたリリース 1.82.7 と 1.82.8 を公開しました。LiteLLM 自身のインシデントの報告によると、これらが公開されていたのは約 40 分で、侵入の原因は CI パイプラインの Trivy スキャナーにあり、公式の Docker イメージは影響を受けていません。プロジェクト自身のアドバイザリの一覧も長く、2026年に 17 件が公開され、4 件が critical です。5月の Host ヘッダーインジェクションによる認証の回避や、9月のプロキシ管理者への権限昇格が含まれます。対策は用意されており、-stable の Docker イメージは 12 時間の負荷テストを経て、すべてのイメージに cosign の署名があります。ただしそれが役立つのは、バージョンを固定して検証するチームだけです。
オープンコアの線引きもあいまいです。SSO、監査ログ、SLA は明らかに有料です。エンタープライズのページは仮想キー、予算、RPM/TPM の制限もガバナンス機能として挙げていますが、オープンソースのドキュメントはそれらを標準機能として説明しています。同じページは SOC 2 Type 2 と ISO 27001、Sev 0 の障害への 1 時間以内の対応目標を挙げています。主なオープンソースの競合は Portkey のゲートウェイで、この層を運用するより借りたいチームには OpenRouter が向いています。ただしその場合は、すべてのプロンプトが第三者を経由することになります。
真価を発揮する場面
300 人のエンジニアに OpenAI、Anthropic、Bedrock へのアクセスを提供するプラットフォームチーム
予算付きのチームごとのキーを発行し、チーム別に支出を報告する
Postgres と Redis を使って Kubernetes 上でプロキシを動かし、各チームに予算付きの仮想キーを渡し、経理にはキー、ユーザー、チームごとの支出を提供します。オープンソース版で無料ですが、管理 UI の SSO にはエンタープライズのライセンスが必要です。
LLM を使った製品の稼働率を担う SRE
あるデプロイの性能が落ちたときに Azure OpenAI から OpenAI にフェイルオーバーする
両方のデプロイを 1 つのモデルグループに入れ、ルーターでフォールバックとリトライを設定します。代償は ネットワークの経由が 1 段増えることと、すべてのプロバイダーのキーを持つ部品が加わることなので、-stable のイメージを固定し、cosign の署名を検証してください。
規制下にあるフィンテック企業のエンジニアリング責任者
セルフホストのオープンソース版 LiteLLM とエンタープライズのライセンスのどちらにするか決める
Enterprise は個別価格で、30 日間のセルフホスト用トライアルキーがあり、SSO、SCIM、監査ログ、Sev 0 への 1 時間以内の対応目標が加わります。どちらにしても、パッチ適用の時間を見込んでください。2026年には critical のアドバイザリが 4 件出ています。
導入前に確認すること
- 導入
- uv tool install 'litellm[proxy]' の後、litellm --model gpt-4o でポート 4000 にローカルのプロキシが立ち上がります。本番では Docker イメージ、Helm チャート、または AWS（ECS Fargate、Aurora、ElastiCache）と GCP（Cloud Run、Cloud SQL）向けの Terraform モジュールを使います。
- 連携
- 100 以上のプロバイダーにわたって、OpenAI 互換の /chat/completions、/responses、/embeddings、/messages、/batches などに対応します。Langfuse、MLflow、Helicone などへのロギン グ、MCP と A2A のゲートウェイ、プロキシなしで使える Python SDK もあります。
- データとプライバシー
- セルフホストなので、プロンプトは設定したプロバイダーにだけ送られます。本番ガイドには BerriAI へのテレメトリーの記載はありません。プロキシはキー、支出のログ、そして任意でプロンプトを自分の Postgres に保存します。2026年に 17 件のセキュリティアドバイザリが公開され、4 件が critical です。
- 大規模利用時のコスト
- ドキュメントは各ワーカーを 1 vCPU、4 GiB と見積もっているため、8 ワーカーのノードには 8 vCPU と 32 GiB が必要で、複数のインスタンスを動かす場合は Postgres と Redis 7 も加わります。Enterprise の価格は問い合わせによります。
- 制限
- 未解決の issue と pull request は 5,748 件。数日ごとのリリースのため、アップグレードが頻繁になります。Postgres のコネクションプールはインスタンスとワーカーごとにサイズを決める必要があります。Rust のゲートウェイはまだベータ版です。
良い点
- 100 以上のプロバイダーを OpenAI 形式で
- 無料版で仮想キー、予算、フォールバックが使える
- 12 時間の負荷テストを経た cosign 署名付きの -stable イメージ
- AWS と GCP 向けの Terraform モジュール
気になる点
- 2026年のセキュリティアドバイザリは 17 件で、4 件が critical
- 2026年3月に汚染された PyPI のリリース
- オープンコアの境界がドキュメント上で不明確
- Enterprise の価格は非公開
おすすめの人
多くの開発者に、自社のインフラから多数のモデルプロバイダーへの管理されたアクセスを提供しなければならないプラットフォームチーム。
LiteLLMの代替
LiteLLM：よくある質問
- LiteLLMは使う価値があるか？
- 多数のプロバイダーにまたがって 1 つの API、チームごとの予算、フォールバックを必要とするチームにとって、標準的なセルフホスト型のゲートウェイです。ただしバージョンを固定し、セキュリティ上重要なインフラとして扱うことが前提です。 評価は5点満点中4.3点です。
- LiteLLMの料金は？
- MIT の無料のオープンソースですが、enterprise/ フォルダーは別の商用ライセンスです。Enterprise は個別価格で、30 日間の無料トライアルキーがあります。
- LiteLLMの欠点は？
- 2026年のセキュリティアドバイザリは 17 件で、4 件が critical; 2026年3月に汚染された PyPI のリリース; オープンコアの境界がドキュメント上で不明確; Enterprise の価格は非公開.
- LiteLLMは誰に向いているか？
- 多くの開発者に、自社のインフラから多数のモデルプロバイダーへの管理されたアクセスを提供しなければならないプラットフォームチーム。
- チームや本番環境でLiteLLMを使うと費用はいくらか？
- ドキュメントは各ワーカーを 1 vCPU、4 GiB と見積もっているため、8 ワーカーのノードには 8 vCPU と 32 GiB が必要で、複数のインスタンスを動かす場合は Postgres と Redis 7 も加わります。Enterprise の価格は問い合わせによります。
- LiteLLMは企業データを扱っても安全か？
- セルフホストなので、プロンプトは設定したプロバイダーにだけ送られます。本番ガイドには BerriAI へのテレメトリーの記載はありません。プロキシはキー、支出のログ、そして任意でプロンプトを自分の Postgres に保存します。2026年に 17 件のセキュリティアドバイザリが公開され、4 件が critical です。
- LiteLLMの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はPortkey AI Gateway, Bifrost, vLLM Semantic Router 、 Langfuseです。
回答確認日：2026年10月26日