2026年のおすすめオープンソースLLMゲートウェイ・オブザーバビリティツール

当サイトでレビューした25件のオープンソースLLMゲートウェイ・オブザーバビリティツールのうち、現在のおすすめはLangfuse、Anthropic Sandbox Runtime (srt)、MLflowです。各製品を当サイトの評価順に並べ、料金、評価のまとめ、向いている人を記載しています。

執筆： Sheela · 2026年11月3日更新 · レビューの方法

ランキングの方法：各製品の料金、ドキュメント、ポリシー、さらに独立したベンチマークがある場合はそれも基にしたレビューで、5点満点の評価順に並べています。各情報はレビューに記載の日付に確認したものです。アフィリエイト報酬は受け取っていません。

1
Langfuse
完全に自分のものにできる、フレームワークを問わない LLM のトレーシングです。無料のセルフホスト版でほぼすべてをまかなえ、クラウドはユニット単位まで料金が明示されています。
おすすめの人：無料でセルフホストするか、手頃な価格のクラウドサービスとして買える、フレームワークを問わないトレーシングと評価を求めるチーム。
料金： MIT の無料のオープンソースで、ee/ フォルダーのみ商用ライセンスです。Cloud は Hobby が無料（月 50k ユニット）、Core が月額 $29、Pro が月額 $199（Teams アドオンは +$300）、Enterprise が月額 $2,499 です。超過分は 100k ユニットあたり $8 で、50M を超えると $6 に下がります。
Langfuseのレビューを読む
4.6/5
2
Anthropic Sandbox Runtime (srt)
コーディングエージェントは何にでも誘導される可能性がありますが、オペレーティングシステムはそうではありません。srt はオペレーティングシステムに制御権を委ねます。
おすすめの人：自身のマシンでコーディングエージェントを実行するすべての開発者の第一層の防御策として最適です。
料金： Apache 2.0 ライセンスに基づく無料でオープンソースのソフトウェアです。
Anthropic Sandbox Runtime (srt)のレビューを読む
4.4/5
3
MLflow
ML 実験を記録する定番の場所であり続け、今では LLM のトレースと評価も無料で付いてきます。ほかの誰かが届く前にサーバーを固めてください。
おすすめの人：モデルを学習させ、LLM 機能も作る Python チームで、その両方を無料のセルフホスト型の記録システム 1 つにまとめたい人たち。
料金： Apache-2.0 の無料オープンソースで、費用はサーバー、データベース、オブジェクトストレージだけです。Databricks のマネージド MLflow には個別の定価がなく、Databricks の計算量で課金されます。Free Edition は個人利用のみです。
MLflowのレビューを読む
4.4/5
4
garak
モデルレベルの弱点を調べる定番のオープンなスキャナーです。リリース前とモデルを入れ替えるたびに実行すべきですが、エージェントのツールや権限のテストと取り違えてはいけません。
おすすめの人：リリース前とモデル変更のたびに、LLM エンドポイントに対して再現可能なモデルレベルの脆弱性スキャンを行いたいチーム。
料金： Apache 2.0 の下で無料のオープンソースです。支払うのはスキャンが行うモデル呼び出しの費用だけです。
garakのレビューを読む
4.3/5
5
LiteLLM
多数のプロバイダーにまたがって 1 つの API、チームごとの予算、フォールバックを必要とするチームにとって、標準的なセルフホスト型のゲートウェイです。ただしバージョンを固定し、セキュリティ上重要なインフラとして扱うことが前提です。
おすすめの人：多くの開発者に、自社のインフラから多数のモデルプロバイダーへの管理されたアクセスを提供しなければならないプラットフォームチーム。
料金： MIT の無料のオープンソースですが、enterprise/ フォルダーは別の商用ライセンスです。Enterprise は個別価格で、30 日間の無料トライアルキーがあります。
LiteLLMのレビューを読む
4.3/5
6
Arize Phoenix
Phoenix はオープンなトレースツールの中で最も強力な評価ループを持っていますが、法務チームが話し合いたくなるライセンスと所有者がついてきます。
おすすめの人：ノート PC から始められる、強力な評価ループを備えた標準ベースのトレースを求めるエンジニアやデータサイエンティスト。
料金： Elastic License 2.0 のもとでセルフホストは無料です（ソース公開。他者向けのサービスとしてのホスティングは不可）。マネージドの Arize AX：Free（月 25k スパン、保持 15 日、1 GB）、Pro は月 $50（50k スパン、30 日、10 GB）、Enterprise は個別見積もりです。
Arize Phoenixのレビューを読む
4.2/5
7
PyRIT
チーム内に駆動用のPythonを書く担当者がいれば、PyRITはチャットボットを破綻させる時間のかかる段階的な会話を自動化してくれます。
おすすめの人：複数ターンのエスカレーションやWebフロントエンドを含め、チャットボットやエージェントのレッドチーム演習を詳細に実施する必要があるセキュリティエンジニアに適しています。
料金： MITライセンスに基づく無料でオープンソースのソフトウェアです。攻撃やLLMベースのScorersで使用されるモデル呼び出しの費用が発生します。
PyRITのレビューを読む
4.2/5
8
NVIDIA OpenShell
見守りながら使うものではなく、無人で稼働させ続けるagent向けに構築された重量級のagentサンドボックスです。
おすすめの人： agentを無人または信頼できないコード上で実行し、ホスト単位およびメソッド単位のネットワークルールを必要とするチームに適しています。
料金： Apache 2.0に基づく無料のオープンソースです。
NVIDIA OpenShellのレビューを読む
4.1/5
9
OpenLLMetry
標準的なOpenTelemetryでLLM呼び出しを一度計装すれば、バックエンドの選択肢を自由に保てます。ただし、プロンプト全文をTraceloopのクラウドへ送信する2つのデフォルト設定を最初に見直す必要があります。
おすすめの人：ベンダー固有のSDKを使わず、既存のオブザーバビリティ基盤でLLMトレースを取得したい、OpenTelemetryを標準採用しているチームに適しています。
料金： Apache 2.0に基づく無料でオープンソースのソフトウェアです。現在はServiceNowが所有するTraceloopのホスト型プラットフォームは、Freeが月間50,000スパンまで24時間の保持期間で利用可能です。Enterprise（SOC 2、オンプレミス）は個別見積もりとなります。
OpenLLMetryのレビューを読む
4.1/5
10
OpenSandbox
ホスト型のコードサンドボックスに対するセルフホスト型の選択肢です。自社マシン上で短期間稼働するエージェント環境が数千単位で必要な場合、Kubernetesの運用作業に見合う価値があります。
おすすめの人：自社のインフラ上でサンドボックスを運用したい、エージェント評価、強化学習ロールアウト、マルチテナントコード実行を行うプラットフォームチームに適しています。
料金： Apache 2.0に基づく無料のオープンソースです。メンテナーからの有料版はありません。
OpenSandboxのレビューを読む
4.1/5
11
Opik
Opikはサーバー全体をApache 2.0で無償提供し、最も安価なホスト版プランを販売していますが、セルフホスト版にはユーザーアカウントがなく、デフォルトでテレメトリを送信します。
おすすめの人：寛容なライセンスを持つセルフホスト可能なトレーシングおよび評価プラットフォーム、または低コストなホスト型プラットフォームを求めるチームに適しています。
料金： Apache 2.0に基づく無料かつオープンソース。Cloud: Free（月間25kスパン、保持期間60日）。Proは月額$19（100kスパン、以降100kごとに$5、400日保持アドオンは100kスパンあたり$29）。Enterpriseはカスタムです。
Opikのレビューを読む
4.1/5
12
SkillSpector
プロバイダーを変更するか--no-llmを指定しない限り、LLMステージによってスキルのファイルがbuild.nvidia.comに送信される点に留意すれば、インストール前の防御策として導入すべきスキルスキャナーです。
おすすめの人：セキュリティベンダーと契約することなく、エージェントスキルをインストールまたは公開し、CIに任意のモデルレビューを含む静的ゲートを設けたいチームに適しています。
料金： Apache 2.0に基づく無料でオープンソースのソフトウェアです。LLM解析は、自身のプロバイダーアカウント（デフォルトはbuild.nvidia.com）またはOllama経由のローカルモデルで実行されます。
SkillSpectorのレビューを読む
4.1/5
13
ToolHive
スキャナーはMCP serverが危険に見えるかどうかを知らせてくれますが、ToolHiveは実際に危険であった場合に実行可能な動作を制限します。
おすすめの人：全社規模でMCP serverを実行、隔離、および監査する必要があるプラットフォームチームやセキュリティチームに最適です。
料金： Apache 2.0に基づくオープンソースです。Stacklok Enterpriseでは追加機能とサポートが提供され、価格は要問合せとなります。
ToolHiveのレビューを読む
4.1/5
14
NVIDIA NeMo Guardrails
NeMo Guardrailsはエージェント向けの最も広範なオープンポリシーレイヤーですが、その広範さの代償として、設定の手間、レイテンシ、そして破壊的変更の多い変更履歴が伴います。
おすすめの人：すべてのモデル呼び出しおよびツール呼び出しの周囲に、設定可能なポリシーレイヤーを必要とするエージェントや顧客向けアシスタントを構築するチームに適しています。
料金： Apache 2.0に基づく無料でオープンソースのソフトウェアです。NVIDIAのNemoGuardモデルおよびNIM microservicesは個別に配布されています。
NVIDIA NeMo Guardrailsのレビューを読む
4.0/5
15
Bifrost
無料版に予算管理を備えた、高速で Apache ライセンスのゲートウェイです。ただし、2026年9月まで管理 API を開いたままにしていたセキュリティの既定値が足を引っ張っています。
おすすめの人：大量のリクエストを扱うチームや Go を使う開発組織で、予算管理付きの Apache ライセンスのゲートウェイを求め、管理 API の防御を固める用意があるところ。
料金： Apache 2.0 の無料オープンソースです。Enterprise は個別見積もりで 14 日間の無料試用があり、価格は公表されていません。
Bifrostのレビューを読む
3.9/5
16
DeepTeam
オープンなレッドチーミングライブラリとしては、エージェントとアプリケーションの脆弱性のカタログが最も幅広いものです。ただし、すべての判定は LLM の判定器に依存しており、確認が必要です。
おすすめの人：エージェントを作っており、ローカルで実行できる OWASP 対応のレッドチームのカバレッジを求める Python チーム。
料金： Apache 2.0 の無料オープンソースです。Confident AI のプラットフォームは無料ティアから月額 $200、$2,000 まであり、レッドチーミングのモジュールはカスタム価格の Enterprise アドオンです。
DeepTeamのレビューを読む
3.9/5
17
OpenConnector
OpenConnector は、認証情報をゲートウェイの奥に置く、Composio に対する信頼できるセルフホストの選択肢です。ただしライセンスが厳しくなったばかりで、OAuth のプロバイダーには依然として自分でアプリを登録する必要があります。
おすすめの人：クローズドな連携プラットフォームを採用せずに、セルフホストの認証情報の境界と大きなコネクターカタログを求める、エージェント製品を作るチームに向いています。
料金：セルフホストは OpenConnector License（改変版 Apache 2.0）のもとで無料です。OOMOL のホスト型は App のツール呼び出しが月 20,000 回まで無料で、その後は 1 回あたり 0.0003 クレジットです。クレジットの価格は公表されていません。
OpenConnectorのレビューを読む
3.8/5
18
Snyk Agent Scan
Snykへの説明文の送信を許容し、信頼できない構成をサンドボックス内でスキャンすることを前提とするならば、エージェントが信頼しているMCPサーバーやスキルに対する堅実な初期診断手段となります。
おすすめの人：開発者やエージェントによるMCPサーバーおよびスキルの導入を許可しており、それらを信頼する前にサプライチェーンのリスクを検証したいチームに適しています。
料金： Apache 2.0に基づく無料のオープンソースです。SnykアカウントとAPIトークンが必要です。組織全体でのバックグラウンドスキャン結果をSnyk Evoに集約する機能は、個別見積もりとなります。
Snyk Agent Scanのレビューを読む
3.8/5
19
vLLM Semantic Router
リクエストごとにモデルを選択するための野心的なオープンルーターであり、変化の速いプロジェクトに対応できる、すでにvLLMを運用しているチームに適しています。
おすすめの人：主に自社のvLLM群において複数のモデルを提供し、リクエストごとにモデルを選択する価値があるほど多様なトラフィックを持つチームに適しています。
料金： Apache 2.0に基づく無料のオープンソースです。ホスト型の有料サービスはありません。
vLLM Semantic Routerのレビューを読む
3.8/5
20
Cisco Skill Scanner
スキルのリポジトリの前段に置く価値があります。ただし、それ自身の数値を信じるなら、明らかなものは捕らえても、すべては捕らえません。
おすすめの人：社内のスキルリポジトリを運用し、開発者に届く前にスキャンの関門を置きたいチームに向いています。
料金： Apache 2.0 で無料です。オプションの LLM とクラウドの解析は、それぞれのプロバイダーを通じて課金されます。
Cisco Skill Scannerのレビューを読む
3.7/5
21
Portkey AI Gateway
Palo Alto Networksに買収されて以来動きが止まっている、整然としたMITライセンスのルーターです。現時点で運用する分には問題ありませんが、ロードマップを描くのは困難です。
おすすめの人：エッジランタイムを使用しているチームや、すでにPalo Altoのセキュリティ製品を導入しており、軽量なルーティング層を求めている企業に適しています。
料金： MITに基づく無料およびオープンソースです。ホスティングプラン：Developerは無料（月間10,000件の記録ログ、3日間のログ保持）、Productionは月額49ドル（100,000件のログ、以降100,000件ごとに9ドル）、Enterpriseはカスタムです。
Portkey AI Gatewayのレビューを読む
3.7/5
22
McpMux
同じMCP設定とAPIキーを4つのクライアントにコピーする手間をすっきり解消しますが、まだ若く、ほぼ毎日新しいビルドが出ると考えておくべきです。
おすすめの人： 1台のマシンで複数のMCPクライアントを使い、設定とキーの同期に疲れた開発者に向いています。
料金： GPL-3.0の無料オープンソースです。有料プランは公開されていません。
McpMuxのレビューを読む
3.6/5
23
W&B Weave
Weights & Biases 上にすでにモデルが存在する場合は導入する価値がありますが、1 メガバイトあたり $0.10 という価格設定のため、新規に利用を開始する組織にとっては判断が分かれます。
おすすめの人：モデルのトレーニングですでに Weights & Biases を利用しており、LLM のトレースと評価を同じ場所で一元管理したいチームに適しています。
料金： SDK は Apache 2.0 のもとで無料です。ホスト型: Free（Weave データ取り込み 1 GB/月）。Pro は月額 $60 から（1.5 GB、超過分は $0.10/MB）。Enterprise はカスタム（超過分は $0.20/MB と記載）、Dedicated デプロイに対応します。
W&B Weaveのレビューを読む
3.6/5
24
Free Claude Code
誤解を招く名前の陰に隠れた有能なモデルルーターです。ただし、認証を切った状態でネットワーク全体に対して待ち受ける設定で配布されています。
おすすめの人：無料モデルやローカルモデルで Claude Code や Codex を動かしたい趣味の開発者や学生。
料金： AGPL-3.0 の下で無料のオープンソースです。モデルのコストは接続するプロバイダー次第で、多くはレート制限付きの無料枠があります。
Free Claude Codeのレビューを読む
3.4/5
25
Guardrails AI
持ち主を失った堅実なアイデアです。Apache 2.0 のコードは今も動きますが、修正をマージする人はおらず、ホスト型の部分はなくなりました。
おすすめの人：決定論的なバリデーターを使っていて、バージョンを固定し、自分でパッチを当てられる既存のユーザー。
料金： Apache 2.0 の下で無料のオープンソースです。ホスト型の Hub レジストリと無料のリモート推論は 2026年8月25日に終了しました。
Guardrails AIのレビューを読む
3.2/5