2026年のおすすめオープンソースLLM評価ツール

当サイトでレビューした7件のオープンソースLLM評価ツールのうち、現在のおすすめはpromptfoo、Inspect、LM Evaluation Harnessです。各製品を当サイトの評価順に並べ、料金、評価のまとめ、向いている人を記載しています。

執筆： Sheela · 2026年11月2日更新 · レビューの方法

ランキングの方法：各製品の料金、ドキュメント、ポリシー、さらに独立したベンチマークがある場合はそれも基にしたレビューで、5点満点の評価順に並べています。各情報はレビューに記載の日付に確認したものです。アフィリエイト報酬は受け取っていません。

1. 1
   

   promptfoo

   promptfooは、LLMのリグレッションテストとレッドチームスキャンをYAMLファイルと1つのCIコマンドに集約します。新たな所有者が注視すべき点です。

   おすすめの人： CIにおいてリグレッションテストとセキュリティスキャンを導入したい、LLMアプリを提供するチームに適しています。

   料金： CLIは無料かつオープンソース（MIT）です。Community利用には月間最大10,000回のプローブを含むレッドチーム機能が含まれます。Enterprise（マネージドクラウド）およびOn-Premiseは個別見積もりです。

   promptfooのレビューを読む
   4.5/5
2. 2
   

   Inspect

   Inspect は政府機関と独立系による AI 安全性テストの共通ハーネスです。CI でプロンプトを確認したいプロダクトチームには、必要以上に大がかりなフレームワークでしょう。

   おすすめの人： エージェントや能力の評価を行う研究者と安全性チーム。

   料金： MIT ライセンスの無料のオープンソースです。

   Inspectのレビューを読む
   4.4/5
3. 3
   

   LM Evaluation Harness

   モデルベンチマークにおける共通の尺度であり、その上に構築されたアプリケーションを評価するためのツールではありません。

   おすすめの人： 標準ベンチマークでモデルを比較する研究者およびモデルトレーナーに適しています。

   料金： MITライセンスに基づく無償のオープンソースです。

   LM Evaluation Harnessのレビューを読む
   4.4/5
4. 4
   

   DeepEval

   pytest スタイルの有能な評価ライブラリです。実際のコストは判定モデルの料金で、ファネルの先には月額 $200 のプラットフォームが待っています。

   おすすめの人： LLM アプリケーションに自動の品質チェックを加える Python チーム。

   料金： Apache 2.0 ライセンスの無料オープンソースです。Confident AI のホスト型プラットフォームは別の有料製品です。

   DeepEvalのレビューを読む
   4.2/5
5. 5
   

   e2e

   e2e は、モデル呼び出しを取り除くべきものとして扱う初めてのエージェント型テストフレームワークです。再生キャッシュこそが、平易な英語のテストを CI で手頃なコストにしています。

   おすすめの人： すべてのセレクターを手作業で保守することなく、ウェブとモバイルにまたがる読みやすいエンドツーエンドテストを求めるプロダクトチーム。

   料金： Apache-2.0 で無料です。費用は自分のモデルの分です。TesterArmy のホスト型プラットフォームは別で、Free（5 回の実行）、Hobby は月額 $99（250 回の実行）、Startup は月額 $299（1,000 回の実行）、Enterprise はカスタム価格です。

   e2eのレビューを読む
   4.0/5
6. 6
   

   TruLens

   企業の後ろ盾を持つ、堅実でOpenTelemetryにネイティブな評価のライブラリです。ただし小さなコミュニティと、Snowflakeへの引力が足かせになっています。

   おすすめの人： RAGのアプリやエージェントを評価するPythonのチーム、特にすでにSnowflakeにデータを保存しているチーム。

   料金： MITライセンスの無料のオープンソースです。支払うのは、各フィードバック関数が行う評価役のモデルの呼び出しの費用です。ホスト版のSnowflakeのAI Observabilityは別の製品で、Snowflakeを通じて課金されます。

   TruLensのレビューを読む
   3.9/5
7. 7
   

   Ragas

   そのメトリクス名はRAG評価の共通言語となりましたが、コードベースはメンテナー不在のまま放置されています。

   おすすめの人： バージョンを固定し、自力で修正パッチを適用できる体制があり、すでにRagasのテストスイートを保有しているチームに適しています。

   料金： Apache 2.0ライセンスに基づく無料のオープンソースです。各メトリクスが実行するjudge modelのAPI呼び出し費用が発生します。

   Ragasのレビューを読む
   3.4/5