評価

確認すべきポイント

選択肢を分けるポイントを、重要な順に並べています。

1. 01

   リーダーボードではなく自分のテストセットを

   LM Evaluation Harnessなどのツールで実行するMMLUやGSM8Kのような公開ベンチマークは、モデルを一般的に比較するもので、あなたのプロンプト、文書、ユーザーについてはほとんど何も語りません。最も役に立つ評価は、正解がわかっている自分の製品の実例50〜200件で、本番でバグが出るたびに追加していくものです。ベンチマークのハーネスは、ファインチューニングやモデルの交換で一般的な能力が損なわれていないかの確認に使い、それ以外はすべて自分のテストセットで評価しましょう。

2. 02

   オフラインのテストとオンラインの採点

   オフライン評価は、ユニットテストのように、リリース前に固定のデータセットを実行します。オンライン評価は、本番のトレースの一部を同じ指標で採点し、テストセットに含まれない問題を捉えます。両方をこなすプラットフォーム（Braintrust、Opik、Arize Phoenix）では、失敗した本番のトレースを新しいテストケースにできます。promptfoo、DeepEval、Ragasなどのライブラリは、トレーシングツールと組み合わせない限りオフライン専用です。

3. 03

   LLMによる判定の信頼性

   品質の指標の多くは、別のモデルに回答を採点させます。判定役のモデルは実行ごとにぶれ、長い回答や自信のある回答をひいきし、採点のたびに費用がかかります。判定の一部を人の手で確認し、スコアが時間をまたいで比較できるよう判定のモデルとプロンプトを固定し、タスクが許す限り厳密なチェック（文字列の一致、JSONスキーマ、コードの実行）を選びましょう。

4. 04

   検索と生成を切り分けるRAGの指標

   検索拡張型のアプリでは、正しい文書が見つかったか（context precisionとrecall）と、回答がそれに忠実だったか（faithfulness）を知る必要があります。これらの定義を広めたのはRagasで、今ではDeepEval、promptfoo、Braintrustのオープンソースのautoevalsライブラリも実装しています。総合的な「正しさ」のスコア1つでは、パイプラインのどちら側が失敗したかが見えません。

5. 05

   CIとの統合

   評価がデグレードを防げるのは、プロンプト、モデル、検索の変更のたびに自動で実行される場合だけです。promptfooはCI向けに作られたYAMLの設定とCLIを使い、DeepEvalとOpikはpytestに組み込めます。InspectとLM Evaluation HarnessはPythonやCLIのジョブとして実行します。指標ごとに合格の閾値を設定し、後からダッシュボードを読むのではなく、下回ったらビルドを失敗させましょう。

6. 06

   テストセットの管理とバージョン管理

   ケースを追加しラベルを直すにつれてデータセットは変わるので、結果を比較できるのは、どのバージョンのセットで出た結果かがわかっている場合だけです。ホスト型のプラットフォームは、データセット、実験、その差分を保存します。ファイルベースのツールでは、テストケースをGitで管理するのは自分の役目です。どちらでも構いませんが、セットが数百件を超える前に決めてください。

7. 07

   エージェントの評価への対応

   エージェントには入出力のチェック以上のものが必要です。正しいツールを、妥当な順序で、予算内で、危険な操作なしに呼んだか、です。サンドボックス化したエージェント評価では、Inspectが最も強力なオープンな選択肢で、DeepEvalはエージェント用の指標を備えています。最後のメッセージだけでなく、トレース全体を採点できるかを確認してください。

8. 08

   メンテナンスとライセンス

   Ragasは2026年1月以降リリースがなく、チームは別のことに移っています。promptfooは現在OpenAIの所有です。Arize PhoenixはElastic License 2.0のソース公開であり、オープンソースではありません。いずれも失格の理由にはなりませんが、何年もCIに置くツールにとっては重要です。

16 個のツールを比較

当サイトの評価順です。各レビューで出典、料金、評価の詳細を確認できます。

評価のツール比較

ツール	評価	当サイトの評価	向いている用途	料金
Langfuseリポジトリ	4.6/5	完全に自分のものにできる、フレームワークを問わない LLM のトレーシングです。無料のセルフホスト版でほぼすべてをまかなえ、クラウドはユニット単位まで料金が明示されています。	無料でセルフホストするか、手頃な価格のクラウドサービスとして買える、フレームワークを問わないトレーシングと評価を求めるチーム。	MIT の無料のオープンソースで、ee/ フォルダーのみ商用ライセンスです。Cloud は Hobby が無料（月 50k ユニット）、Core が月額 $29、Pro が月額 $199（Teams アドオンは +$300）、Enterprise が月額 $2,499 です。超過分は 100k ユニットあたり $8 で、50M を超えると $6 に下がります。
promptfooリポジトリ	4.5/5	promptfooは、LLMのリグレッションテストとレッドチームスキャンをYAMLファイルと1つのCIコマンドに集約します。新たな所有者が注視すべき点です。	CIにおいてリグレッションテストとセキュリティスキャンを導入したい、LLMアプリを提供するチームに適しています。	CLIは無料かつオープンソース（MIT）です。Community利用には月間最大10,000回のプローブを含むレッドチーム機能が含まれます。Enterprise（マネージドクラウド）およびOn-Premiseは個別見積もりです。
Inspectリポジトリ	4.4/5	Inspect は政府機関と独立系による AI 安全性テストの共通ハーネスです。CI でプロンプトを確認したいプロダクトチームには、必要以上に大がかりなフレームワークでしょう。	エージェントや能力の評価を行う研究者と安全性チーム。	MIT ライセンスの無料のオープンソースです。
LM Evaluation Harnessリポジトリ	4.4/5	モデルベンチマークにおける共通の尺度であり、その上に構築されたアプリケーションを評価するためのツールではありません。	標準ベンチマークでモデルを比較する研究者およびモデルトレーナーに適しています。	MITライセンスに基づく無償のオープンソースです。
MLflowリポジトリ	4.4/5	ML 実験を記録する定番の場所であり続け、今では LLM のトレースと評価も無料で付いてきます。ほかの誰かが届く前にサーバーを固めてください。	モデルを学習させ、LLM 機能も作る Python チームで、その両方を無料のセルフホスト型の記録システム 1 つにまとめたい人たち。	Apache-2.0 の無料オープンソースで、費用はサーバー、データベース、オブジェクトストレージだけです。Databricks のマネージド MLflow には個別の定価がなく、Databricks の計算量で課金されます。Free Edition は個人利用のみです。
Braintrustツール	4.3/5	Braintrustは、直前の変更で製品が良くなったかどうかが一番難しい問いになっているチームのためのものです。人数ではなくデータ量で課金するため、大きなチームには合い、大量にログを書くエージェントには痛手になります。	ホスト型のトレースを使った評価駆動の開発を望み、マネージドサービスにお金を払うことをいとわないプロダクトチーム。	Starterは無料（データ1 GB、スコア10k件、$10分のモデルクレジット、保持期間14日、ユーザー数無制限。超過分は1 GBあたり$4、1,000スコアあたり$2.50）。Proは月$249（5 GB、スコア50k件、$100分のモデルクレジット、保持期間30日。超過分は1 GBあたり$3、1,000スコアあたり$1.50）。EnterpriseはSAML、BAA、セルフホストのデータプレーン付きで個別見積もり。条件を満たすスタートアップは6〜12か月間Proが無料です。
DeepEvalリポジトリ	4.2/5	pytest スタイルの有能な評価ライブラリです。実際のコストは判定モデルの料金で、ファネルの先には月額 $200 のプラットフォームが待っています。	LLM アプリケーションに自動の品質チェックを加える Python チーム。	Apache 2.0 ライセンスの無料オープンソースです。Confident AI のホスト型プラットフォームは別の有料製品です。
Arize Phoenixリポジトリ	4.2/5	Phoenix はオープンなトレースツールの中で最も強力な評価ループを持っていますが、法務チームが話し合いたくなるライセンスと所有者がついてきます。	ノート PC から始められる、強力な評価ループを備えた標準ベースのトレースを求めるエンジニアやデータサイエンティスト。	Elastic License 2.0 のもとでセルフホストは無料です（ソース公開。他者向けのサービスとしてのホスティングは不可）。マネージドの Arize AX：Free（月 25k スパン、保持 15 日、1 GB）、Pro は月 $50（50k スパン、30 日、10 GB）、Enterprise は個別見積もりです。
LangSmithツール	4.2/5	LangSmith は LangGraph エージェントに対して最も深く成熟したトレースと評価を提供しますが、シート単位の価格は、予算の大きな小規模チームに有利な設定です。	LangChain や LangGraph で本番のエージェントを作り、ホスト型のトレース、評価、デプロイを 1 社にまとめたいチーム。	Developer は無料（1 シート、月 5,000 の基本トレース）。Plus は 1 シート月 $39（10,000 の基本トレース、その後は従量課金。小規模なサーバーレスのデプロイ 1 つ付き）。Enterprise は個別見積もりで、ハイブリッドまたはセルフホストの選択肢あり。基本トレースは 14 日間、拡張トレースは 180 日間保存。
Opikリポジトリ	4.1/5	Opikはサーバー全体をApache 2.0で無償提供し、最も安価なホスト版プランを販売していますが、セルフホスト版にはユーザーアカウントがなく、デフォルトでテレメトリを送信します。	寛容なライセンスを持つセルフホスト可能なトレーシングおよび評価プラットフォーム、または低コストなホスト型プラットフォームを求めるチームに適しています。	Apache 2.0に基づく無料かつオープンソース。Cloud: Free（月間25kスパン、保持期間60日）。Proは月額$19（100kスパン、以降100kごとに$5、400日保持アドオンは100kスパンあたり$29）。Enterpriseはカスタムです。
Arize AXツール	4.1/5	Arize AXはオープンな計測の仕組みの上で本格的なエージェントのトレースと評価を提供します。ただし安いプランはすぐに上限に達し、ロードマップは今やDynatraceのものです。	本番のエージェントを運用し、オープンで移行可能な計測の仕組みの上でホスト型のトレースと評価を使いたく、Enterprise契約を交渉できるエンジニアリングチーム。	AX Freeは$0（月25,000スパン・1 GB、保持期間15日）。AX Proは月$50（50,000スパン・10 GB、保持期間30日）。EnterpriseはSSO、HIPAA、セルフホスト付きで個別見積もり。すべてのプランでユーザー数無制限です。
Datadog LLM Observabilityツール	4.0/5	会社がすでにDatadogを使い込んでいるなら、エージェントを監視する場所としてはここが妥当です。モデル呼び出し単位の課金も、一見した印象より公平です。	すでにDatadogを運用していて、エージェントのトレースをサービスやインフラの監視と並べて見たいエンジニアリングチーム。	Freeは月40K LLMスパンまで、保持期間15日。Proは年払いで月$160から、月ごとの契約で$200、オンデマンドで$240で、100K LLMスパンを含みます。その後は10K LLMスパンごとに$3.50（年払い）、$4.20（月ごとの契約）、$5（オンデマンド）です。保持期間の追加オプションは、30日、60日、90日でそれぞれ月10Kスパンあたり$6.50、$8、$9と記載されています。課金対象はLLMスパンだけです。
TruLensリポジトリ	3.9/5	企業の後ろ盾を持つ、堅実でOpenTelemetryにネイティブな評価のライブラリです。ただし小さなコミュニティと、Snowflakeへの引力が足かせになっています。	RAGのアプリやエージェントを評価するPythonのチーム、特にすでにSnowflakeにデータを保存しているチーム。	MITライセンスの無料のオープンソースです。支払うのは、各フィードバック関数が行う評価役のモデルの呼び出しの費用です。ホスト版のSnowflakeのAI Observabilityは別の製品で、Snowflakeを通じて課金されます。
Splunk Agent Observabilityツール	3.7/5	Galileoの小型の評価モデルのおかげで、エージェントのすべての会話を安く採点できます。ただしSplunkの傘下に入り、営業との商談を経て買う企業向けの製品になりました。	すでにSplunk Observabilityを使っていて、エージェントのすべての会話を採点し、危険な操作を実行時に阻止したい大規模な組織。	Agent Observabilityは年1.2Mスパンあたり月$100からで年払い、年500MのLunaトークンと年5回のLunaのファインチューニングを含みます。追加のLunaトークンと保持期間の延長は見積もりです。Splunk Observability Cloud Free Edition（最大15ホスト、期限なし）にはエージェントのトレースが含まれます。Galileoの旧Free（月5,000トレース）とPro（年払いで月$100、50,000トレース）のプランは、もう公開されていません。
W&B Weaveリポジトリ	3.6/5	Weights & Biases 上にすでにモデルが存在する場合は導入する価値がありますが、1 メガバイトあたり $0.10 という価格設定のため、新規に利用を開始する組織にとっては判断が分かれます。	モデルのトレーニングですでに Weights & Biases を利用しており、LLM のトレースと評価を同じ場所で一元管理したいチームに適しています。	SDK は Apache 2.0 のもとで無料です。ホスト型: Free（Weave データ取り込み 1 GB/月）。Pro は月額 $60 から（1.5 GB、超過分は $0.10/MB）。Enterprise はカスタム（超過分は $0.20/MB と記載）、Dedicated デプロイに対応します。
Ragasリポジトリ	3.4/5	そのメトリクス名はRAG評価の共通言語となりましたが、コードベースはメンテナー不在のまま放置されています。	バージョンを固定し、自力で修正パッチを適用できる体制があり、すでにRagasのテストスイートを保有しているチームに適しています。	Apache 2.0ライセンスに基づく無料のオープンソースです。各メトリクスが実行するjudge modelのAPI呼び出し費用が発生します。

仕様の比較

このステップで重要な仕様です。2026年10月19日に確認しました。導入前に提供元のサイトで確認してください。

このステージが使われる場面

• 文書とのチャット：まず Ragas から始めます。
• カスタマーサポートエージェント：まず DeepEval から始めます。
• コーディングエージェント：まず Inspect から始めます。
• リサーチとナレッジグラフ：まず Ragas から始めます。
• 長期記憶を持つアシスタント：まず DeepEval から始めます。
• 画像生成パイプライン：まず promptfoo から始めます。
• 音声エージェント：まず DeepEval から始めます。
• 文書処理：まず DeepEval から始めます。
• 自社専用のファインチューニング済みモデル：まず LM Evaluation Harness から始めます。

このガイドの出典

• promptfoo: evaluating RAG pipelines
• Ragas on GitHub
• DeepEval on GitHub
• Inspect on GitHub
• LM Evaluation Harness on GitHub
• autoevals on GitHub
• Braintrust docs