DeepEvalとは？
DeepEval は、LLM アプリケーションを pytest のスタイルでテストするオープンソースのフレームワークです。入力と出力を持つテストケースを書き、ローカルや CI でメトリクスに対してアサートします。
メトリクスはいくつかの系統に分かれています。G-Eval やグラフベースの DAG といったカスタムの判定器、RAG のメトリクス（faithfulness、contextual recall と precision）、エージェントのメトリクス（task completion、tool correctness、plan adherence）、マルチターンと音声エージェントのメトリクス、そしてレッドチーミングです。大半は LLM の判定器が採点し、クイックスタートでは OpenAI を使いますが、任意のモデルを組み込めます。Python 版と並んで TypeScript のパッケージ（npm の deepeval、バージョン 0.9.23）もあります。
開発元の Confident AI は、テスト結果と本番トレースのためのホスト型プラットフォームを販売しています。PyPI の最新 Python リリースは 2026 年 10 月 16 日の 4.3.1 です。
DeepEvalは使う価値があるか？
DeepEval は、Python チームが既存のテストスイートに LLM のチェックを組み込む最も直接的な方法です。テストは pytest のような見た目で、CI では deepeval test run で実行し、faithfulness や task completion がしきい値を下回るとビルドを失敗させます。GitHub のスターは約 19,100 で、ほぼ毎月リリースがあり、オープンソースの評価ライブラリの中でも特に幅広いメトリクスを揃えています。今ではエージェントの計画や音声通話にまで及んでいます。
注意点：大半のメトリクスは、ある LLM が別の LLM を採点するものです。クイックスタートでは OPENAI_API_KEY を設定するので、デフォルトでは、すべてのテストケースのすべてのメトリクスが有料の API 呼び出しになります。プルリクエストごとに数百のケースを実行すれば、積み重なります。判定モデルが変わるとスコアも動きます。最も議論されている未解決の issue もこれを反映し ています。判定器が不正な JSON を返す（'please use a better evaluation model'）、Hugging Face のモデルを判定器として使うのが難しい、非同期の実行が完了しない、といったものです。
テレメトリはデフォルトで有効です。ドキュメントによると、DeepEval はイベント名、メトリクス名、匿名 ID、パブリック IP アドレスを PostHog に送信します。DEEPEVAL_TELEMETRY_OPT_OUT=1 で無効にできますが、'Unable to disable telemetry' という題名の未解決の issue には 12 件のコメントが付いています。テストデータが Confident AI に送られるのは、ログインしてアップロードした場合だけです。
Confident AI の価格は、シート単位ではなく組織単位です。Free は 2 シートで週 5 回のテスト実行、Starter は月額 $200、Team は SSO と SOC 2 付きで月額 $2,000、そしてオンプレミスでのデプロイと HIPAA に対応したカスタムの Enterprise ティアがあります。ライブラリはこれなしでも完全に動きますが、README と CLI は頻繁にそちらへ誘導します。Promptfoo は YAML の設定で似た領域をカバーし、レッドチーミングがより強力です。Ragas は範囲が狭く RAG 専用です。Inspect AI は、アプリケーションのテストよりもモデル単位のベンチマーク作業に向いています。
真価を発揮する場面
Python スタックで RAG のサポートボットを出荷するバックエンドチーム
回答の faithfulness が下がったらマージを止める
既存の pytest スイートに faithfulness と contextual recall のテストを追加し、プルリクエストごとに実行します。ライブラリは無料ですが、判定器の呼び出しは無料ではありません。そのため多くのチームは、全セットを毎晩、サンプルを PR ごとに実行しています。
ツールを呼び出すエージェントを作る ML エンジニア
エージェントが正しいツールを正しい引数で呼んでいるか確かめる
Tool Correctness と Argument Correctness は呼び出しを期待値と比較し、Task Completion と Plan Adherence は LLM の判定器を使います。安価な判定器やローカルの判定器にすればコストは下がりますが、まず人が付けたいくつかのラベルと照らし合わせて確認すべきです。
40 人規模のソフトウェア企業の AI 責任者
ホスト型の評価ダッシュボードにお金を払うかどうか決める
Confident AI の Starter は定額で月額 $200、シート無制限、トレース 5 GB-月まで含まれ、それ以降は 1 GB-月あたり $1 です。SSO と SOC 2 は月額 $2,000 の Team からです。結果を CI の成果物に残すだけなら費用はかかりませんが、履歴とトレースのクラスタリングは失われます。
導入前に確認すること
- 導入
- pip install -U deepeval（Python 3.9 以降）を実行し、OPENAI_API_KEY を設定するか別の判定モデルを設定します。メトリクスを使うテストファイルを 1 つ書き、deepeval test run を実行します。
- 連携
- pytest と CI。LangChain、LangGraph、LlamaIndex、CrewAI、Pydantic AI、OpenAI Agents、Google ADK、AWS AgentCore、Strands、Vercel AI SDK、Mastra のトレース。カスタムの判定モデル。オプションで Confident AI へのアップロード。
- データとプライバシー
- ローカルで動きます。テレメトリ（イベント名とメトリクス名、匿名 ID、パブリック IP）は、DEEPEVAL_TELEMETRY_OPT_OUT=1 にしない限り PostHog に送られます。テストケースは設定した判定器のプロバイダーに送信されます。Confident AI はアップロードを AWS に保存し、SSO と SOC 2 は Team プランから付きます。
- 大規模利用時のコスト
- ライブラリは無料です。判定のコストは、テストケース数×メトリクス数×実行回数に比例します。Confident AI：Free（2 シート、週 5 回のテスト実行）、Starter は月額 $200、Team は月額 $2,000、Enterprise はオンプレミスでのデプロイ付きのカスタム価格です。
- 制限
- 未解決の issue とプルリクエストが 775 件あります。判定器が不正な JSON を返してテストが失敗することがあります。スコアは判定モデルによって変わります。非同期の実行が止まるという報告があります。
良い点
- CI で動く pytest スタイルのテスト
- RAG、エージェント、マルチターン、音声に及ぶ幅広いメトリクス
- ローカルモデルを含め、任意の LLM を判定器にできる
- Python と TypeScript のパッケー ジ
気になる点
- 大半のメトリクスで、テストケースごとに判定モデルの呼び出し費用がかかる
- PostHog へのテレメトリがデフォルトで有効
- 判定器の不正な出力がよくある失敗原因
- ドキュメントと CLI が Confident AI へ誘導する
おすすめの人
LLM アプリケーションに自動の品質チェックを加える Python チーム。
DeepEvalの代替
DeepEval：よくある質問
- DeepEvalは使う価値があるか？
- pytest スタイルの有能な評価ライブラリです。実際のコストは判定モデルの料金で、ファネルの先には月額 $200 のプラットフォームが待っています。 評価は5点満点中4.2点です。
- DeepEvalの料金は？
- Apache 2.0 ライセンスの無料オープンソースです。Confident AI のホスト型プラットフォームは別の有料製品です。
- DeepEvalの欠点は？
- 大半のメトリクスで、テストケースごとに判定モデルの呼び出し費用がかかる; PostHog へのテレメトリがデフォルトで有効; 判定器の不正な出力がよくある失敗原因; ドキュメントと CLI が Confident AI へ誘導する.
- DeepEvalは誰に向いているか？
- LLM アプリケーションに自動の品質チェックを加える Python チーム。
- チームや本番環境でDeepEvalを使うと費用はいくらか？
- ライブラリは無料です。判定のコストは、テストケース数×メトリクス数×実行回数に比例します。Confident AI：Free（2 シート、週 5 回のテスト実行）、Starter は月額 $200、Team は月額 $2,000、Enterprise はオンプレミスでのデプロイ付きのカスタム価格です。
- DeepEvalは企業データを扱っても安全か？
- ローカルで動きます。テレメトリ（イベント名とメトリクス名、匿名 ID、パブリック IP）は、DEEPEVAL_TELEMETRY_OPT_OUT=1 にしない限り PostHog に送られます。テストケースは設定した判定器のプロバイダーに送信されます。Confident AI はアップロードを AWS に保存し、SSO と SOC 2 は Team プランから付きます。
- DeepEvalの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はpromptfoo, Ragas 、 Inspectです。
回答確認日：2026年10月23日