Eval-Driven Developmentとは?
このリポジトリはライブラリではなく参照用のプロジェクトです。小さなエージェントを1つだけ作ります。Pydantic AI上の金融ニュースアシスタントで、OpenAIのモデルとSearchAPIのMCP検索サーバーを呼び出します。そこに本番運用のエージェントに必要なテストと監視を組み合わせています。
中心にあるのはprompt_eval.jsonです。エージェントのプロンプト、モデル、合格条件をまとめたバージョン付きの契約で、回答に含めるべき語、モデル呼び出しとツール呼び出しの上限、LLMジャッジ用の評価基準を定めます。3つのスクリプトがこれに照らして動作を確認します。繰り返しのライブ実行、Grafana Tempoに保存済みのトレースに対する決定的なチェック、そして保存済みの回答に対するLLMジャッジによる評価です。Docker ComposeファイルでローカルにPrometheus、Loki、Tempo、SeaweedFS、Grafanaを起動でき、docs/blogにある2本の長文が設計の考え方を説明しています。
作者は1人(alexcpn)で、2026年8月14日に作成され、コミットは17件、最後は2026年8月17日です。
Eval-Driven Developmentは使う価値があるか?
Eval-Driven Developmentは、エージェントのプロンプトをテスト付きのコードとして扱う方法を簡潔に示すデモであり、それ以上のものではありません。GitHubのスターは10、フォークは2、コミットは2026年8月の4日間に行われた17件で、その後の動きはありません。
持ち帰る価値があるのは契約ファイルの考え方です。プロンプト、そのバージョン、モデル、評価方針が1つのJSONレコードにまとまり、各トレースがagent_idとprompt_versionを保持するため、保存済みのトレースはいつでも実行時点のルールで採点できます。トレースモードはOpenTelemetryのスパン名からモデル呼び出しとツール呼び出しの回数を数え、トークンを消費しません。ジャッジモードが消費するのはジャッジ用モデル(既定はgpt-4o-mini)のトークンだけです。ライブモードは既定で各ケースを3回実行し、1つでも失敗するとステータス1で終了するため、CIパイプラインにそのまま組み込めます。Pydantic Evalsには上限しか用意されていないため、独自の小さな評価器MinToolCallsがその穴を埋めています。
注意点:このスタックは教材用の構成で、安全な既定値ではありません。ComposeファイルはGrafana、Prometheus、Loki、Tempoをlocalhostではなくすべてのネットワークインターフェースに公開し、Grafanaはadmin/adminで起動します。127.0.0.1に限定されているのはSeaweedFSだけです。誰も到達できないマシンで動かすか、先にポート設定を変更してください。READMEはトレースの保存期間を24時間としていますが、tempo.ymlでは720時間(30日)に設定されています。ラ イセンスファイルがないため、コードを読むことはできても、自分のプロジェクトにコピーする権利は与えられていません。サンプル契約のエージェントモデルはopenai:gpt-4で、例はOpenAIと検索を組み合わせたエージェント1つだけです。
結論:Pydantic EvalsとTempoのトレースをつなぐための注釈の行き届いた設計図であり、自分のコードで手作業で組み直すのが最善です。運用できる保守されたツールとしては、Promptfoo、DeepEval、Inspectがライセンスとユーザー基盤を備えて評価を担えます。
真価を 発揮する場面
フィンテック製品にLLMエージェントを追加するバックエンドエンジニア
エージェントをリリースする前に回帰チェックの関門を設ける
契約ファイルの方式を踏襲します。エージェントのバージョンごとに必須語とリクエスト・ツール呼び出しの上限を記したJSONレコードを1つ用意し、CIでライブ評価をケースごとに3回実行して、終了コード1ならビルドを失敗させます。ライブ実行のたびにOpenAIとSearchAPIの利用枠を消費します。
すでにGrafana Tempoを運用しているプラットフォームチーム
本番のトレースを、それを生成したプロンプトのバージョンに照らして確認する
トレース用スクリプトを改造し、直近1時間のトレースの10%を抽出してスパン名からツール呼び出し回数を採点します。モデル呼び出しを行わないため、1時間ごとのチェックに費用はかかりません。ジャッジ用スクリプトを加えれば、gpt-4o-miniの料金で評価基準に基づく採点ができます。
導入前に確認すること
- 導入
- Python 3.10+、uv、Docker Compose、OpenAIのキー、SearchAPIのMCPトークンが必要です。docker composeで監視スタックを起動し、続いてuv run python main.pyを実行します。
- 連携
- Pydantic AIとPydantic Evals、OpenAIのモデル、MCPToolset経由のMCP、OpenTelemetry、Prometheus、Loki、Tempo、SeaweedFS、Grafana。
- データとプライバシー
- プロンプトと回答はOpenAIに、検索クエリはSearchAPIに送られます。トレースとログはローカルのDockerボリュームに残ります。tempo.ymlによりTempoはトレースを720時間保持し、Lokiには保存期間の上限が設定されていません。
- 制限
- ライセンスなし。Grafana、Prometheus、Loki、Tempoのポートはすべてのインターフェースで待ち受け、Grafanaは既定の認証情報のまま。サンプルのエージェントは1つだけで、タグ付きリリースはありません。
良い点
- 1つのバージョン管理ファイルでプロンプト、モデル、評価ルールを結び付ける
- 新たなモデル呼び出しや検索なしで保存済みTempoトレースを採点できる
- 終了コードとMarkdown・JSONのレポートがCIに向いている
- 詳しいREADMEと設計に関する2本の解説
気になる点
- ライセンスファイルがない
- Grafana、Prometheus、Loki、Tempoが全インターフェースに公開され、Grafanaのログインはadmin/admin
- 作者は1人、コミット17件、2026年8月17日以降は更新なし
- トレースの保存期間についてREADMEと設定が食い違っている
おすすめの人
Pydantic AIで初めて本番用エージェントを作り、評価とトレースの仕組みを自分で実装し直すための実例を求めるエンジニア。
Eval-Driven Developmentの代替
Eval-Driven Development:よくある質問
- Eval-Driven Developmentは使う価値があるか?
- エージェントのプロンプトをテストと一緒にバージョン管理し、保存済みトレースを採点するための整った設計図ですが、ライセンスがなくコミットも4日分だけなので、依存先ではなく読むための参考資料です。 評価は5点満点中3.0点です。
- Eval-Driven Developmentの料金は?
- 無料で読めますが、リポジトリにライセンスファイルがないため再利用の権利は与えられていません。実行にはOpenAIとSearchAPIの利用料がかかります。
- Eval-Driven Developmentの欠点は?
- ライセンスファイルがない; Grafana、Prometheus、Loki、Tempoが全インターフェースに公開され、Grafanaのログインはadmin/admin; 作者は1人、コミット17件、2026年8月17日以降は更新なし; トレースの保存期間についてREADMEと設定が食い違っている.
- Eval-Driven Developmentは誰に向いているか?
- Pydantic AIで初めて本番用エージェントを作り、評価とトレースの仕組みを自分で実装し直すための実例を求めるエンジニア。
- Eval-Driven Developmentは企業データを扱っても安全か?
- プロンプトと回答はOpenAIに、検索クエリはSearchAPIに送られます。トレースとログはローカルのDockerボリュームに残ります。tempo.ymlによりTempoはトレースを720時間保持し、Lokiには保存期間の上限が設定されていません。
- Eval-Driven Developmentの代わりになるものは?
- 当サイトでレビューした中で最も近い代替はpromptfoo, DeepEval, Inspect 、 Langfuseです。
回答確認日:2026年11月18日