Eval-Driven Development의 개요
이 저장소는 라이브러리가 아니라 참고용 프로젝트입니다. 작은 에이전트 하나를 만듭니다. Pydantic AI 기반의 금융 뉴스 비서로, OpenAI 모델과 SearchAPI의 MCP 검색 서버를 호출합니다. 여기에 운영 환경의 에이전트에 필요한 테스트와 모니터링을 덧붙였습니다.
핵심은 prompt_eval.json입니다. 에이전트의 프롬프트, 모델, 통과 규칙을 함께 묶은 버전 관리 계약으로, 답변에 들어가야 할 단어, 모델 요청과 도구 호출 횟수의 한도, LLM 심사자용 채점 기준을 담습니다. 세 개의 스크립트가 이 계약에 비추어 동작을 확인합니다. 반복 라이브 실행, Grafana Tempo에 이미 저장된 트레이스에 대한 결정적 검사, 그리고 저장된 답변에 대한 LLM 심사 방식의 평가입니다. Docker Compose 파일로 Prometheus, Loki, Tempo, SeaweedFS, Grafana를 로컬에 띄우며, docs/blog의 긴 글 두 편이 설계 의도를 설명합니다.
작성자는 한 명(alexcpn)이고, 2026년 8월 14일에 만들어졌으며, 커밋은 17개로 마지막은 2026년 8월 17일입니다.
Eval-Driven Development, 쓸 만한 가치가 있습니까?
Eval-Driven Development는 에이전트의 프롬프트를 테스트가 딸린 코드처럼 다루는 방법을 간결하게 보여 주는 시연이며, 그 이상은 아닙니다. GitHub 스타 10개, 포크 2개, 2026년 8월 나흘 동안 만든 커밋 17개가 전부이고 이후 활동은 없습니다.
가져갈 만한 아이디어는 계약 파일입니다. 프롬프트, 그 버전, 모델, 평가 정책이 JSON 레코드 하나에 들어 있고 모든 트레이스가 agent_id와 prompt_version을 담고 있으므로, 저장된 트레이스는 언제든 실행 당시의 규칙으로 채점할 수 있습니다. 트레이스 모드는 OpenTelemetry 스팬 이름으로 모델 요청과 도구 호출 횟수를 세며 토큰을 쓰지 않습니다. 심사 모드는 심사 모델(기본값 gpt-4o-mini)의 토큰만 씁니다. 라이브 모드는 기본적으로 각 사례를 3번 실행하고 하나라도 실패하면 상태 1로 종료하므로 CI 파이프라인에 바로 넣을 수 있습니다. Pydantic Evals에는 최대값 평가기만 있어서, 작은 자체 평가기 MinToolCalls가 그 빈틈을 메웁니다.
주의할 점: 이 스택은 교육용 구성이지 안전한 기본 설정이 아닙니다. Compose 파일은 Grafana, Prometheus, Loki, Tempo를 localhost가 아닌 모든 네트워크 인터페이스에 공개하고, Grafana는 admin/admin으로 시작합니다. 127.0.0.1에 묶인 것은 SeaweedFS뿐입니다. 아무도 접근할 수 없는 장비에서 돌리거나, 먼저 포트 설정을 바꾸십시오. README는 트레이스를 24시간 보관한다고 하지만 tempo.yml은 720시간(30일)으로 설정되어 있습니다. 라이선스 파일이 없으므로 코드를 읽을 수는 있어도 자신의 프로젝트에 복사할 권리는 주어지지 않습니다. 예제 계약의 에이전트 모델은 openai:gpt-4이며, 예제는 OpenAI와 검색을 쓰는 에이전트 하나만 다룹니다.
결론: Pydantic Evals와 Tempo 트레이스를 연결하는 주석이 잘 달린 설계도이며, 자신의 코드로 직접 다시 짜는 것이 가장 좋습니다. 운영할 수 있는 관리되는 도구로는 Promptfoo, DeepEval, Inspect가 라이선스와 사용자 기반을 갖추고 평가를 맡습니다.
제 역할을 하는 곳
핀테크 제품에 LLM 에이전트를 추가하는 백엔드 엔지니어
에이전트 출시 전에 회귀 검사 관문 만들기
계약 파일 방식을 따릅니다. 에이전트 버전마다 필수 단어와 요청, 도구 호출 한도를 적은 JSON 레코드를 하나씩 두고, CI에서 라이브 평가를 사례당 3번 돌려 종료 코드 1이면 빌드를 실패시킵니다. 라이브 실행마다 OpenAI와 SearchAPI 할당량이 소모됩니다.
이미 Grafana Tempo를 운영하는 플랫폼 팀
운영 트레이스를 그것을 만든 프롬프트 버전에 비추어 확인하기
트레이스 스크립트를 고쳐 최근 1시간 트레이스의 10%를 표본 추출하고 스팬 이름으로 도구 호출 횟수를 채점합니다. 모델을 호출하지 않으므로 매시간 검사해도 비용이 들지 않습니다. 심사 스크립트를 더하면 gpt-4o-mini 요금으로 채점 기준에 따른 평가가 가능합니다.
도입 전 확인할 점
- 설정
- Python 3.10+, uv, Docker Compose, OpenAI 키, SearchAPI MCP 토큰이 필요합니다. docker compose로 관측 스택을 띄운 뒤 uv run python main.py를 실행합니다.
- 연동
- Pydantic AI와 Pydantic Evals, OpenAI 모델, MCPToolset을 통한 MCP, OpenTelemetry, Prometheus, Loki, Tempo, SeaweedFS, Grafana.
- 데이터와 개인정보
- 프롬프트와 답변은 OpenAI로, 검색어는 SearchAPI로 전송됩니다. 트레이스와 로그는 로컬 Docker 볼륨에 남습니다. tempo.yml에 따라 Tempo는 트레이스를 720시간 보관하며, Loki에는 보관 한도가 설정되어 있지 않습니다.
- 제한
- 라이선스 없음. Grafana, Prometheus, Loki, Tempo 포트가 모든 인터페이스에서 대기하며 Grafana 기본 자격 증명을 사용. 예제 에이전트는 하나뿐이고 태그된 릴리스가 없습니다.
좋은 점
- 버전 관리되는 파일 하나로 프롬프트, 모델, 평가 규칙을 묶음
- 새 모델 호출이나 검색 없이 저장된 Tempo 트레이스를 채점
- 종료 코드와 Markdown, JSON 보고서가 CI에 적합
- 자세한 README와 설계에 관한 글 두 편
아쉬운 점
- 라이선스 파일 없음
- Grafana, Prometheus, Loki, Tempo가 모든 인터페이스에 노출되고 Grafana 로그인은 admin/admin
- 작성자 한 명, 커밋 17개, 2026년 8월 17일 이후 없음
- 트레이스 보관 기간에 대해 README와 설정이 서로 다름
추천 대상
Pydantic AI로 첫 운영용 에이전트를 만들면서 평가와 트레이싱 구조를 직접 다시 구현할 실제 예시가 필요한 엔지니어.
Eval-Driven Development 대안
Eval-Driven Development: 자주 묻는 질문
- Eval-Driven Development, 쓸 만한 가치가 있습니까?
- 에이전트의 프롬프트를 테스트와 함께 버전 관리하고 저장된 트레이스를 채점하는 깔끔한 설계도지만, 라이선스가 없고 커밋도 나흘치뿐이라 의존할 대상이 아니라 읽어 볼 참고 자료입니다. 평점은 5점 만점에 3.0점입니다.
- Eval-Driven Development의 가격은 얼마입니까?
- 무료로 읽을 수 있지만 저장소에 라이선스 파일이 없어 재사용 권리는 주어지지 않습니다. 실행하면 OpenAI와 SearchAPI 사용료가 듭니다.
- Eval-Driven Development의 단점은 무엇입니까?
- 라이선스 파일 없음; Grafana, Prometheus, Loki, Tempo가 모든 인터페이스에 노출되고 Grafana 로그인은 admin/admin; 작성자 한 명, 커밋 17개, 2026년 8월 17일 이후 없음; 트레이스 보관 기간에 대해 README와 설정이 서로 다름.
- Eval-Driven Development에 적합한 사람은 누구입니까?
- Pydantic AI로 첫 운영용 에이전트를 만들면서 평가와 트레이싱 구조를 직접 다시 구현할 실제 예시가 필요한 엔지니어.
- Eval-Driven Development에 회사 데이터를 맡겨도 안전합니까?
- 프롬프트와 답변은 OpenAI로, 검색어는 SearchAPI로 전송됩니다. 트레이스와 로그는 로컬 Docker 볼륨에 남습니다. tempo.yml에 따라 Tempo는 트레이스를 720시간 보관하며, Loki에는 보관 한도가 설정되어 있지 않습니다.
- Eval-Driven Development의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 promptfoo, DeepEval, Inspect 및 Langfuse입니다.
답변 확인일: 2026년 11월 18일.