DeepEval의 개요
DeepEval은 LLM 애플리케이션을 pytest 방식으로 테스트하는 오픈소스 프레임워크입니다. 입력과 출력으로 테스트 케이스를 작성하고, 로컬이나 CI에서 지표에 대해 검증합니다.
지표는 여러 계열로 제공됩니다. G-Eval과 그래프 기반 DAG 같은 사용자 정의 판정기, RAG 지표(충실성, 문맥 재현율과 정밀도), 에이전트 지표(작업 완료, 도구 정확성, 계획 준수), 멀티턴 및 음성 에이전트 지표, 레드팀 테스트입니다. 대부분은 LLM 판정기가 점수를 매기며, 빠른 시작에서는 OpenAI를 쓰지만 어떤 모델이든 연결할 수 있습니다. Python 패키지와 나란히 TypeScript 패키지(npm의 deepeval, 버전 0.9.23)도 있습니다.
개발사인 Confident AI는 테스트 결과와 운영 추적을 위한 호스팅 플랫폼을 판매합니다. PyPI의 최신 Python 릴리스는 2026년 10월 16일의 4.3.1입니다.
DeepEval, 쓸 만한 가치가 있습니까?
DeepEval은 Python 팀이 기존 테스트 스위트에 LLM 검사를 넣는 가장 직접적인 방법입니다. 테스트는 pytest처럼 생겼고, CI에서 deepeval test run으로 실행되며, 충실성이나 작업 완료가 임계값 아래로 떨어지면 빌드를 실패시킵니다. GitHub 스타는 약 19,100개이고 거의 매달 릴리스되며, 오픈소스 평가 라이브러리 가운데 지표 카탈로그가 가장 넓은 편으로 이제 에이전트 계획과 음성 통화까지 다룹니다.
주의할 점: 대부분의 지표는 LLM 하나가 다른 LLM을 채점하는 방식입니다. 빠른 시작은 OPENAI_API_KEY를 설정하므로, 기본적으로 모든 테스트 케이스의 모든 지표가 유료 API 호출이며, 풀 리퀘스트마다 수백 개 케이스를 돌리면 비용이 쌓입니다. 판 정 모델이 바뀌면 점수도 움직입니다. 가장 많이 논의되는 열린 이슈가 이를 보여 줍니다. 잘못된 JSON을 반환하는 판정기('please use a better evaluation model'), Hugging Face 모델을 판정기로 쓸 때의 문제, 끝나지 않는 비동기 실행입니다.
텔레메트리는 기본으로 켜져 있습니다. 문서에 따르면 DeepEval은 이벤트 이름, 지표 이름, 익명 ID, 공인 IP 주소를 PostHog로 보냅니다. DEEPEVAL_TELEMETRY_OPT_OUT=1로 끌 수 있지만, 'Unable to disable telemetry'라는 제목의 열린 이슈에 댓글이 12개 달려 있습니다. 테스트 데이터는 로그인해 업로드할 때만 Confident AI로 갑니다.
Confident AI는 좌석이 아니라 조직 단위로 가격을 매깁니다. Free는 좌석 2개와 주당 테스트 실행 5회, Starter는 월 $200, Team은 SSO와 SOC 2를 포함해 월 $2,000, 맞춤형 Enterprise 등급은 온프레미스 배포와 HIPAA를 제공합니다. 라이브러리는 이 플랫폼 없이도 완전히 작동하지만, README와 CLI는 자주 그쪽을 가리킵니다. Promptfoo는 YAML 설정으로 비슷한 영역을 다루며 레드팀 기능이 더 강하고, Ragas는 범위가 좁아 RAG 전용이며, Inspect AI는 애플리케이션 테스트보다 모델 수준 벤치마크 작업에 더 맞습니다.
제 역할을 하는 곳
Python 스택으로 RAG 지원 봇을 출시하는 백엔드 팀
답변 충실성이 떨어지면 병합 막기
기존 pytest 스위트에 충실성과 문맥 재현율 테스트를 추가하고 풀 리퀘스트마다 실행합니다. 라이브러리는 무료지만 판정 호출은 그렇지 않으므로, 많은 팀이 전체 세트는 매일 밤 돌리고 PR마다 표본만 돌립니다.
도구 호출 에이전트를 만드는 ML 엔지니어
에이전트가 올바른 도구를 올바른 인자로 호출하는지 확인하기
Tool Correctness와 Argument Correctness는 호출을 기대값과 비교하고, Task Completion과 Plan Adherence는 LLM 판정기를 씁니다. 더 저렴하거나 로컬인 판정기는 비용을 줄이지만, 먼저 사람이 단 라벨 몇 개와 대조해 봐야 합니다.
직원 40명 규모 소프트웨어 회사의 AI 책임자
호스팅 평가 대시보드에 돈을 낼지 결정하기
Confident AI Starter는 좌석 무제한과 추적 5 GB-월을 포함해 월 $200 정액이고, 이후 GB-월당 $1입니다. SSO와 SOC 2는 월 $2,000인 Team부터입니다. 결과를 CI 아티팩트에 두면 비용은 없지만 이력과 추적 클러스터링을 잃습니다.
도입 전 확인할 점
- 설정
- pip install -U deepeval(Python 3.9 이상)을 실행하고, OPENAI_API_KEY를 설정하거나 다른 판정 모델을 구성한 뒤, 지표 하나로 테스트 파일을 작성하고 deepeval test run을 실행합니다.
- 연동
- pytest와 CI, LangChain, LangGraph, LlamaIndex, CrewAI, Pydantic AI, OpenAI Agents, Google ADK, AWS AgentCore, Strands, Vercel AI SDK, Mastra용 추적, 사용자 정의 판정 모델, Confident AI로의 선택적 업로드를 지원합니다.
- 데이터와 개인정보
- 로컬에서 실행됩니다. DEEPEVAL_TELEMETRY_OPT_OUT=1을 설정하지 않으면 텔레메트리(이벤트와 지표 이름, 익명 ID, 공인 IP)가 PostHog로 갑니다. 테스트 케이스는 설정한 판정 공급자로 전송됩니다. Confident AI는 업로드를 AWS에 저장하며, SSO와 SOC 2는 Team 요금제에 포함됩니다.
- 대규모 사용 시 비용
- 라이브러리는 무료이고, 판정 비용은 테스트 케이스 수에 지표 수와 실행 횟수를 곱한 만큼 늘어납니다. Confident AI는 Free(좌석 2개, 주당 테스트 실행 5회), Starter 월 $200, Team 월 $2,000, 온프레미스 배포를 포함한 맞춤형 Enterprise입니다.
- 제한
- 열린 이슈와 풀 리퀘스트 775개. 판정기가 잘못된 JSON을 반환해 테스트가 실패할 수 있고, 점수가 판정 모델에 따라 바뀌며, 비동기 실행이 멈춘다는 보고가 있습니다.
좋은 점
- CI에서 실행되는 pytest 방식 테스트
- RAG, 에이전트, 멀티턴, 음성까지 넓은 지표
- 로컬 모델을 포함해 어떤 LLM이든 판정기로 사용 가능
- Python과 TypeScript 패키지
아쉬운 점
- 대부분의 지표가 테스트 케이스마다 판정 모델 호출 비용 발생
- PostHog로 가는 텔레메트리가 기본으로 켜짐
- 판정기의 잘못된 출력이 흔한 실패 원인
- 문서와 CLI가 Confident AI 쪽으로 유도
추천 대상
LLM 애플리케이션에 자동 품질 검사를 추가하는 Python 팀.
DeepEval 대안
DeepEval: 자주 묻는 질문
- DeepEval, 쓸 만한 가치가 있습니까?
- 실제 비용은 판정 모델의 요금인 유능한 pytest 방식 평가 라이브러리이며, 퍼널 끝에는 월 $200짜리 플랫폼이 있습니다. 평점은 5점 만점에 4.2점입니다.
- DeepEval의 가격은 얼마입니까?
- Apache 2.0 라이선스의 무료 오픈소스입니다. Confident AI의 호스팅 플랫폼은 별도의 유료 제품입니다.
- DeepEval의 단점은 무엇입니까?
- 대부분의 지표가 테스트 케이스마다 판정 모델 호출 비용 발생; PostHog로 가는 텔레메트리가 기본으로 켜짐; 판정기의 잘못된 출력이 흔한 실패 원인; 문서와 CLI가 Confident AI 쪽으로 유도.
- DeepEval에 적합한 사람은 누구입니까?
- LLM 애플리케이션에 자동 품질 검사를 추가하는 Python 팀.
- 팀이나 프로덕션 환경에서 DeepEval의 비용은 얼마입니까?
- 라이브러리는 무료이고, 판정 비용은 테스트 케이스 수에 지표 수와 실행 횟수를 곱한 만큼 늘어납니다. Confident AI는 Free(좌석 2개, 주당 테스트 실행 5회), Starter 월 $200, Team 월 $2,000, 온프레미스 배포를 포함한 맞춤형 Enterprise입니다.
- DeepEval에 회사 데이터를 맡겨도 안전합니까?
- 로컬에서 실행됩니다. DEEPEVAL_TELEMETRY_OPT_OUT=1을 설정하지 않으면 텔레메트리(이벤트와 지표 이름, 익명 ID, 공인 IP)가 PostHog로 갑니다. 테스트 케이스는 설정한 판정 공급자로 전송됩니다. Confident AI는 업로드를 AWS에 저장하며, SSO와 SOC 2는 Team 요금제에 포함됩니다.
- DeepEval의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 promptfoo, Ragas 및 Inspect입니다.
답변 확인일: 2026년 10월 23일.
DeepEval 개발사입니까? 이 평점을 사이트에 표시하십시오
