평가

확인할 점

선택지를 가르는 질문을 중요한 순서대로 정리했습니다.

1. 01

   리더보드가 아니라 나만의 테스트 세트

   LM Evaluation Harness 같은 도구로 돌리는 MMLU나 GSM8K 같은 공개 벤치마크는 모델을 일반적으로 비교할 뿐, 내 프롬프트, 문서, 사용자에 대해서는 거의 알려 주지 않습니다. 가장 쓸모 있는 평가는 정답이 알려진 내 제품의 실제 사례 50에서 200개이며, 버그가 운영 환경에 닿을 때마다 늘려 가야 합니다. 벤치마크 하네스는 파인튜닝이나 모델 교체가 일반 능력을 망가뜨리지 않았는지 확인하는 데 쓰고, 나머지는 모두 자체 세트로 확인하십시오.

2. 02

   오프라인 테스트와 온라인 채점

   오프라인 평가는 단위 테스트처럼 배포 전에 고정된 데이터셋을 돌립니다. 온라인 평가는 운영 중인 실제 트레이스의 표본을 같은 지표로 채점해, 테스트 세트에 없는 문제를 잡아냅니다. 둘 다 하는 플랫폼(Braintrust, Opik, Arize Phoenix)은 실패한 운영 트레이스를 새 테스트 사례로 만들 수 있게 합니다. promptfoo, DeepEval, Ragas 같은 라이브러리는 트레이싱 도구와 짝짓지 않는 한 오프라인입니다.

3. 03

   LLM 판정자의 신뢰성

   대부분의 품질 지표는 다른 모델에게 답을 채점하게 합니다. 판정자는 실행마다 달라지고, 더 길거나 더 자신 있는 답을 선호하며, 점수마다 비용이 듭니다. 판정 결과 표본을 손으로 확인하고, 점수가 시간에 따라 비교 가능하도록 판정 모델과 프롬프트를 고정하며, 작업이 허용하는 곳에서는 정확한 검사(문자열 일치, JSON 스키마, 코드 실행)를 우선하십시오.

4. 04

   검색과 생성을 분리하는 RAG 지표

   검색 증강 앱에서는 올바른 문서를 찾았는지(컨텍스트 정밀도와 재현율), 그리고 답이 그 문서를 벗어나지 않았는지(충실도)를 알아야 합니다. Ragas가 이 정의를 널리 알렸고, 이제 DeepEval, promptfoo, Braintrust의 오픈소스 autoevals 라이브러리도 구현합니다. 하나의 전체 '정확도' 점수는 파이프라인의 어느 쪽 절반이 실패했는지 가립니다.

5. 05

   CI 연동

   평가는 모든 프롬프트, 모델, 검색 변경에서 자동으로 돌아야만 회귀를 막습니다. promptfoo는 CI용으로 만든 YAML 설정과 CLI를 쓰고, DeepEval과 Opik은 pytest에 연결되며, Inspect와 LM Evaluation Harness는 Python이나 CLI 작업으로 실행됩니다. 지표마다 통과 기준을 두고 그 아래로 떨어지면 빌드를 실패시키십시오. 나중에 대시보드를 읽는 것보다 낫습니다.

6. 06

   테스트 세트 관리와 버전

   사례를 추가하고 레이블을 고치면서 데이터셋이 바뀌므로, 어느 버전의 세트가 결과를 냈는지 알아야만 결과를 비교할 수 있습니다. 호스팅 플랫폼은 데이터셋, 실험, 그 차이를 저장하고, 파일 기반 도구는 사용자가 테스트 사례를 Git에 보관하는 데 의존합니다. 어느 쪽이든 되지만, 세트가 수백 개를 넘기 전에 정하십시오.

7. 07

   에이전트 평가 지원

   에이전트에는 입력과 출력 검사 이상이 필요합니다. 올바른 도구를 합리적인 순서로, 예산 안에서, 위험한 동작 없이 호출했는가입니다. Inspect는 샌드박스 에이전트 평가에서 가장 강한 오픈 선택지이고, DeepEval은 에이전트 지표를 제공합니다. 도구가 마지막 메시지만이 아니라 트레이스 전체를 채점할 수 있는지 확인하십시오.

8. 08

   유지 관리와 라이선스

   Ragas는 2026년 1월 이후 릴리스가 없고 팀은 다른 일로 옮겨 갔습니다. promptfoo는 이제 OpenAI 소유입니다. Arize Phoenix는 오픈소스가 아니라 Elastic License 2.0의 소스 공개 라이선스입니다. 결격 사유는 아니지만, 몇 년 동안 CI에 자리 잡을 도구라면 중요합니다.

도구 16개 비교

저희 평점 순입니다. 각 리뷰에서 출처, 가격, 전체 평가를 확인할 수 있습니다.

평가 도구 비교

도구	평점	저희 평가	추천 대상	가격
Langfuse저장소	4.6/5	완전히 소유할 수 있는, 프레임워크에 중립적인 LLM 트레이싱입니다. 무료 자체 호스팅 빌드가 거의 모든 것을 다루고, 클라우드는 유닛 단위까지 가격이 매겨져 있습니다.	무료로 자체 호스팅하거나 합리적인 가격의 클라우드 서비스로 살 수 있는, 프레임워크 중립적 트레이싱과 평가를 원하는 팀.	ee/ 폴더가 상용 라이선스인 것을 제외하면 MIT 라이선스의 무료 오픈소스입니다. Cloud: Hobby 무료(월 50k 유닛), Core 월 $29, Pro 월 $199(Teams 추가 기능 +$300), Enterprise 월 $2,499이며, 초과분은 100k 유닛당 $8이고 50M을 넘으면 $6로 내려갑니다.
promptfoo저장소	4.5/5	promptfoo는 LLM 회귀 테스트와 레드팀 스캔을 YAML 파일 하나와 CI 명령 하나로 바꿉니다. 지켜볼 부분은 새 소유자입니다.	CI에서 회귀 테스트와 보안 스캔을 원하는, LLM 앱을 출시하는 팀.	CLI는 무료 오픈소스(MIT)이며, Community 사용에는 월 10,000회 프로브까지의 레드팀이 포함됩니다. Enterprise(관리형 클라우드)와 On-Premise는 견적 문의입니다.
Inspect저장소	4.4/5	Inspect는 정부와 독립 기관의 AI 안전성 테스트가 함께 쓰는 하네스입니다. CI에서 프롬프트를 점검하려는 제품팀에게는 필요 이상으로 큰 프레임워크입니다.	에이전트와 역량 평가를 수행하는 연구자와 안전팀.	MIT 라이선스의 무료 오픈소스입니다.
LM Evaluation Harness저장소	4.4/5	모델 벤치마크의 공통 잣대이지만, 그 위에 만든 애플리케이션을 판단하기에는 맞지 않는 도구입니다.	표준 벤치마크로 모델을 비교하는 연구자와 모델 학습자.	MIT 라이선스의 무료 오픈소스입니다.
MLflow저장소	4.4/5	여전히 ML 실험을 기록하는 기본 장소이며, 이제 LLM 트레이싱과 평가까지 무료로 딸려 옵니다. 다른 사람이 접근하기 전에 서버부터 잠그십시오.	모델을 학습하고 LLM 기능도 만들며, 둘 모두를 위한 무료 자체 호스팅 기록 시스템을 원하는 Python 팀.	Apache-2.0의 무료 오픈소스이며 서버, 데이터베이스, 객체 스토리지 비용만 냅니다. Databricks의 관리형 MLflow는 별도 정가 없이 Databricks 연산으로 청구되며, Free Edition은 개인 용도 전용입니다.
Braintrust도구	4.3/5	Braintrust는 마지막 변경이 제품을 더 좋게 만들었는지가 가장 어려운 질문인 팀을 위한 도구입니다. 사람이 아니라 데이터로 과금하므로 큰 팀에는 맞고, 로그를 많이 남기는 에이전트에는 아픕니다.	호스팅 추적과 함께 평가 중심 개발을 원하고 관리형 서비스에 기꺼이 돈을 내는 제품팀.	Starter 무료(데이터 1 GB, 점수 10k, 모델 크레딧 $10, 14일 보관, 사용자 무제한. 이후 GB당 $4, 점수 1,000개당 $2.50). Pro 월 $249(5 GB, 점수 50k, 모델 크레딧 $100, 30일 보관. 이후 GB당 $3, 점수 1,000개당 $1.50). Enterprise 맞춤, SAML, BAA, 자체 호스팅 데이터 플레인 포함. 자격을 갖춘 스타트업은 6~12개월 동안 Pro 무료.
DeepEval저장소	4.2/5	실제 비용은 판정 모델의 요금인 유능한 pytest 방식 평가 라이브러리이며, 퍼널 끝에는 월 $200짜리 플랫폼이 있습니다.	LLM 애플리케이션에 자동 품질 검사를 추가하는 Python 팀.	Apache 2.0 라이선스의 무료 오픈소스입니다. Confident AI의 호스팅 플랫폼은 별도의 유료 제품입니다.
Arize Phoenix저장소	4.2/5	Phoenix는 공개 트레이싱 도구 가운데 가장 강력한 평가 루프를 갖췄지만, 법무팀이 따져 보고 싶어 할 라이선스와 소유주를 안고 있습니다.	노트북에서 시작해 강력한 평가 루프를 갖춘 표준 기반 트레이싱을 원하는 엔지니어와 데이터 과학자.	Elastic License 2.0으로 자체 호스팅은 무료입니다(소스 공개, 타인을 위한 서비스 호스팅 금지). 관리형 Arize AX: Free(월 25k 스팬, 15일 보존, 1 GB), Pro 월 $50(50k 스팬, 30일, 10 GB), Enterprise 별도 견적.
LangSmith도구	4.2/5	LangSmith는 LangGraph 에이전트를 위한 가장 깊고 성숙한 추적과 평가를 갖췄으며, 예산이 큰 소규모 팀에 유리한 가격으로 좌석 단위로 팝니다.	LangChain이나 LangGraph로 운영 에이전트를 만들며 호스팅 추적, 평가, 배포를 한 업체에서 원하는 팀.	Developer 무료(좌석 1개, 월 기본 트레이스 5,000개). Plus 좌석당 월 $39(기본 트레이스 10,000개, 이후 종량제, 소형 서버리스 배포 1개). Enterprise 맞춤 견적, 하이브리드나 자체 호스팅 옵션. 기본 트레이스 14일, 확장 트레이스 180일 보관.
Opik저장소	4.1/5	Opik은 서버 전체를 Apache 2.0으로 내주고 가장 저렴한 호스팅 요금제를 팝니다. 하지만 자체 호스팅 빌드에는 사용자 계정이 없고 기본값으로 외부에 보고합니다.	허용적 라이선스의 자체 호스팅 트레이싱 및 평가 플랫폼이나 저렴한 호스팅 플랫폼을 원하는 팀.	Apache 2.0의 무료 오픈소스입니다. 클라우드: Free(월 25k span, 60일 보존), Pro 월 $19(100k span, 이후 100k당 $5, 400일 보존 추가 옵션은 100k span당 $29), Enterprise 별도 견적.
Arize AX도구	4.1/5	Arize AX는 개방형 계측 위에서 본격적인 에이전트 추적과 평가를 제공합니다. 다만 저렴한 요금제는 금방 바닥나고, 로드맵은 이제 Dynatrace의 손에 있습니다.	운영 중인 에이전트에 개방적이고 이식 가능한 계측 기반의 호스팅 추적과 평가를 원하며, Enterprise 계약을 협상할 수 있는 엔지니어링 팀.	AX Free $0(월 25,000 스팬, 1 GB, 15일 보관). AX Pro 월 $50(50,000 스팬, 10 GB, 30일 보관). Enterprise는 맞춤형으로 SSO, HIPAA, 자체 호스팅 포함. 모든 요금제에서 사용자 수 무제한.
Datadog LLM Observability도구	4.0/5	회사가 이미 Datadog에서 살고 있다면 에이전트를 지켜보기에 합리적인 곳입니다. 모델 호출당 과금도 처음 보기보다 공정합니다.	이미 Datadog을 운영하며 에이전트 트레이스를 서비스 및 인프라 모니터링 옆에 두고 싶은 엔지니어링 팀.	Free는 월 40K LLM 스팬까지, 15일 보관. Pro는 100K LLM 스팬에 연간 월 $160, 월간 $200, 온디맨드 $240부터. 이후 10K LLM 스팬당 $3.50(연간), $4.20(월간), $5(온디맨드). 보관 애드온은 30, 60, 90일에 대해 월 10K 스팬당 $6.50, $8, $9로 표시. LLM 스팬만 청구.
TruLens저장소	3.9/5	기업 소유자가 뒤에 있는 건실한 OpenTelemetry 네이티브 평가 라이브러리이지만, 작은 커뮤니티와 Snowflake 쪽으로의 끌림이 발목을 잡습니다.	RAG 앱이나 에이전트를 평가하는 Python 팀, 특히 이미 Snowflake에 데이터를 저장하는 팀.	MIT 라이선스의 무료 오픈소스입니다. 피드백 함수마다 하는 심사 모델 호출 비용을 냅니다. Snowflake의 호스팅 AI Observability는 Snowflake로 청구되는 별도 제품입니다.
Splunk Agent Observability도구	3.7/5	Galileo의 작은 판정 모델 덕분에 모든 에이전트 대화를 싸게 채점할 수 있지만, Splunk 아래에서는 영업 상담이 앞에 놓인 기업용 구매가 되었습니다.	모든 에이전트 대화를 채점하고 런타임에 위험한 행동을 막고 싶은, 이미 Splunk Observability를 쓰는 대규모 조직.	Agent Observability는 연간 결제로 연 1.2M span당 월 $100부터이며, 연 Luna 토큰 500M개와 Luna 파인튜닝 5회가 포함됩니다. 추가 Luna 토큰과 더 긴 보관은 견적제입니다. Splunk Observability Cloud Free Edition(최대 15호스트, 만료 없음)에 에이전트 추적이 포함됩니다. Galileo의 예전 Free(월 5,000트레이스)와 Pro(연간 결제 월 $100, 50,000트레이스) 요금제는 더 이상 공개되지 않습니다.
W&B Weave저장소	3.6/5	모델이 이미 Weights & Biases에 있다면 켤 만합니다. 메가바이트당 $0.10이라면 새로 시작하는 사람에게는 권하기 어렵습니다.	이미 모델 학습에 Weights & Biases를 쓰며 LLM 트레이스와 평가를 같은 곳에 두고 싶은 팀.	SDK는 Apache 2.0으로 무료입니다. 호스팅: Free(월 1 GB Weave 수집), Pro 월 $60부터(1.5 GB, 이후 MB당 $0.10), Enterprise 별도 견적(초과 MB당 $0.20 표시)과 전용 배포.
Ragas저장소	3.4/5	지표 이름은 RAG 평가의 어휘가 됐지만, 코드는 관리자 없이 남겨졌습니다.	기존 Ragas 테스트 모음이 있으며 버전을 고정하고 직접 수정을 유지할 수 있는 팀.	Apache 2.0 라이선스의 무료 오픈소스입니다. 지표마다 하는 심사 모델 API 호출 비용을 냅니다.

사양 비교

이 단계에서 중요한 사양입니다. 2026년 10월 19일에 확인했습니다. 도입 전에 공급업체 사이트에서 확인하세요.

이 단계가 쓰이는 곳

• 문서와 대화하기: Ragas부터 시작하겠습니다.
• 고객 지원 에이전트: DeepEval부터 시작하겠습니다.
• 코딩 에이전트: Inspect부터 시작하겠습니다.
• 리서치 및 지식 그래프: Ragas부터 시작하겠습니다.
• 장기 메모리를 갖춘 어시스턴트: DeepEval부터 시작하겠습니다.
• 이미지 생성 파이프라인: promptfoo부터 시작하겠습니다.
• 음성 에이전트: DeepEval부터 시작하겠습니다.
• 문서 처리: DeepEval부터 시작하겠습니다.
• 직접 파인튜닝한 모델: LM Evaluation Harness부터 시작하겠습니다.

이 가이드의 출처

• promptfoo: evaluating RAG pipelines
• Ragas on GitHub
• DeepEval on GitHub
• Inspect on GitHub
• LM Evaluation Harness on GitHub
• autoevals on GitHub
• Braintrust docs