2026년 추천 오픈소스 LLM 평가 도구

저희가 리뷰한 오픈소스 LLM 평가 도구 7개 중 현재 추천은 promptfoo, Inspect 및 LM Evaluation Harness입니다. 각 제품을 저희 평점순으로 정렬하고 가격, 평가 요약, 추천 대상을 적었습니다.

작성: Sheela · 2026년 11월 2일 업데이트 · 리뷰 방법

순위 산정 방법: 각 제품의 가격, 문서, 정책, 그리고 독립 벤치마크가 있으면 그것까지 바탕으로 한 리뷰의 5점 만점 평점순으로 정렬합니다. 모든 정보는 리뷰에 적힌 날짜에 확인했습니다. 제휴 수수료는 받지 않습니다.

1
promptfoo
promptfoo는 LLM 회귀 테스트와 레드팀 스캔을 YAML 파일 하나와 CI 명령 하나로 바꿉니다. 지켜볼 부분은 새 소유자입니다.
추천 대상: CI에서 회귀 테스트와 보안 스캔을 원하는, LLM 앱을 출시하는 팀.
가격: CLI는 무료 오픈소스(MIT)이며, Community 사용에는 월 10,000회 프로브까지의 레드팀이 포함됩니다. Enterprise(관리형 클라우드)와 On-Premise는 견적 문의입니다.
promptfoo 리뷰 읽기
4.5/5
2
Inspect
Inspect는 정부와 독립 기관의 AI 안전성 테스트가 함께 쓰는 하네스입니다. CI에서 프롬프트를 점검하려는 제품팀에게는 필요 이상으로 큰 프레임워크입니다.
추천 대상: 에이전트와 역량 평가를 수행하는 연구자와 안전팀.
가격: MIT 라이선스의 무료 오픈소스입니다.
Inspect 리뷰 읽기
4.4/5
3
LM Evaluation Harness
모델 벤치마크의 공통 잣대이지만, 그 위에 만든 애플리케이션을 판단하기에는 맞지 않는 도구입니다.
추천 대상: 표준 벤치마크로 모델을 비교하는 연구자와 모델 학습자.
가격: MIT 라이선스의 무료 오픈소스입니다.
LM Evaluation Harness 리뷰 읽기
4.4/5
4
DeepEval
실제 비용은 판정 모델의 요금인 유능한 pytest 방식 평가 라이브러리이며, 퍼널 끝에는 월 $200짜리 플랫폼이 있습니다.
추천 대상: LLM 애플리케이션에 자동 품질 검사를 추가하는 Python 팀.
가격: Apache 2.0 라이선스의 무료 오픈소스입니다. Confident AI의 호스팅 플랫폼은 별도의 유료 제품입니다.
DeepEval 리뷰 읽기
4.2/5
5
e2e
e2e는 모델 호출을 없애야 할 대상으로 다루는 최초의 에이전트형 테스트 프레임워크이며, 재생 캐시 덕분에 일상 영어로 쓴 테스트를 CI에서 감당할 만한 비용으로 돌릴 수 있습니다.
추천 대상: 모든 셀렉터를 손으로 관리하지 않고 웹과 모바일에 걸쳐 읽기 쉬운 엔드투엔드 테스트를 원하는 제품팀.
가격: Apache-2.0으로 무료이며, 모델 비용은 직접 냅니다. TesterArmy의 호스팅 플랫폼은 별개입니다. Free(실행 5회), Hobby 월 $99(실행 250회), Startup 월 $299(실행 1,000회), Enterprise는 별도 견적입니다.
e2e 리뷰 읽기
4.0/5
6
TruLens
기업 소유자가 뒤에 있는 건실한 OpenTelemetry 네이티브 평가 라이브러리이지만, 작은 커뮤니티와 Snowflake 쪽으로의 끌림이 발목을 잡습니다.
추천 대상: RAG 앱이나 에이전트를 평가하는 Python 팀, 특히 이미 Snowflake에 데이터를 저장하는 팀.
가격: MIT 라이선스의 무료 오픈소스입니다. 피드백 함수마다 하는 심사 모델 호출 비용을 냅니다. Snowflake의 호스팅 AI Observability는 Snowflake로 청구되는 별도 제품입니다.
TruLens 리뷰 읽기
3.9/5
7
Ragas
지표 이름은 RAG 평가의 어휘가 됐지만, 코드는 관리자 없이 남겨졌습니다.
추천 대상: 기존 Ragas 테스트 모음이 있으며 버전을 고정하고 직접 수정을 유지할 수 있는 팀.
가격: Apache 2.0 라이선스의 무료 오픈소스입니다. 지표마다 하는 심사 모델 API 호출 비용을 냅니다.
Ragas 리뷰 읽기
3.4/5