LLM 평가
LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
다른 이름: evals, LLM evals, model evaluation
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
프롬프트를 바꾸거나, 모델을 교체하거나, 검색 단계를 더하면 애플리케이션이 어떤 입력에서는 나아지고 다른 입력에서는 나빠질 수 있습니다. 평가는 사용자보다 먼저 이를 알아내는 방법입니다. Anthropic 문서는 이를 간단히 말합니다. 먼저 성공 기준을 정의하고, 그다음 그 기준으로 측정할 평가를 설계하라는 것입니다.
작동 방식
평가에는 세 부분이 있습니다. 입력 데이터셋은 실제 사용에서 가져와 예외 사례를 포함하는 것이 이상적이며, 흔히 참고 답안과 함께 골든 데이터셋으로 관리합니다. 각 입력에 시스템을 실행하는 방법이 있습니다. 그리고 채점기가 있습니다. 채점기는 정확한 일치와 코드 점검(JSON이 파싱되는가, 테스트가 통과하는가)부터 유사도 점수, 사람의 검토, 그리고 두 번째 모델이 기준표에 따라 답을 채점하는 LLM-as-a-judge까지 다양합니다. Anthropic의 가이드는 채점을 자동화할 수 있도록 질문을 구성하고, 손으로 채점한 적은 사례보다 많은 테스트 사례를 택하라고 권합니다.
모델 평가와 애플리케이션 평가
공개 AI 벤치마크는 공통 과제로 모델을 평가하며, 후보 목록을 고르는 데 도움이 됩니다. 애플리케이션 평가는 자신의 데이터, 프롬프트, 도구를 쓰며, 시스템이 사용자에게 제대로 동작하는지 알려 줍니다. HELM 프로젝트는 정확도만이 아니라 정확도, 보정, 견고성 같은 여러 지표로 모델을 한꺼번에 측정하자고 주장했으며, 같은 개념이 자체 평가에도 적용됩니다.
실무
팀들은 프롬프트나 모델이 바뀔 때마다 CI에서 평가를 실행하며, 이를 LLM 회귀 테스트라고 부릅니다. 운영 트레이스에서 발견한 실패는 새 사례로 추가합니다. 오픈소스 프레임워크로는 promptfoo, DeepEval, Ragas가 있습니다. 평가 단계 가이드에서 도구를 비교합니다. 입력이 공격인 안전 평가는 보통 레드팀 테스트라고 부릅니다.
관련 용어
- LLM-as-a-judge
- LLM-as-a-judge는 강한 언어 모델이 기준표, 참고 답안, 나란히 비교를 이용해 다른 모델이나 애플리케이션의 출력을 채점하는 평가 방법으로, 사람 검토자를 대신하거나 함께 쓰입니다.
- AI 벤치마크
- AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
- AI 레드 티밍(AI red teaming)
- AI 레드 티밍(AI red teaming)은 공개 전후에 사람 테스터나 자동화 도구로 모델이나 AI 애플리케이션을 일부러 공격해, 유해한 출력, 탈옥, 인젝션 및 기타 실패를 찾아 고칠 수 있게 하는 일입니다.
- 골든 데이터셋
- 골든 데이터셋(golden dataset)은 예상하는 답이나 동작과 짝지은 입력 예시를 신중하게 검토해 고정해 둔 모음으로, AI 시스템을 평가하거나 회귀 테스트할 때 기준으로 씁니다.
- 회귀 테스트(LLM 앱)
- LLM 앱의 회귀 테스트(regression testing)는 프롬프트, 모델, 검색 설정, 도구를 바꿀 때마다 고정된 평가 케이스를 다시 실행해, 예전에는 잘 되다가 이제 실패하는 케이스를 잡아내는 것입니다.