LLM-as-a-judge
LLM-as-a-judge는 강한 언어 모델이 기준표, 참고 답안, 나란히 비교를 이용해 다른 모델이나 애플리케이션의 출력을 채점하는 평가 방법으로, 사람 검토자를 대신하거나 함께 쓰입니다.
다른 이름: judge model, LLM judge, model-graded eval
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
요약, 고객 지원 답장, 조언처럼 많은 AI 출력은 정확한 일치로 확인할 수 없습니다. 사람의 검토가 최고의 기준이지만 느리고 비쌉니다. 판정 모델은 수천 개의 출력을 빠르게 채점할 수 있으므로 LLM 평가에서 흔히 쓰는 채점기입니다.
작동 방식
판정 모델에게 입력, 채점할 출력, 지침을 줍니다. 흔한 형식은 기준표에 따른 단일 점수(예: 답이 출처에 충실한가, 1에서 5), 특정 규칙에 대한 통과 또는 실패, 두 답 사이의 쌍대 선택입니다. 점수를 주기 전에 판정 모델에게 근거를 설명하게 하면 결정을 감사하기 쉬워집니다.
Zheng 등은 MT-Bench와 Chatbot Arena를 이용해 이 방법에 이름을 붙이고 연구했습니다. 이들은 GPT-4 같은 강한 판정 모델이 사람의 선호와 80% 넘게 일치했으며, 이는 사람끼리 일치하는 수준과 비슷하다고 보고했습니다.
알려진 편향
같은 논문은 설계할 때 감안해야 할 문제들을 기록했습니다. 위치 편향: 먼저 나온 답을 선호하는 것. 장황함 편향: 더 긴 답을 선호하는 것. 자기 강화 편향: 판정 모델 자신과 같은 계열의 모델이 쓴 답을 선호하는 것. 판정 모델은 자신이 풀지 못하는 수학과 추론을 채점하는 데도 어려움을 겪습니다. 흔한 해결책은 답의 순서를 바꿔 평균 내기, 판정 모델에게 참고 답안 주기, 다른 계열의 모델을 판정 모델로 쓰기입니다.
사람을 루프에 두기
판정 점수를 믿기 전에 표본을 인간 평가와 대조하고, 판정 모델이나 프롬프트를 바꾸면 다시 확인하십시오. 사람이 레이블을 붙인 골든 데이터셋이 있으면 이 보정을 반복할 수 있습니다. DeepEval과 promptfoo 같은 프레임워크는 바로 쓸 수 있는 판정 지표를 제공합니다.
관련 용어
- LLM 평가
- LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
- 인간 평가
- 인간 평가(human evaluation)는 자동화된 지표 대신 사람이 AI 출력을 판단하는 것입니다. 예를 들어 평가자가 기준표에 따라 답에 점수를 매기거나, 블라인드 테스트에서 익명의 두 응답 중 더 나은 것을 고릅니다.
- 골든 데이터셋
- 골든 데이터셋(golden dataset) 은 예상하는 답이나 동작과 짝지은 입력 예시를 신중하게 검토해 고정해 둔 모음으로, AI 시스템을 평가하거나 회귀 테스트할 때 기준으로 씁니다.
- LMArena
- LMArena는 처음에 Chatbot Arena로 알려졌던 공개 플랫폼으로, 크라우드소싱한 사람들의 투표로 AI 모델 순위를 매깁니다. 사용자는 익명의 두 모델이 같은 프롬프트에 답하는 것을 보고 더 나은 응답을 고릅니다.