본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

인간 평가

인간 평가(human evaluation)는 자동화된 지표 대신 사람이 AI 출력을 판단하는 것입니다. 예를 들어 평가자가 기준표에 따라 답에 점수를 매기거나, 블라인드 테스트에서 익명의 두 응답 중 더 나은 것을 고릅니다.

다른 이름: human raters, blind test, human grading, pairwise preference

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

답이 도움이 되는지, 잘 쓰였는지, 적절한지처럼 중요한 많은 품질은 코드로 채점하기 어렵습니다. 인간 평가는 사람에게 묻습니다. 더 저렴한 방법들을 검증하는 기준이 됩니다.

흔한 형식

절대 평가에서는 평가자가 출력 하나를 척도나 기준표로 채점합니다. 쌍대 선호 평가에서는 평가자가 같은 프롬프트에 대한 두 출력을 보고 더 나은 것을 고르며, 이쪽이 일관되게 하기 더 쉽습니다. 전문가 검토는 일반 평가자가 정확성을 판단할 수 없는 분야에서 의사나 변호사 같은 전문가를 씁니다. 블라인드 테스트는 어느 모델이 어떤 답을 썼는지 숨겨서 브랜드나 기대가 투표에 영향을 주지 않게 합니다.

어디서 쓰이는가

LMArena는 대중에게서 쌍대 투표를 모아 리더보드로 만들며, 운영진은 대중의 투표가 전문가 평가자와 잘 일치한다고 보고합니다. 모델 학습도 RLHF를 통해 사람의 선호를 씁니다. 자신의 앱에서는, 사람이 채점한 작은 예시 세트가 LLM-as-a-judge 채점기를 믿기 전에 그것이 사람과 일치하는지 확인하는 가장 좋은 방법입니다.

한계

Anthropic의 평가 가이드는 사람의 채점을 가장 유연하고 품질이 높은 방법이지만 느리고 비싸다고 말합니다. 평가자들은 의견이 갈리고, 지치고, 기준이 흔들리므로, 명확한 지침을 쓰고, 평가자 간 일치도를 측정하고, 골든 데이터셋에서 답이 알려진 항목을 섞으십시오. 선호가 정확성은 아닙니다. 자신감 있고 형식이 잘 갖춰진 답은 투표에서 이기고도 틀릴 수 있습니다.

관련 용어

LLM 평가
LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
LMArena
LMArena는 처음에 Chatbot Arena로 알려졌던 공개 플랫폼으로, 크라우드소싱한 사람들의 투표로 AI 모델 순위를 매깁니다. 사용자는 익명의 두 모델이 같은 프롬프트에 답하는 것을 보고 더 나은 응답을 고릅니다.
LLM-as-a-judge
LLM-as-a-judge는 강한 언어 모델이 기준표, 참고 답안, 나란히 비교를 이용해 다른 모델이나 애플리케이션의 출력을 채점하는 평가 방법으로, 사람 검토자를 대신하거나 함께 쓰입니다.
RLHF
RLHF(reinforcement learning from human feedback, 인간 피드백 기반 강화 학습)는 사람이 매긴 답변 순위를 이용해 언어 모델을 파인튜닝하는 방법입니다. 보상 모델이 그 선호를 학습하고, 강화 학습이 모델을 높은 점수를 받는 답 쪽으로 밀어붙입니다.
골든 데이터셋
골든 데이터셋(golden dataset)은 예상하는 답이나 동작과 짝지은 입력 예시를 신중하게 검토해 고정해 둔 모음으로, AI 시스템을 평가하거나 회귀 테스트할 때 기준으로 씁니다.

출처