본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

골든 데이터셋

골든 데이터셋(golden dataset)은 예상하는 답이나 동작과 짝지은 입력 예시를 신중하게 검토해 고정해 둔 모음으로, AI 시스템을 평가하거나 회귀 테스트할 때 기준으로 씁니다.

다른 이름: ground truth, test set, golden set, eval set

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

비교할 기준이 없으면 프롬프트나 모델 변경이 상황을 나아지게 했는지 알 수 없습니다. 골든 데이터셋이 그 잣대입니다. 실제 입력 목록으로, 각 입력에 예상 출력이나 좋은 출력의 조건이 붙어 있습니다. 평가를 실행할 때마다 같은 목록으로 시스템에 점수를 매깁니다.

무엇을 넣는가

좋은 골든 세트는 실제 사용에서 나옵니다. 전형적인 요청, 실패하는 것을 본 어려운 사례, 빈 입력, 잘못된 언어, 프롬프트 인젝션 시도 같은 예외 사례입니다. Anthropic의 평가 가이드는 이를 분명하게 말합니다. 예외 사례를 잊지 마십시오. 각 항목에는 분야 전문가가 확인한 답이 필요합니다. 정답이 하나라면 코드가 골든 답과의 정확한 일치로 채점할 수 있습니다. 열린 출력이라면 기준표를 쓰고 LLM-as-a-judge나 사람이 채점합니다.

정답 레이블과 테스트 세트

정답 레이블(ground truth)은 항목 하나에 대한 올바른 레이블이고, 골든 데이터셋은 그 모음입니다. 테스트 세트(test set)는 측정에만 쓰고 학습에는 절대 쓰지 않는 보류 데이터를 가리키는 일반적인 머신러닝 용어입니다. 골든 세트를 프롬프트, 퓨샷 예시, 미세 조정 데이터에 넣지 마십시오. 그러면 실제 향상 없이 점수가 오르며, 이는 벤치마크 오염과 같은 문제입니다.

쓸모 있게 유지하기

세트를 코드와 함께 버전 관리하고, 운영 중에 새로 발견한 실패를 하나씩 추가하고, 제품이 바뀌면 레이블을 검토하십시오. 합성 데이터로 빈틈을 채울 수 있지만 사람이 확인하게 하십시오. 그러면 이 세트가 LLM 회귀 테스트와 더 넓은 LLM 평가의 바탕이 됩니다.

관련 용어

LLM 평가
LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
회귀 테스트(LLM 앱)
LLM 앱의 회귀 테스트(regression testing)는 프롬프트, 모델, 검색 설정, 도구를 바꿀 때마다 고정된 평가 케이스를 다시 실행해, 예전에는 잘 되다가 이제 실패하는 케이스를 잡아내는 것입니다.
LLM-as-a-judge
LLM-as-a-judge는 강한 언어 모델이 기준표, 참고 답안, 나란히 비교를 이용해 다른 모델이나 애플리케이션의 출력을 채점하는 평가 방법으로, 사람 검토자를 대신하거나 함께 쓰입니다.
벤치마크 오염
벤치마크 오염(benchmark contamination)은 모델이 학습 중에 벤치마크의 시험 문제나 답을 본 경우를 말합니다. 그러면 그 벤치마크 점수가 같은 종류의 새로운 문제를 다루는 실력을 부풀려 보여 줍니다.
합성 데이터(Synthetic data)
합성 데이터(synthetic data)는 실제 세계의 출처에서 수집하지 않고 소프트웨어, 흔히 다른 AI 모델로 생성한 학습용 또는 테스트용 데이터입니다. 빈틈을 메우거나, 예시를 저렴하게 늘리거나, 실제 개인 데이터의 노출을 피하는 데 쓰입니다.

출처