본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

검색 지표(recall@k, nDCG, MRR)

검색 지표(retrieval metrics)는 검색 시스템이 관련 문서를 얼마나 잘 반환하는지 점수로 나타냅니다. Recall@k는 상위 k개에 관련 항목이 얼마나 들어 있는지, nDCG는 관련 항목을 높은 순위에 올렸는지, MRR은 첫 번째 정답이 얼마나 일찍 나오는지를 봅니다.

다른 이름: recall@k, nDCG, MRR, precision@k, mean reciprocal rank

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

검색 증강 생성 앱이 나쁜 답을 낸다면, 첫 번째 질문은 검색이 올바른 구절을 찾았느냐입니다. 검색 지표는 답변 품질과 별도로 이 질문에 답합니다. 레이블이 달린 세트가 필요합니다. 쿼리와 함께 반환되어야 할 문서를 적은 것으로, 흔히 골든 데이터셋의 일부입니다.

Recall@k

쿼리에 관련된 모든 문서 중 상위 k개 결과에 든 비율은 얼마인가? 질문에 답하는 구절이 셋이고 그중 둘이 상위 5개에 있다면 recall@5는 3분의 2입니다. 모델은 주어진 것만 쓸 수 있으므로, RAG에서는 이것이 가장 중요한 수치인 경우가 많습니다.

Precision@k

상위 k개 결과 중 관련 있는 것의 비율은 얼마인가? 정밀도가 낮으면 프롬프트가 잡음으로 가득 찹니다.

nDCG

Normalized discounted cumulative gain은 등급이 있는 관련도(매우 관련, 어느 정도, 무관)를 쓰며, 좋은 결과가 아래에 나올수록 점수를 덜 줍니다. 쿼리끼리 비교할 수 있도록 0에서 1 척도로 정규화합니다. MTEB의 검색 작업을 포함해 많은 검색 벤치마크가 이를 보고합니다.

MRR

Mean reciprocal rank는 첫 번째 정답만 봅니다. 첫 번째면 1, 두 번째면 1/2, 세 번째면 1/3이며, 이를 쿼리 전체에 걸쳐 평균합니다. 정답이 하나인 작업에 적합합니다.

활용법

청킹, 임베딩 모델, 리랭킹, 인덱스 설정을 바꿀 때마다 같은 쿼리 세트를 실행하십시오. 검색 지표는 최종 답변에 대한 LLM 평가와 함께 쓰십시오.

관련 용어

LLM 평가
LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
골든 데이터셋
골든 데이터셋(golden dataset)은 예상하는 답이나 동작과 짝지은 입력 예시를 신중하게 검토해 고정해 둔 모음으로, AI 시스템을 평가하거나 회귀 테스트할 때 기준으로 씁니다.
MTEB
MTEB(Massive Text Embedding Benchmark)는 텍스트 임베딩 모델을 검색, 클러스터링, 분류, 리랭킹 등 여러 작업 유형에 걸쳐 많은 데이터셋과 언어로 채점하는 공개 벤치마크이자 리더보드입니다.
리랭킹(Reranking)
리랭킹(reranking)은 후보 문서의 짧은 목록을 받아, 첫 검색보다 더 정확하지만 느린 모델로 쿼리와의 관련도에 따라 다시 정렬하는 두 번째 검색 단계입니다.
검색 증강 생성(Retrieval-augmented generation)
검색 증강 생성(retrieval-augmented generation, RAG)은 시스템이 먼저 문서 모음에서 질문과 관련된 구절을 검색한 뒤, 그 구절을 언어 모델에 주어 답변이 이를 바탕으로 하게 하는 패턴입니다.

출처