본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

BM25

BM25는 키워드 검색을 위한 순위 공식입니다. 질의의 단어가 문서에 얼마나 자주 나오는지로 각 문서에 점수를 매기며, 드문 단어에 더 큰 가중치를 주고 긴 문서와 반복된 단어에는 점수를 덜 줍니다.

다른 이름: Okapi BM25, keyword search, lexical search

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

BM25는 Elasticsearch, OpenSearch, Lucene 같은 검색 엔진의 표준 키워드 순위 방법입니다. Okapi 정보 검색 연구에서 나왔으며, 신경망 기반 검색기와 비교해도 여전히 강력한 기준선입니다.

점수 매기는 방식

BM25는 질의의 각 단어에 대해 세 가지를 봅니다. 단어 빈도: 문서에 더 많이 나오는 단어일수록 점수가 높지만 효과는 점점 줄어들어, 한 번 더 나올 때마다 더해지는 점수가 작아집니다. 역문서 빈도: "pgvector" 같은 드문 단어는 "the" 같은 흔한 단어보다 훨씬 큰 비중을 가집니다. 문서 길이: 긴 문서는 우연히 더 많은 단어를 담고 있으므로 조금 감점됩니다. 보통 k1과 b라고 부르는 두 매개변수가 첫째와 셋째 효과를 조절합니다.

단어 주머니(bag-of-words) 방식이므로 단어 순서와 의미는 무시합니다.

AI에서 여전히 중요한 이유

BM25에는 모델도, GPU도, 임베딩 단계도 필요 없고, 제품 코드, 이름, 오류 메시지를 잘 처리합니다. BEIR 벤치마크는 BM25가 여러 검색 과제에 걸쳐 견고한 기준선임을 확인했습니다. 그래서 대부분의 하이브리드 검색 구성은 BM25를 벡터 검색과 짝지어 씁니다.

한계

BM25는 동의어나 바꿔 쓴 표현을 맞추지 못합니다. "car"로는 "automobile"을 찾지 못합니다. SPLADE 같은 학습 기반 희소 검색 모델은 같은 인덱스 구조를 유지하면서 관련 단어를 더해 이 빈틈을 메웁니다.

관련 용어

하이브리드 검색
하이브리드 검색(hybrid search)은 같은 질의로 키워드 검색과 벡터 검색을 함께 실행하고 두 순위 목록을 합쳐, 결과가 정확한 단어와 의미 모두로 일치할 수 있게 합니다.
희소 검색(Sparse retrieval)
희소 검색(sparse retrieval)은 쿼리와 문서를 어휘 전체에 걸친 벡터로 표현하되, 대부분의 항목이 0이고 0이 아닌 항목은 각각 단어 가중치인 방식입니다. 그래서 키워드 검색처럼 빠른 역색인을 쓸 수 있습니다.
벡터 검색(Vector search)
벡터 검색(vector search)은 항목의 임베딩을 쿼리의 임베딩과 비교해 가장 가까운 것을 돌려주는 방식으로 항목을 찾습니다. 그래서 결과가 공통 키워드가 아니라 의미로 일치합니다.
리랭킹(Reranking)
리랭킹(reranking)은 후보 문서의 짧은 목록을 받아, 첫 검색보다 더 정확하지만 느린 모델로 쿼리와의 관련도에 따라 다시 정렬하는 두 번째 검색 단계입니다.
검색 지표(recall@k, nDCG, MRR)
검색 지표(retrieval metrics)는 검색 시스템이 관련 문서를 얼마나 잘 반환하는지 점수로 나타냅니다. Recall@k는 상위 k개에 관련 항목이 얼마나 들어 있는지, nDCG는 관련 항목을 높은 순위에 올렸는지, MRR은 첫 번째 정답이 얼마나 일찍 나오는지를 봅니다.

출처