고르는 방법
- 리랭커를 추가하기 전에 하이브리드(키워드와 벡터) 검색부터 추가하십시오.
- 정답이 상위 20개에는 자주 있지만 상위 3개에는 없을 때 리랭커는 추가 지연 시간만큼의 값을 합니다.
- 모델에 보내는 구절 수를 적게 유지하십시오. 맥락이 많다고 좋은 맥락은 아닙니다.
확인할 점
선택지를 가르는 질문을 중요한 순서대로 정리했습니다.
01
내 1단계 검색 대비 개선 폭
리랭커의 가치는 무엇을 다시 순위 매기느냐에 달려 있습니다. Voyage 자체 테스트에서 rerank-3는 BM25 키워드 검색을 20% 끌어올렸지만, 강한 임베딩 모델은 6%만 끌어올렸습니다. 내 쿼리로 리랭커가 있을 때와 없을 때의 100에서의 재현율과 10에서의 NDCG를 측정하십시오. 정답 구절이 상위 20개에 거의 들지 않는다면, 리랭커를 더하기 전에 검색(하이브리드 검색, 더 나은 청킹)부터 고치십시오.
02
BEIR와 MTEB 수치 읽는 법
대부분의 리랭커 점수는 공개 검색 데이터셋 모음인 BEIR나 MTEB 리더보드의 검색 및 리랭킹 작업에서의 NDCG@10입니다. 리랭커 점수는 어떤 1단계 검색기가 후보를 냈는지와 몇 개를 다시 순위 매겼는지(대개 상위 100개)에 따라 달라지고, 업체마다 다른 설정을 고르므로, 한 카드의 63과 다른 카드의 57은 직접 비교할 수 없습니다. 모든 모델을 같은 후보로 돌린 표를 우선하고, 평균이 아니라 내 분야에 가장 가까운 영역(법률, 코드, 다국어 MIRACL이나 Mr.TyDi)을 보며, 업체 표는 재현해 봐야 할 주장으로 여기십시오.
03
쿼리당 지연 시간
리랭커는 모든 검색에 모델 호출을 하나 더하고, 비용은 후보 수 곱하기 문서 길이로 늘어납니다. 공개된 수치는 약 0.3초(A100에서 Jina v3.5)부터 0.9초(mxbai-rerank-large-v2)까지이며, 리랭커로 쓰는 LLM은 수십 초가 걸릴 수 있습니다. 실제 후보 수와 구절 길이로 p95를 측정하고, 재현율의 마지막 1점보다 지연 시간이 중요하다면 후보를 100개에서 30이나 50개로 줄이십시오.
04
크로스 인코더, 리스트와이즈, LLM 리랭커
크로스 인코더(포인트와이즈)는 쿼리-문서 쌍을 각각 독립적으로 채점합니다. Qwen3-Reranker, zerank-2, mxbai v2를 포함한 요즘 모델 대부분은 이렇게 쓰는 작은 LLM입니다. Jina v3.5와 Mixedbread의 v3.1 같은 리스트와이즈 리랭커는 후보 목록 전체를 한 번에 읽어 문서들을 서로 견줄 수 있지만, 컨텍스트 창에 모든 후보가 들어가야 합니다. 범용 LLM에 리랭킹을 프롬프트로 시키면 품질은 맞출 수 있지만 쿼리당 훨씬 느리고 비쌉니다.
05
최대 입력 길이
예전 리랭커는 512 토큰에서 잘라, 각 구절의 앞부분만 아무 표시 없이 채점했습니다. 요즘 모델은 쿼리-문서 쌍마다 8K에서 32K 토큰을 받고, Jina v3.5는 쿼리와 모든 후보를 합쳐 131K 토큰을 받습니다. 한도를 청크 크기에 맞추십시오. 청크가 길다면 API가 문서를 나눠 조각마다 청구하는지 확인하십시오. Cohere는 500 토큰을 넘으면 그렇게 합니다.
06
언어
다국어 주장은 목록 없는 "다국어"부터 100개 이상 언어까지 다양합니다. MIRACL이나 Mr.TyDi, 그리고 교차 언어 쿼리(독일어 문서에 대한 영어 질문)에서의 점수를 찾고, 내 언어로 시험하십시오. 예를 들어 mxbai v2는 100개 언어를 주장하지만 Mr.TyDi에서는 BGE 리랭커보다 뒤처집니다.
07
라이선스와 실행 방법
Qwen3-Reranker, zerank-2, mxbai v2는 Apache 2.0이라 어디서든 돌릴 수 있습니다. Jina v3.5 웨이트는 비상업용이므로 운영 환경에서 자체 호스팅하려면 유료 Elastic 라이선스가 필요합니다. Voyage와 Cohere는 API 전용이라 스택에서 GPU를 없애 주지만 문서를 제3자에게 보냅니다. 업체의 안정성도 확인하십시오. ZeroEntropy의 호스팅 API는 Notion이 7월에 회사를 인수한 뒤 2026년 9월 4일까지만 지원되었고, 오픈 웨이트만 남았습니다.
08
1,000회 검색당 가격
API는 토큰당(Voyage, Jina) 또는 검색당(Cohere)으로 가격을 매깁니다. 하나의 단위로 환산하십시오. 300 토큰짜리 구절 100개를 리랭킹하면 검색당 약 30,000 토큰이고, Voyage rerank-3의 백만 토큰당 $0.05로는 1,000회 검색당 약 $1.50입니다. 게이트웨이 목록 기준 Cohere Rerank 4 Pro는 1,000회당 약 $2.50입니다. 자체 호스팅은 이를 GPU 시간과 맞바꾸며, 꾸준히 많은 양일 때만 이득입니다.
내 데이터로 테스트하는 방법
- 대표적인 질문 50에서 100개를 만들고, 각 질문의 정답 구절을 표시하십시오.
- 어려운 사례를 포함하십시오. 약어, 정확한 ID, 모호한 질문, 긴 구절, 그리고 서비스하는 다른 언어입니다.
- 실제 1단계 검색(쓴다면 하이브리드)을 돌려 Recall@50이나 @100을 기록하십시오. 리랭커는 자기에게 닿지 않은 구절을 되살릴 수 없습니다.
- 같은 후보를 모델마다 리랭킹하고, 리랭커가 없을 때와 NDCG@10 및 Recall@5를 비교하십시오.
- 실제 후보 수, 구절 길이, 동시 접속에서 p95 지연 시간을 측정하십시오.
- 각 선택지를 1,000회 검색당 가격으로, 자체 호스팅이라면 GPU 시간으로 매기십시오.
- 최종 답변 품질을 엔드투엔드로 확인하십시오. 답을 바꾸지 않는 순위 개선은 그 지연 시간만큼의 가치가 없습니다.
선택지별 차이
검색은 두 단계로 이뤄집니다. 1단계인 키워드(BM25), 벡터, 하이브리드 검색은 빠르고 대 략 50에서 100개의 후보를 돌려줍니다. 그다음 리랭커가 쿼리와 각 후보를 함께 읽어 순서를 다시 매기는데, 더 느리지만 훨씬 정밀해서 가장 좋은 구절 몇 개만 모델에 닿게 합니다. LlamaIndex, Haystack, RAGFlow 같은 프레임워크는 스스로 리랭킹하지 않고 검색기와 리랭커를 연결합니다.
리랭커는 실행 방식과 읽는 방식으로 나뉩니다. 호스팅 API(Voyage rerank-3, Cohere Rerank 4)는 GPU가 필요 없고 토큰당 또는 검색당 가격이 매겨집니다. 오픈 웨이트 모델(Qwen3-Reranker, zerank-2, mxbai-rerank v2, 그리고 비상업용 라이선스의 Jina v3.5)은 내 하드웨어에서 돌아갑니다. 대부분은 문서를 하나씩 채점하고, Jina v3.5 같은 리스트와이즈 모델은 후보 목록 전체를 한 번에 비교합니다.
도구 9개 비교
저희 평점 순입니다. 각 리뷰에서 출처, 가격, 전체 평가를 확인할 수 있습니다.
| 도구 | 평점 | 저희 평가 | 추천 대상 | 가격 |
|---|---|---|---|---|
| Voyage rerank-3모델 | 4.6/5 | Voyage 자체 수치로는 rerank-3가 모든 호스팅 경쟁 모델을 앞서고, lite 모델은 너무 저렴해서 리랭킹을 얼마나 할지는 요금이 아니라 속도 제한이 정합니다. | 실서비스에서 RAG나 검색을 운영하며 비용 대비 가장 좋은 호스팅 리랭킹 품질을 원하는 팀. | rerank-3는 1M 토큰당 $0.05, rerank-3-lite는 1M 토큰당 $0.02이며, 처음 200M 토큰은 무료입니다. |
| Jina Reranker v3.5모델 | 4.3/5 | BEIR에서 4B 모델을 이기는 0.6B 리랭커지만, 셀프호스팅을 영업 상담으로 만드는 라이선스가 발목을 잡습니다. | 자체 하드웨어에서 작고 긴 컨텍스트를 지원하는 리랭커를 원하는 Elastic 사용자와 팀. | Jina API는 1M 토큰당 $0.05입니다. 가중치는 비상업적 용도에 한해 무료이며, 상업적 셀프호스팅에는 유료 Elastic 라이선스가 필요합니다. |
| LlamaIndex저장소 | 4.3/5 | 문서 중심 RAG를 위한 깊이 있는 툴킷이지만, 만든 회사는 이제 프레임워크가 더 이상 우선순위가 아니라고 분명히 말합니다. | 크고 다양한 데이터 소스 위에 RAG나 문서 에이전트를 만드는 Python 개발자. | 프레임워크는 MIT로 무료입니다. LlamaParse(유료 클라우드): Free는 10k 크레딧, Starter 월 $50(40k 크레딧), Pro 월 $500(400k 크레딧), Enterprise는 별도 견적이며, 1,000 크레딧 = $1.25입니다. |
| Haystack저장소 | 4.2/5 | RAG 시스템을 믿고 맡기기보다 직접 읽고 싶은 사람을 위한 프레임워크이며, 그 대가로 연결 작업을 더 많이 직접 써야 합니다. | Python으로 유지보수하기 쉬운 프로덕션 RAG와 에이전트 파이프라인을 만드는 엔지니어링 팀. | Apache 2.0 라이선스의 무료 오픈소스입니다. deepset Studio는 1인 사용자에게 무료이고, Haystack Enterprise Platform은 별도 견적입니다. |
| Qwen3-Embedding and Qwen3-Reranker모델 | 4.2/5 | 임베더와 리랭커를 하나의 라이선스로 갖춘 완전한 오픈 검색 스택입니다. 다만 순위표 1위 기록은 2025년 6월의 것입니다. | 다국어 또는 코드 검색을 자체 호스팅하면서 임베딩과 리랭킹을 하나의 오픈 라이선스로 갖추고 싶은 팀. | Apache 2.0 으로 무료. Qwen3 기반인 Qwen Cloud의 호스팅형 text-embedding-v4는 1M 토큰당 $0.07입니다. |
| RAGFlow저장소 | 4.0/5 | 서버 한 대에서 돌릴 수 있는 완성된 문서-답변 제품이지만, 보안 이력을 보면 공개 인터넷이 아니라 VPN 뒤에 두어야 합니다. | 파이프라인을 만들지 않고 자체 호스팅 문서 질의응답과 지식 도우미를 원하는 팀. | Apache 2.0 라이선스의 무료 오픈소스입니다. InfiniFlow는 RAGFlow Cloud도 판매합니다. Free(월 500 크레딧, API 키 없음), Starter 월 $29와 Pro 월 $129(각각 더 높은 $59와 $259 옆에 표시), BYOC와 온프레미스 배포가 있는 Enterprise는 문의입니다. |
| zerank-2모델 | 3.9/5 | 보정된 점수가 가치 있는 날카로운 오픈 리랭커이지만, 이제 뒤를 받쳐 주는 것은 자신의 GPU뿐입니다. | 이미 GPU 추론을 운영하면서 컷오프로 쓸 수 있는 관련성 점수를 내는 무료 리랭커를 원하는 팀. | Apache 2.0으로 무료입니다. ZeroEntropy 호스팅 API(출시 당시 1M 토큰당 $0.025)는 2026년 9월 4일까지만 지원되었고 지금은 사용 불가 오류를 반환합니다. |
| mxbai-rerank v2모델 | 3.8/5 | 라이선스만 보면 여전히 자체 호스팅하기 가장 안전한 소형 리랭커입니다. 다만 벤치마크 우위는 2025년 3월 기준입니다. | 작고 허용적인 라이선스의 리랭커를 자체 하드웨어에서 돌리려는 팀. | Apache 2.0으로 무료. 호스팅은 Mixedbread Search 안에서만 가능: 시맨틱 검색 1,000건당 $4, 리랭킹 포함 시 $7.50, Scale 요금제는 월 $20 크레딧. |
| Cohere Rerank 4모델 | 3.7/5 | Rerank 4는 여전히 작동하지만, Cohere가 발표한 모든 벤치마크에서 같은 회사의 Rerank 5가 앞섭니다. 새로 도입하기보다는 옮겨 가야 할 모델입니다. | Rerank 4 파이프라인을 조정해 두었고 Rerank 5에서 재검증하기까지 시간이 필요한 팀. | 검색 단위 과금(질의 1개, 문서 최대 100개). Vercel AI Gateway는 검색 1,000회당 Pro $2.50, Fast $2.00로 표기합니다. Cohere 페이지에는 더 이상 Rerank 4 요금이 나오지 않습니다. |
사양 비교
이 단계에서 중요한 사양입니다. 2026년 10월 23일에 확인했습니다. 도입 전에 공급업체 사이트에서 확인하세요.
| 도구 | 유형 | 매개변수 | 최대 토큰 | 언어 | 라이선스 / 이용 방법 |
|---|---|---|---|---|---|
| Voyage rerank-3 | 호스팅 리랭커, 지시 따르기 | 공개되지 않음 | 쿼리 + 문서 32K | 공개되지 않음 | 독점 API, MongoDB Atlas |
| Jina Reranker v3.5 | 리스트와이즈 LLM 리랭커 | 0.6B | 쿼리 + 모든 후보에 131K | 52 | CC BY-NC 4.0, API 또는 유료 라이선스 |
| LlamaIndex | 프레임워크(리랭커 연결) | 해당 없음 | 리랭커에 따라 다름 | 리랭커에 따라 다름 | MIT |
| Haystack | 프레임워크(리랭커 연결) | 해당 없음 | 리랭커에 따라 다름 | 리랭커에 따라 다름 | Apache 2.0 |
| Qwen3-Embedding and Qwen3-Reranker | 포인트와이즈 LLM 리랭커 | 0.6B, 4B, 8B | 32K | 100개 이상 | Apache 2.0 |
| RAGFlow | 하이브리드 + 리랭크를 갖춘 RAG 엔진 | 해당 없음 | 리랭커에 따라 다름 | 리랭커에 따라 다름 | Apache 2.0 |
| zerank-2 | 포인트와이즈 리랭커, 보정된 점수 | 4B | 32K | 100개 이상(업체 주장) | Apache 2.0, 호스팅 API 종료 |
| mxbai-rerank v2 | 포인트와이즈 LLM 리랭커 | 0.5B, 1.5B | 8K(32K 호환) | 100개 이상 | Apache 2.0 |
| Cohere Rerank 4 | 호스팅 리랭커(Pro 및 Fast) | 공개되지 않음 | 쿼리 + 문서 32K | 다국어(개수 공개되지 않음) | 독점 API, Model Vault |
이 단계가 쓰이는 곳
- 문서와 대화하기: Voyage rerank-3부터 시작하겠습니다.
- 고객 지원 에이전트: Cohere Rerank 4부터 시작하겠습니다.
- 리서치 및 지식 그래프: Jina Reranker v3.5부터 시작하겠습니다.
- 비공개 온디바이스 AI: Jina Reranker v3.5부터 시작하겠습니다.