Nemotron 3.5 Rerank 8B의 개요
Nemotron 3.5 Rerank 8B는 NVIDIA가 2026년 10월 20일 OpenMDW-1.1 라이선스로 공개한 83.8억 파라미터의 오픈 리랭커입니다. 리랭커는 검색 시스템이 이미 찾아낸 후보 목록을 받아 질의와 문서를 함께 읽으며 각 후보를 다시 채점하는데, 벡터 비교보다 느리지만 더 정확합니다. 이 모델은 문서를 텍스트, 페이지 이미지 또는 둘 다로 받으므로 차트, 표, 스캔한 페이지를 직접 판단할 수 있으며, 질의는 텍스트입니다.
Mistral의 Ministral 3 8B에 Pixtral 이미지 인코더를 결합한 크로스 인코더로, 먼저 텍스트로, 이어서 230만 개의 이미지 샘플로 학습되었으며 NVIDIA의 Nemotron 3.5 Embed 뒤에 두도록 설계되었습니다. 쌍마다 원시 점수 하나를 내고, 최대 32,768토큰을 읽으며, NVIDIA GPU의 Transformers, Sentence Transformers, vLLM에서 실행됩니다.
Nemotron 3.5 Rerank 8B, 쓸 만한 가치가 있습니까?
Nemotron 3.5 Rerank 8B는 시각 문서용으로 가장 강력한 오픈 리랭커입니다. MTEB와 함께 시작된 ViDoRe v3.1 리랭킹 리더보드에서 2026년 10월 20일 이미지+텍스트 페이지 기준 nDCG@10 60.49로 1위에 올라 Alibaba Qwen3-VL-Reranker-8B의 59.17을 앞섰습니다. NVIDIA 자체 구성에서 Nemotron 3.5 Embed 1B의 상위 50개 결과를 재정렬하면 ViDoRe V3 이미지+텍스트는 58.82에서 67.56으로, MIRACL-VISION은 68.93에서 78.69로 오르며, Qwen 리랭커는 66.03과 75.06이었습니다.
이 개선은 에이전트 작업으로도 이어집니다. NVIDIA는 리랭커를 추가하자 에이전트의 질의당 토큰 비용이 8B 임베더에서 약 14%, 1B에서 13% 줄었다고 보고합니다. 결과를 읽는 모델이 더 좋은 페이지를 먼저 받아 검색을 덜 하기 때문입니다. NVIDIA 설명에 따르면 Perplexity는 비공개 72개 과제 벤치마크에서 이 모델이 가장 높은 평균을 기록했다고 확인했습니다.
일반 텍스트에서는 덜 분명합니다. NVIDIA 발표글 아래 올라온 커뮤니티 테스트에서는 BEIR 63.18로 Qwen3-Reranker-8B의 65.11에 뒤졌지만 MIRACL에서는 앞섰습니다(75.06 대 74.13). NVIDIA는 텍스트 전용 리랭킹 표를 따로 공개하지 않습니다. 텍스트만 검색한다면 0.6B의 Jina Reranker v3.5나 Cohere의 호스팅형 Rerank 5 같은 작은 리랭커가 여전히 더 저렴한 첫 선택입니다.
주의할 점: 8B만 제공되며 쌍을 하나씩 채점하므로, 후보 50개를 재정렬하면 질의마다 80억 파라미터 모델을 50번 통과하게 되고 페이지 이미지라면 더 늘어납니다. 출력은 보정된 확률이 아닌 원시 로짓이라 임계값은 말뭉치마다 조정해야 합니다. Linux의 NVIDIA GPU에서만 실행되며, OpenRouter에서는 당분간 무료이지만 이후 가격은 공개되지 않았습니다.
결론: 말뭉치가 PDF와 슬라이드이고 정확도가 전용 GPU 시간을 들일 가치가 있다면 Nemotron 3.5 Embed 뒤에 Nemotron 3.5 Rerank를 두십시오. 텍스트 검색이라면 1B 미만 리랭커로 적은 연산만으로 이점의 대부분을 얻을 수 있습니다.
제 역할을 하는 곳
보험사의 AI 플랫폼 팀
스캔한 보험 증권과 요율표에서 언더라이터의 질문에 답하기
Nemotron 3.5 Embed 1B로 50페이지를 가져와 8B로 이미지+OCR 텍스트로 재정렬하고 상위 5개를 언어 모델에 넘깁니다. 이 구성에서 NVIDIA의 ViDoRe V3 이미지+텍스트 점수는 58.82에서 67.56으로 오릅니다.
문서 저장소를 반복 검색하는 리서치 에이전트를 만드는 개발자
에이전트가 관련 없는 페이지를 읽느라 쓰는 토큰 줄이기
검색과 에이전트 사이에 리랭커를 넣습니다. NVIDIA는 8B 임베더에서 질의당 에이전트 토큰이 약 14% 줄었다고 측정했습니다. GPU 시간을 사기 전에 OpenRouter 무료 엔드포인트로 시제품을 만드십시오.
여러 언어의 제품 설명서를 가진 제조사의 검색 책임자
일본어나 독일어로 된 기술자 질문에 맞는 도해 찾기
NVIDIA는 일본어와 독일어를 포함한 18개 언어로 이미지 검색을 평가했으므로 자사 설명서로 시험해 보십시오. 후보 페이지마다 따로 채점하므로 리랭커용 GPU 한 장을 예산에 넣어야 합니다.
도입 전 확인할 점
- 설정
- pip install transformers 5.20.0과 sentence-transformers 후 nvidia/Nemotron-3.5-Rerank-8B-BF16을 불러와 질의-문서 쌍을 채점합니다. 별도 환경에서 vLLM 0.32.0으로 서빙할 수도 있습니다.
- 연동
- Transformers, Sentence Transformers, vLLM, NVIDIA NIM. OpenRouter(nvidia/nemotron-3.5-rerank-8b:free). Nemotron 3.5 Embed와 함께 사용. Elastic 지원은 곧 제공될 예정이라고 발표되었습니다.
- 데이터와 개인정보
- OpenMDW-1.1은 상업적 사용과 직접 호스팅을 허용하므로 문서는 자체 하드웨어에 남습니다. 상업적 사용이 허용된 데이터와 합성 데이터에서 텍스트 2,100만 개, 이미지 230만 개 샘플로 학습했습니다.
- 대규모 사용 시 비용
- 가중치와 OpenRouter 호출은 현재 무료입니다. 실제 비용은 GPU 시간이며, 8B 모델이 모든 후보를 채점합니다. NVIDIA는 A100 80GB, H100 80GB, GB200을 검증된 하드웨어로 제시하며 NIM 가격은 공개하지 않았습니다.
- 제한
- 질의-문서 쌍당 이미지 토큰을 포함해 32,768토큰. 이미지는 기본적으로 긴 변 1,120픽셀, 최대 1,540. 텍스트 질의만 가능. 원시 로짓 출력. Linux와 NVIDIA GPU.
좋은 점
- ViDoRe v3.1 리랭킹 리더보드 60.49로 1위(2026년 10월 20일)
- 페이지 이미지, 텍스트 또는 둘 다를 판단
- NVIDIA 테스트에서 Nemotron 3.5 Embed 1B 위에 MIRACL-VISION을 68.93에서 78.69로 향상
- 허용적인 OpenMDW-1.1 라이선스, 당분간 OpenRouter에서 무료
아쉬운 점
- 8B만 제공, 후보마다 전체 순전파 필요
- 커뮤니티 테스트에서 BEIR 텍스트는 Qwen3-Reranker-8B보다 낮음
- 보정된 확률이 아닌 원시 점수
- Linux의 NVIDIA GPU 전용
- NVIDIA의 텍스트 전용 벤치마크 미공개
추천 대상
PDF, 슬라이드, 스캔 문서를 대상으로 검색하며 가장 정밀한 오픈 2단계가 필요한 팀.
Nemotron 3.5 Rerank 8B 대안
Nemotron 3.5 Rerank 8B: 자주 묻는 질문
- Nemotron 3.5 Rerank 8B, 쓸 만한 가치가 있습니까?
- Nemotron 3.5 Rerank는 답이 차트 안에 있을 수 있는 문서 검색용 오픈 리랭커지만, 8B라서 일반 텍스트에는 무거운 2단계입니다. 평점은 5점 만점에 4.1점입니다.
- Nemotron 3.5 Rerank 8B의 가격은 얼마입니까?
- OpenMDW-1.1로 무료. 당분간 OpenRouter에서 무료이며, NVIDIA NIM도 제공되지만 공개 가격은 없습니다.
- Nemotron 3.5 Rerank 8B의 단점은 무엇입니까?
- 8B만 제공, 후보마다 전체 순전파 필요; 커뮤니티 테스트에서 BEIR 텍스트는 Qwen3-Reranker-8B보다 낮음; 보정된 확률이 아닌 원시 점수; Linux의 NVIDIA GPU 전용; NVIDIA의 텍스트 전용 벤치마크 미공개.
- Nemotron 3.5 Rerank 8B에 적합한 사람은 누구입니까?
- PDF, 슬라이드, 스캔 문서를 대상으로 검색하며 가장 정밀한 오픈 2단계가 필요한 팀.
- 팀이나 프로덕션 환경에서 Nemotron 3.5 Rerank 8B의 비용은 얼마입니까?
- 가중치와 OpenRouter 호출은 현재 무료입니다. 실제 비용은 GPU 시간이며, 8B 모델이 모든 후보를 채점합니다. NVIDIA는 A100 80GB, H100 80GB, GB200을 검증된 하드웨어로 제시하며 NIM 가격은 공개하지 않았습니다.
- Nemotron 3.5 Rerank 8B에 회사 데이터를 맡겨도 안전합니까?
- OpenMDW-1.1은 상업적 사용과 직접 호스팅을 허용하므로 문서는 자체 하드웨어에 남습니다. 상업적 사용이 허용된 데이터와 합성 데이터에서 텍스트 2,100만 개, 이미지 230만 개 샘플로 학습했습니다.
- Nemotron 3.5 Rerank 8B의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Cohere Rerank 5, Jina Reranker v3.5, Qwen3-Embedding and Qwen3-Reranker, zerank-2 및 mxbai-rerank v2입니다.
답변 확인일: 2026년 11월 7일.
Nemotron 3.5 Rerank 8B 개발사입니까? 이 평점을 사이트에 표시하십시오
