Was ist Nemotron 3.5 Rerank 8B?
Nemotron 3.5 Rerank 8B ist ein offener Reranker von NVIDIA mit 8,38 Milliarden Parametern, am 20. Oktober 2026 unter der Lizenz OpenMDW-1.1 veröffentlicht. Ein Reranker nimmt die Vorauswahl, die ein Suchsystem schon gefunden hat, und bewertet jeden Kandidaten neu, indem er Anfrage und Dokument gemeinsam liest, was langsamer als ein Vektorvergleich, aber genauer ist. Dieser hier nimmt Dokumente als Text, Seitenbilder oder beides an, sodass Diagramme, Tabellen und gescannte Seiten direkt beurteilt werden können; Anfragen sind Text.
Es ist ein Cross-Encoder auf Basis von Mistrals Ministral 3 8B mit einem Pixtral-Bildencoder, zuerst auf Text und dann auf 2,3 Millionen Bildbeispielen trainiert, und soll hinter NVIDIAs Nemotron 3.5 Embed sitzen. Es gibt pro Paar einen Rohwert aus, liest bis zu 32.768 Tokens und läuft in Transformers, Sentence Transformers und vLLM auf NVIDIA-GPUs.
Lohnt sich Nemotron 3.5 Rerank 8B?
Nemotron 3.5 Rerank 8B ist der stärkste offene Reranker für visuelle Dokumente. Im Reranking-Leaderboard von ViDoRe v3.1, das mit MTEB startete, lag er am 20. Oktober 2026 mit 60,49 nDCG@10 bei Seiten aus Bild plus Text auf Platz eins, gegenüber 59,17 für Alibabas Qwen3-VL-Reranker-8B. In NVIDIAs eigenem Aufbau, bei dem die besten 50 Ergebnisse von Nemotron 3.5 Embed 1B neu sortiert werden, hebt er ViDoRe V3 für Bild plus Text von 58,82 auf 67,56 und MIRACL-VISION von 68,93 auf 78,69, gegenüber 66,03 und 75,06 für den Qwen-Reranker.
Die Gewinne tragen bis in Agenten-Workloads. NVIDIA meldet, dass der Reranker die Token-Kosten eines Agenten pro Anfrage mit dem 8B-Embedder um etwa 14% und mit dem 1B um 13% senkte, weil das Modell, das die Ergebnisse liest, zuerst bessere Seiten bekommt und weniger sucht. Perplexity stellte laut NVIDIA fest, dass er auf einem privaten Benchmark mit 72 Aufgaben den höchsten Durchschnitt erzielte.
Bei reinem Text ist das Bild weniger eindeutig. Ein Community-Test unter NVIDIAs Ankündigung sah ihn bei BEIR mit 63,18 hinter Qwen3-Reranker-8B mit 65,11, bei MIRACL aber vorn (75,06 gegenüber 74,13); NVIDIA veröffentlicht keine eigene Tabelle für reines Text-Reranking. Für reine Textsuche bleiben kleinere Reranker wie Jina Reranker v3.5 mit 0.6B oder Coheres gehostetes Rerank 5 die günstigere erste Wahl.
Der Haken: Es gibt nur ein 8B, und es bewertet Paare einzeln, das Reranking von 50 Kandidaten bedeutet also 50 Durchläufe durch ein Modell mit 8 Milliarden Parametern pro Anfrage, mehr bei Seitenbildern. Die Ausgabe ist ein roher Logit statt einer kalibrierten Wahrscheinlichkeit, Schwellenwerte müssen also pro Korpus abgestimmt werden. Es läuft nur auf NVIDIA-GPUs unter Linux und ist auf OpenRouter vorerst kostenlos, ohne veröffentlichten Preis für später.
Unser Fazit: Nemotron 3.5 Rerank gehört hinter Nemotron 3.5 Embed, wenn dein Korpus aus PDFs und Folien besteht und die Präzision eigene GPU-Zeit rechtfertigt; für Textsuche holt ein Reranker unter 1B den Großteil des Nutzens für einen Bruchteil der Rechenleistung.
Wo es sich lohnt
Ein KI-Plattformteam bei einem Versicherer
Fragen von Underwritern aus gescannten Policen und Tariftabellen beantworten
50 Seiten mit Nemotron 3.5 Embed 1B abrufen, sie mit dem 8B als Bild plus OCR-Text neu sortieren und die besten fünf an das Sprachmodell geben; NVIDIAs Wert für Bild plus Text auf ViDoRe V3 steigt in diesem Aufbau von 58,82 auf 67,56.
Ein Entwickler, der einen Recherche-Agenten baut, der wiederholt einen Dokumentenspeicher durchsucht
Die Tokens senken, die der Agent für irrelevante Seiten verbraucht
Den Reranker zwischen Suche und Agent schalten; NVIDIA maß mit dem 8B-Embedder etwa 14% weniger Agenten-Tokens pro Anfrage. Vor dem Kauf von GPU-Zeit mit dem kostenlosen OpenRouter-Endpunkt prototypisieren.
Ein Suchverantwortlicher bei einem Hersteller mit Produkthandbüchern in vielen Sprachen
Das passende Schaubild zur Frage eines Technikers auf Japanisch oder Deutsch finden
NVIDIA hat die Bildsuche in 18 Sprachen getestet, darunter Japanisch und Deutsch, also mit eigenen Handbüchern prüfen; eine GPU für den Reranker einplanen, da jede Kandidatenseite einzeln bewertet wird.
Bevor du dich festlegst
- Einrichtung
- pip install transformers 5.20.0 und sentence-transformers, nvidia/Nemotron-3.5-Rerank-8B-BF16 laden und Paare aus Anfrage und Dokument bewerten; oder mit vLLM 0.32.0 in einer separaten Umgebung bereitstellen.
- Integrationen
- Transformers, Sentence Transformers, vLLM, NVIDIA NIM; OpenRouter (nvidia/nemotron-3.5-rerank-8b:free); passt zu Nemotron 3.5 Embed; Unterstützung durch Elastic ist angekündigt.
- Daten und Datenschutz
- OpenMDW-1.1 erlaubt kommerzielle Nutzung und Selbsthosting, Dokumente bleiben also auf deiner Hardware. Trainiert mit 21 Millionen Text- und 2,3 Millionen Bildbeispielen aus kommerziell zulässigen und synthetischen Daten.
- Kosten im großen Maßstab
- Gewichte und OpenRouter-Aufrufe sind heute kostenlos; die eigentlichen Kosten sind GPU-Zeit, da ein 8B-Modell jeden Kandidaten bewertet. NVIDIA nennt A100 80GB, H100 80GB und GB200 als getestete Hardware; NIM-Preise sind nicht veröffentlicht.
- Grenzen
- 32.768 Tokens pro Paar aus Anfrage und Dokument einschließlich Bild-Tokens; Bilder standardmäßig mit 1.120 Pixeln an der längsten Kante, bis 1.540; nur Textanfragen; gibt rohe Logits aus; Linux und NVIDIA-GPUs.
Was gut ist
- Platz eins im Reranking-Leaderboard von ViDoRe v3.1 mit 60,49 (20. Oktober 2026)
- Beurteilt Seitenbilder, Text oder beides
- Hebt MIRACL-VISION in NVIDIAs Test von 68,93 auf 78,69 über Nemotron 3.5 Embed 1B
- Freizügige Lizenz OpenMDW-1.1; vorerst kostenlos über OpenRouter
Was nicht
- Nur 8B; jeder Kandidat ist ein vollständiger Durchlauf
- Liegt in einem Community-Test bei BEIR-Text hinter Qwen3-Reranker-8B
- Rohwerte, keine kalibrierten Wahrscheinlichkeiten
- Nur NVIDIA-GPUs unter Linux
- Kein veröffentlichter reiner Text-Benchmark von NVIDIA
Am besten für
Teams mit Retrieval über PDFs, Folien und gescannte Dokumente, die die präziseste offene zweite Stufe brauchen.
Alternativen zu Nemotron 3.5 Rerank 8B
Nemotron 3.5 Rerank 8B: häufige Fragen
- Lohnt sich Nemotron 3.5 Rerank 8B?
- Nemotron 3.5 Rerank ist der offene Reranker für Dokumentensuche, bei der die Antwort in einem Diagramm stecken kann, doch mit 8B ist er für reinen Text eine schwere zweite Stufe. Wir bewerten es mit 4.1 von 5.
- Was kostet Nemotron 3.5 Rerank 8B?
- Kostenlos unter OpenMDW-1.1. Vorerst kostenlos über OpenRouter; NVIDIA NIM verfügbar, ohne öffentlichen Preis.
- Welche Nachteile hat Nemotron 3.5 Rerank 8B?
- Nur 8B; jeder Kandidat ist ein vollständiger Durchlauf; Liegt in einem Community-Test bei BEIR-Text hinter Qwen3-Reranker-8B; Rohwerte, keine kalibrierten Wahrscheinlichkeiten; Nur NVIDIA-GPUs unter Linux; Kein veröffentlichter reiner Text-Benchmark von NVIDIA.
- Für wen eignet sich Nemotron 3.5 Rerank 8B?
- Teams mit Retrieval über PDFs, Folien und gescannte Dokumente, die die präziseste offene zweite Stufe brauchen.
- Was kostet Nemotron 3.5 Rerank 8B für ein Team oder im Produktivbetrieb?
- Gewichte und OpenRouter-Aufrufe sind heute kostenlos; die eigentlichen Kosten sind GPU-Zeit, da ein 8B-Modell jeden Kandidaten bewertet. NVIDIA nennt A100 80GB, H100 80GB und GB200 als getestete Hardware; NIM-Preise sind nicht veröffentlicht.
- Ist Nemotron 3.5 Rerank 8B sicher für Firmendaten?
- OpenMDW-1.1 erlaubt kommerzielle Nutzung und Selbsthosting, Dokumente bleiben also auf deiner Hardware. Trainiert mit 21 Millionen Text- und 2,3 Millionen Bildbeispielen aus kommerziell zulässigen und synthetischen Daten.
- Was sind die besten Alternativen zu Nemotron 3.5 Rerank 8B?
- Die nächsten Alternativen, die wir getestet haben, sind Cohere Rerank 5, Jina Reranker v3.5, Qwen3-Embedding and Qwen3-Reranker, zerank-2 und mxbai-rerank v2.
Antworten geprüft am 7. Nov. 2026.
Du entwickelst Nemotron 3.5 Rerank 8B? Zeig diese Bewertung auf deiner Website
