Schritt 07 von 22
Retrieval und Reranking
Stichwort- und Vektorsuche kombinieren, dann die Ergebnisse nach Relevanz neu ordnen. Die erste Suche ist schnell, aber grob. Ein Reranker liest die besten Treffer gründlich und setzt den richtigen Abschnitt an die erste Stelle.
Von Sheela · Geprüft am 23. Okt. 2026 · So testen wir
So triffst du die Wahl
- Füge hybride Suche (Stichwort plus Vektor) hinzu, bevor du einen Reranker einbaust.
- Ein Reranker lohnt seine zusätzliche Latenz, wenn die richtige Antwort oft unter den ersten 20, aber nicht unter den ersten 3 liegt.
- Halte die Zahl der Abschnitte, die ans Modell gehen, klein; mehr Kontext ist nicht besserer Kontext.
Worauf du achten solltest
Die Fragen, die die Optionen unterscheiden, nach Wichtigkeit geordnet.
01
Gewinn gegenüber deiner eigenen ersten Stufe
Der Wert eines Rerankers hängt davon ab, was er neu ordnet. Voyages eigene Tests zeigen, dass rerank-3 die Stichwortsuche mit BM25 um 20% verbessert, ein starkes Embedding-Modell aber nur um 6%. Miss Recall bei 100 und NDCG bei 10 an deinen eigenen Anfragen mit und ohne Reranker; wenn der richtige Abschnitt selten unter den ersten 20 ist, repariere das Retrieval (hybride Suche, besseres Chunking), bevor du einen hinzufügst.
02
Wie man Zahlen aus BEIR und MTEB liest
Die meisten Werte für Reranker sind NDCG@10 auf BEIR, einer Sammlung öffentlicher Retrieval-Datensätze, oder auf den Retrieval- und Reranking-Aufgaben der MTEB-Rangliste. Der Wert eines Rerankers hängt davon ab, welcher Retriever der ersten Stufe die Kandidaten geliefert hat und wie viele neu geordnet wurden (meist die ersten 100), und Anbieter wählen verschiedene Setups, eine 63 von einer Modellkarte und eine 57 von einer anderen sind also nicht direkt vergleichbar. Nimm lieber Tabellen, die jedes Modell auf denselben Kandidaten laufen lassen, schau auf die Domäne, die deiner am nächsten ist (Recht, Code, mehrsprachig MIRACL oder Mr.TyDi), statt auf den Durchschnitt, und behandle Tabellen von Anbietern als Behauptungen, die zu reproduzieren sind.
03
Latenz pro Anfrage
Ein Reranker fügt jeder Suche einen Modellaufruf hinzu, und die Kosten wachsen mit Kandidaten mal Dokumentlänge. Veröffentlichte Werte reichen von etwa 0,3 Sekunden (Jina v3.5 auf einer A100) bis 0,9 Sekunden (mxbai-rerank-large-v2), und LLMs als Reranker können Dutzende Sekunden brauchen. Miss p95 mit deiner echten Zahl an Kandidaten und Abschnittslänge und reduziere die Kandidaten von 100 auf 30 oder 50, wenn die Latenz mehr zählt als der letzte Punkt Recall.
04
Cross-Encoder, listenweiser oder LLM-Reranker
Ein Cross-Encoder (punktweise) bewertet jedes Paar aus Anfrage und Dokument unabhängig; die meisten aktuellen Modelle, darunter Qwen3-Reranker, zerank-2 und mxbai v2, sind kleine LLMs, die so eingesetzt werden. Listenweise Reranker wie Jina v3.5 und v3.1 von Mixedbread lesen die ganze Kandidatenliste auf einmal und können Dokumente gegeneinander abwägen, aber ihr Kontextfenster muss jeden Kandidaten fassen. Ein allgemeines LLM per Prompt neu ordnen zu lassen, kann bei der Qualität mithalten, ist pro Anfrage aber weit langsamer und teurer.
05
Maximale Eingabelänge
Ältere Reranker schnitten bei 512 Tokens ab und bewerteten stillschweigend nur den Anfang jedes Abschnitts. Aktuelle Modelle nehmen 8K bis 32K Tokens pro Paar aus Anfrage und Dokument an, und Jina v3.5 nimmt 131K Tokens für Anfrage und alle Kandidaten zusammen. Passe das Limit an deine Chunk-Größe an; wenn Chunks lang sind, prüfe, ob die API Dokumente aufteilt und jedes Stück abrechnet, wie Cohere es über 500 Tokens tut.
06
Sprachen
Angaben zur Mehrsprachigkeit reichen von "mehrsprachig" ohne Liste bis zu mehr als 100 Sprachen. Achte auf Werte bei MIRACL oder Mr.TyDi und bei sprachübergreifenden Anfragen (eine englische Frage zu deutschen Dokumenten) und teste deine eigenen Sprachen: mxbai v2 zum Beispiel liegt bei Mr.TyDi trotz seiner Angabe von 100 Sprachen hinter den BGE-Rerankern.
07
Lizenz und wie du es betreiben kannst
Qwen3-Reranker, zerank-2 und mxbai v2 stehen unter Apache 2.0 und laufen überall. Die Gewichte von Jina v3.5 sind nichtkommerziell, Selbsthosting in der Produktion braucht also eine kostenpflichtige Lizenz von Elastic. Voyage und Cohere gibt es nur per API, was GPUs aus deinem Stack entfernt, aber Dokumente an einen Dritten schickt. Prüfe auch die Stabilität des Anbieters: Die gehostete API von ZeroEntropy wurde nur bis zum 4. September 2026 unterstützt, nachdem Notion das Unternehmen im Juli übernommen hatte, übrig sind nur die offenen Gewichte.
08
Preis pro 1.000 Suchen
APIs bepreisen pro Token (Voyage, Jina) oder pro Suche (Cohere). Rechne auf eine Einheit um: 100 Abschnitte mit 300 Tokens neu zu ordnen, sind etwa 30.000 Tokens pro Suche, was bei 0,05 $ pro Million Tokens für Voyage rerank-3 etwa 1,50 $ pro 1.000 Suchen ergibt, gegen über etwa 2,50 $ pro 1.000 für Cohere Rerank 4 Pro laut Gateway-Listen. Selbsthosten tauscht das gegen GPU-Stunden, was sich nur bei gleichmäßig hohem Volumen auszahlt.
So testest du es mit deinen eigenen Daten
- Stell 50 bis 100 repräsentative Fragen zusammen und markiere für jede die richtigen Abschnitte.
- Nimm schwierige Fälle auf: Abkürzungen, exakte IDs, mehrdeutige Fragen, lange Abschnitte und andere Sprachen, die du bedienst.
- Lass deine echte erste Stufe laufen (hybrid, wenn du sie nutzt) und notiere Recall@50 oder @100; ein Reranker kann keine Abschnitte zurückholen, die ihn nie erreichen.
- Ordne dieselben Kandidaten mit jedem Modell neu und vergleiche NDCG@10 und Recall@5 mit dem Ergebnis ohne Reranker.
- Miss die Latenz bei p95 mit deiner echten Zahl an Kandidaten, Abschnittslänge und Gleichzeitigkeit.
- Bepreise jede Option pro 1.000 Suchen oder, bei Selbsthosting, in GPU-Stunden.
- Prüfe die Qualität der finalen Antworten von Anfang bis Ende; ein Gewinn beim Ranking, der die Antworten nicht verändert, ist seine Latenz nicht wert.
Wie sich die Optionen unterscheiden
Retrieval geschieht in zwei Stufen. Die erste Stufe, Stichwortsuche (BM25), Vektor- oder hybride Suche, ist schnell und liefert vielleicht 50 bis 100 Kandidaten. Ein Reranker liest dann die Anfrage und jeden Kandidaten zusammen und ordnet sie neu, was langsamer, aber weit präziser ist, sodass nur die besten wenigen Abschnitte das Modell erreichen. Frameworks wie LlamaIndex, Haystack und RAGFlow ordnen nicht selbst neu; sie verbinden einen Retriever und einen Reranker.
Reranker unterscheiden sich darin, wie du sie betreibst und wie sie lesen. Gehostete APIs (Voyage rerank-3, Cohere Rerank 4) brauchen keine GPUs und werden pro Token oder pro Suche bepreist. Open-Weight-Modelle (Qwen3-Reranker, zerank-2, mxbai-rerank v2 und Jina v3.5 unter nichtkommerzieller Lizenz) laufen auf deiner eigenen Hardware. Die meisten bewerten ein Dokument nach dem anderen; listenweise Modelle wie Jina v3.5 vergleichen die ganze Vorauswahl in einem Durchgang.
9 Tools im Vergleich
Sortiert nach unserer Bewertung. Öffne einen Testbericht für Quellen, Preise und das vollständige Fazit.
| Tool | Bewertung | Unser Fazit | Ideal für | Preis |
|---|---|---|---|---|
| Voyage rerank-3Modell | 4.6/5 | Nach Voyages eigenen Zahlen liegt rerank-3 vor jedem gehosteten Konkurrenten, und das Lite-Modell kostet so wenig, dass das Rate Limit, nicht die Rechnung, bestimmt, wie viel Reranking du betreibst. | Teams mit RAG oder Suche im Produktivbetrieb, die für ihr Geld die beste gehostete Reranking-Qualität wollen. | rerank-3 0,05 $ pro 1 Mio. Tokens; rerank-3-lite 0,02 $ pro 1 Mio. Tokens; die ersten 200 Mio. Tokens kostenlos. |
| Jina Reranker v3.5Modell | 4.3/5 | Ein Reranker mit 0,6B Parametern, der bei BEIR einen mit 4B schlägt, gebremst durch eine Lizenz, die Self-Hosting zum Vertriebsgespräch macht. | Elastic-Nutzer und Teams, die einen kleinen Reranker mit langem Kontext auf eigener Hardware wollen. | Jina API 0,05 $ pro 1 Mio. Tokens. Gewichte kostenlos für nicht kommerzielle Nutzung; kommerzielles Self-Hosting braucht eine kostenpflichtige Lizenz von Elastic. |
| LlamaIndexRepo | 4.3/5 | Immer noch ein tiefes Toolkit für dokumentenlastiges RAG, aber sein Hersteller sagt inzwischen offen, dass das Framework nicht mehr seine Priorität ist. | Python-Entwickler, die RAG oder Dokumenten-Agenten über große, vielfältige Datenquellen bauen. | Framework kostenlos unter MIT. LlamaParse (bezahlte Cloud): Free mit 10k Credits, Starter 50 $/Monat (40k Credits), Pro 500 $/Monat (400k Credits), Enterprise nach Vereinbarung; 1.000 Credits = 1,25 $. |
| HaystackRepo | 4.2/5 | Ein Framework für Leute, die ihr RAG-System lesen wollen, statt ihm zu vertrauen, um den Preis, mehr von der Verdrahtung selbst zu schreiben. | Engineering-Teams, die wartbare RAG- und Agenten-Pipelines für die Produktion in Python bauen. | Kostenlos und Open Source unter der Apache-2.0-Lizenz. deepset Studio ist für einen Nutzer kostenlos; die Haystack Enterprise Platform wird individuell bepreist. |
| Qwen3-Embedding and Qwen3-RerankerModell | 4.2/5 | Ein kompletter offener Such-Stack unter einer Lizenz, Embedder und Reranker zusammen, auch wenn seine Spitzenposition auf der Rangliste aus dem Juni 2025 stammt. | Teams, die mehrsprachige Suche oder Code-Suche selbst hosten und Embedding und Reranking unter einer offenen Lizenz wollen. | Kostenlos unter Apache 2.0. Das gehostete text-embedding-v4 von Qwen Cloud, das auf Qwen3 aufbaut, kostet 0,07 $ pro 1M Tokens. |
| RAGFlowRepo | 4.0/5 | Ein fertiges Produkt vom Dokument bis zur Antwort, das auf einem einzigen Server läuft und dessen Sicherheitsbilanz sagt, dass es hinter ein VPN gehört und nicht ins offene Internet. | Teams, die selbst gehostete Fragen und Antworten über Dokumente und einen Wissensassistenten wollen, ohne eine Pipeline zu bauen. | Kostenlos und Open Source unter der Apache-2.0-Lizenz. InfiniFlow verkauft außerdem RAGFlow Cloud: Free (500 Credits im Monat, kein API-Key), Starter für 29 $ im Monat und Pro für 129 $ im Monat (jeweils neben höheren 59 $ und 259 $ angezeigt) sowie Enterprise auf Anfrage mit BYOC und On-Premises-Deployment. |
| zerank-2Modell | 3.9/5 | Ein präziser offener Reranker, dessen kalibrierte Scores sich lohnen, hinter dem jetzt aber niemand mehr steht außer deiner eigenen GPU. | Teams, die bereits GPU-Inferenz betreiben und einen kostenlosen Reranker mit Relevanz-Scores wollen, die sie als Schwellenwert nutzen können. | Kostenlos unter Apache 2.0. Die gehostete API von ZeroEntropy (0,025 $ pro 1 Mio. Tokens zum Start) wurde nur bis zum 4. September 2026 unterstützt und gibt jetzt einen Fehler zur Nichtverfügbarkeit zurück. |
| mxbai-rerank v2Modell | 3.8/5 | Allein wegen der Lizenz weiterhin der sicherste kleine Reranker zum Selbsthosten, auch wenn sein Benchmark-Vorsprung vom März 2025 stammt. | Teams, die einen kleinen, freizügig lizenzierten Reranker auf eigener Hardware betreiben wollen. | Kostenlos unter Apache 2.0. Gehostet nur in Mixedbread Search: semantische Suche 4 $ pro 1.000 Anfragen, 7,50 $ mit Reranking; Scale-Plan 20 $/Monat an Guthaben. |
| Cohere Rerank 4Modell | 3.7/5 | Rerank 4 funktioniert weiterhin, doch Coheres eigenes Rerank 5 schlägt es inzwischen in jedem Benchmark, den Cohere angibt. Damit ist es ein Modell, von dem man wegmigriert, nicht eines, das man neu einführt. | Teams mit einer abgestimmten Rerank-4-Pipeline, die Zeit brauchen, bevor sie auf Rerank 5 neu validieren. | Abrechnung pro Suche (eine Anfrage, bis zu 100 Dokumente). Vercel AI Gateway führt Pro mit 2,50 $ und Fast mit 2,00 $ pro 1.000 Suchen; Coheres Seite zeigt keine Preise für Rerank 4 mehr. |
Im direkten Vergleich
Die Spezifikationen, die für diesen Schritt zählen. Geprüft am 23. Okt. 2026; prüf sie auf der Website des Anbieters, bevor du dich festlegst.
| Tool | Typ | Parameter | Maximale Tokens | Sprachen | Lizenz / Zugang |
|---|---|---|---|---|---|
| Voyage rerank-3 | Gehosteter Reranker, befolgt Anweisungen | Nicht veröffentlicht | 32K Anfrage + Dokument | Nicht veröffentlicht | Proprietäre API, MongoDB Atlas |
| Jina Reranker v3.5 | Listenweiser LLM-Reranker | 0.6B | 131K für Anfrage + alle Kandidaten | 52 | CC BY-NC 4.0; API oder kostenpflichtige Lizenz |
| LlamaIndex | Framework (bindet Reranker ein) | Nicht zutreffend | Hängt vom Reranker ab | Hängt vom Reranker ab | MIT |
| Haystack | Framework (bindet Reranker ein) | Nicht zutreffend | Hängt vom Reranker ab | Hängt vom Reranker ab | Apache 2.0 |
| Qwen3-Embedding and Qwen3-Reranker | Punktweiser LLM-Reranker | 0.6B, 4B, 8B | 32K | Mehr als 100 | Apache 2.0 |
| RAGFlow | RAG-Engine mit hybrider Suche + Reranking | Nicht zutreffend | Hängt vom Reranker ab | Hängt vom Reranker ab | Apache 2.0 |
| zerank-2 | Punktweiser Reranker, kalibrierte Werte | 4B | 32K | Mehr als 100 (Angabe des Anbieters) | Apache 2.0; gehostete API eingestellt |
| mxbai-rerank v2 | Punktweiser LLM-Reranker | 0.5B, 1.5B | 8K (32K kompatibel) | Mehr als 100 | Apache 2.0 |
| Cohere Rerank 4 | Gehosteter Reranker (Pro und Fast) | Nicht veröffentlicht | 32K Anfrage + Dokument | Mehrsprachig (Anzahl nicht veröffentlicht) | Proprietäre API, Model Vault |
Wo diese Stufe hingehört
- Mit deinen Dokumenten chatten: Wir würden mit Voyage rerank-3 anfangen.
- Kundensupport-Agent: Wir würden mit Cohere Rerank 4 anfangen.
- Recherche und Knowledge Graph: Wir würden mit Jina Reranker v3.5 anfangen.
- Private KI auf dem eigenen Gerät: Wir würden mit Jina Reranker v3.5 anfangen.