Retrieval-Metriken (Recall@k, nDCG, MRR)
Retrieval-Metriken bewerten, wie gut ein Suchsystem relevante Dokumente liefert. Recall@k prüft, wie viele relevante Einträge unter den ersten k erscheinen, nDCG belohnt es, sie weit oben einzuordnen, und MRR misst, wie früh der erste richtige auftaucht.
Auch: recall@k, nDCG, MRR, precision@k, mean reciprocal rank
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Wenn deine App mit Retrieval-Augmented Generation schlechte Antworten gibt, lautet die erste Frage, ob das Retrieval die richtigen Passagen gefunden hat. Retrieval-Metriken beantworten das getrennt von der Antwortqualität. Du brauchst einen gelabelten Satz: Abfragen mit den Dokumenten, die zurückkommen sollten, oft Teil eines Golden Dataset.
Recall@k
Welcher Anteil aller relevanten Dokumente zu einer Abfrage ist unter den ersten k Ergebnissen? Wenn drei Passagen eine Frage beantworten und zwei unter den ersten 5 sind, beträgt Recall@5 zwei Drittel. Für RAG ist das oft die wichtigste Zahl, da das Modell nur nutzen kann, was es bekommt.
Precision@k
Welcher Anteil der ersten k Ergebnisse ist relevant? Niedrige Precision bedeutet, dass der Prompt voller Rauschen ist.
nDCG
Normalized Discounted Cumulative Gain nutzt abgestufte Relevanz (sehr relevant, etwas, nicht) und gibt umso weniger Punkte, je weiter unten ein gutes Ergebnis erscheint. Es ist auf eine Skala von 0 bis 1 normiert, damit sich Abfragen vergleichen lassen. Viele Retrieval-Benchmarks melden es, darunter die Retrieval-Aufgaben in MTEB.
MRR
Mean Reciprocal Rank betrachtet nur das erste richtige Ergebnis: 1, wenn es an erster Stelle steht, 1/2 an zweiter, 1/3 an dritter, gemittelt über die Abfragen. Es passt zu Aufgaben mit genau einer richtigen Antwort.
Anwendung
Lass denselben Satz von Abfragen laufen, wann immer du Chunking, das Embedding-Modell, das Reranking oder die Index-Einstellungen änderst. Kombiniere Retrieval-Metriken mit einer LLM-Evaluation der endgültigen Antworten.
Verwandte Begriffe
- LLM-Evaluierung
- LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
- Golden Dataset
- Ein Golden Dataset (Referenzdatensatz) ist ein fester, sorgfältig geprüfter Satz von Beispieleingaben mit den erwarteten Antworten oder dem erwarteten Verhalten, der als Referenz dient, wenn du ein KI-System evaluierst oder auf Regressionen testest.
- MTEB
- MTEB, der Massive Text Embedding Benchmark, ist ein öffentlicher Benchmark mit Leaderboard, der Text-Embedding-Modelle über viele Aufgabentypen wie Retrieval, Clustering, Klassifikation und Reranking bewertet, auf vielen Datensätzen und in vielen Sprachen.
- Reranking
- Reranking (Neusortierung) ist ein zweiter Suchschritt, der eine kurze Liste von Kandidatendokumenten nimmt und sie nach Relevanz für die Abfrage neu ordnet, mit einem genaueren, aber langsameren Modell als bei der ersten Suche.
- Retrieval-Augmented Generation
- Retrieval-Augmented Generation (RAG, abrufgestützte Generierung) ist ein Muster, bei dem ein System zuerst eine Dokumentensammlung nach Passagen durchsucht, die für eine Frage relevant sind, und diese Passagen dann einem Sprachmodell gibt, damit seine Antwort darauf aufbaut.