Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Retrieval-Metriken (Recall@k, nDCG, MRR)

Retrieval-Metriken bewerten, wie gut ein Suchsystem relevante Dokumente liefert. Recall@k prüft, wie viele relevante Einträge unter den ersten k erscheinen, nDCG belohnt es, sie weit oben einzuordnen, und MRR misst, wie früh der erste richtige auftaucht.

Auch: recall@k, nDCG, MRR, precision@k, mean reciprocal rank

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Wenn deine App mit Retrieval-Augmented Generation schlechte Antworten gibt, lautet die erste Frage, ob das Retrieval die richtigen Passagen gefunden hat. Retrieval-Metriken beantworten das getrennt von der Antwortqualität. Du brauchst einen gelabelten Satz: Abfragen mit den Dokumenten, die zurückkommen sollten, oft Teil eines Golden Dataset.

Recall@k

Welcher Anteil aller relevanten Dokumente zu einer Abfrage ist unter den ersten k Ergebnissen? Wenn drei Passagen eine Frage beantworten und zwei unter den ersten 5 sind, beträgt Recall@5 zwei Drittel. Für RAG ist das oft die wichtigste Zahl, da das Modell nur nutzen kann, was es bekommt.

Precision@k

Welcher Anteil der ersten k Ergebnisse ist relevant? Niedrige Precision bedeutet, dass der Prompt voller Rauschen ist.

nDCG

Normalized Discounted Cumulative Gain nutzt abgestufte Relevanz (sehr relevant, etwas, nicht) und gibt umso weniger Punkte, je weiter unten ein gutes Ergebnis erscheint. Es ist auf eine Skala von 0 bis 1 normiert, damit sich Abfragen vergleichen lassen. Viele Retrieval-Benchmarks melden es, darunter die Retrieval-Aufgaben in MTEB.

MRR

Mean Reciprocal Rank betrachtet nur das erste richtige Ergebnis: 1, wenn es an erster Stelle steht, 1/2 an zweiter, 1/3 an dritter, gemittelt über die Abfragen. Es passt zu Aufgaben mit genau einer richtigen Antwort.

Anwendung

Lass denselben Satz von Abfragen laufen, wann immer du Chunking, das Embedding-Modell, das Reranking oder die Index-Einstellungen änderst. Kombiniere Retrieval-Metriken mit einer LLM-Evaluation der endgültigen Antworten.

Verwandte Begriffe

LLM-Evaluierung
LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
Golden Dataset
Ein Golden Dataset (Referenzdatensatz) ist ein fester, sorgfältig geprüfter Satz von Beispieleingaben mit den erwarteten Antworten oder dem erwarteten Verhalten, der als Referenz dient, wenn du ein KI-System evaluierst oder auf Regressionen testest.
MTEB
MTEB, der Massive Text Embedding Benchmark, ist ein öffentlicher Benchmark mit Leaderboard, der Text-Embedding-Modelle über viele Aufgabentypen wie Retrieval, Clustering, Klassifikation und Reranking bewertet, auf vielen Datensätzen und in vielen Sprachen.
Reranking
Reranking (Neusortierung) ist ein zweiter Suchschritt, der eine kurze Liste von Kandidatendokumenten nimmt und sie nach Relevanz für die Abfrage neu ordnet, mit einem genaueren, aber langsameren Modell als bei der ersten Suche.
Retrieval-Augmented Generation
Retrieval-Augmented Generation (RAG, abrufgestützte Generierung) ist ein Muster, bei dem ein System zuerst eine Dokumentensammlung nach Passagen durchsucht, die für eine Frage relevant sind, und diese Passagen dann einem Sprachmodell gibt, damit seine Antwort darauf aufbaut.

Quellen