Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

MTEB

MTEB, der Massive Text Embedding Benchmark, ist ein öffentlicher Benchmark mit Leaderboard, der Text-Embedding-Modelle über viele Aufgabentypen wie Retrieval, Clustering, Klassifikation und Reranking bewertet, auf vielen Datensätzen und in vielen Sprachen.

Auch: Massive Text Embedding Benchmark, MTEB leaderboard

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Vor MTEB wurden Embedding-Modelle meist auf wenigen Datensätzen einer Aufgabe getestet, oft semantischer Ähnlichkeit. Ein Modell, das dort gut abschnitt, konnte bei der Suche schwach sein. Das MTEB-Paper führte einen breiteren Test ein: In seiner ersten Version deckte er 8 Embedding-Aufgaben, 58 Datensätze und 112 Sprachen ab.

So funktioniert es

Jedes Modell verwandelt die Texte des Benchmarks in Vektoren, und jede Aufgabe bewertet diese Vektoren auf ihre eigene Weise. Retrieval-Aufgaben prüfen, ob die richtigen Dokumente weit oben landen, mit Metriken wie nDCG und Recall@k. Clustering-Aufgaben prüfen, ob ähnliche Texte zusammenfinden. Reranking, Klassifikation, Paarklassifikation, semantische Ähnlichkeit und Zusammenfassung vervollständigen den Satz. Das Leaderboard, gehostet auf Hugging Face, zeigt einen Durchschnitt und einen Wert pro Aufgabentyp.

Wie du es liest

Sieh dir die Spalte für die Aufgabe an, die dich interessiert, meist Retrieval, nicht den Gesamtdurchschnitt. Prüfe Sprachen und Domänen: Ein Modell, das bei englischem Webtext vorn liegt, kann bei Verträgen oder Japanisch schwach sein. Vergleiche auch Modellgröße, Embedding-Dimension und maximale Eingabelänge, denn sie bestimmen Kosten und Geschwindigkeit. Wie bei jedem öffentlichen KI-Benchmark könnten manche Modelle auf Daten trainiert haben, die den Testsätzen ähneln. Bestätige deine engere Auswahl daher mit deinen eigenen Abfragen und Dokumenten. Der Leitfaden zur Stufe Embedding-Modelle erklärt die Spalten.

Verwandte Begriffe

KI-Benchmark
Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
Embedding
Ein Embedding (Einbettung) ist eine Liste von Zahlen (ein Vektor), die ein Stück Text, ein Bild oder andere Daten repräsentiert und so erzeugt wird, dass Elemente mit ähnlicher Bedeutung nahe beieinanderliegende Vektoren erhalten.
Retrieval-Metriken (Recall@k, nDCG, MRR)
Retrieval-Metriken bewerten, wie gut ein Suchsystem relevante Dokumente liefert. Recall@k prüft, wie viele relevante Einträge unter den ersten k erscheinen, nDCG belohnt es, sie weit oben einzuordnen, und MRR misst, wie früh der erste richtige auftaucht.
Reranking
Reranking (Neusortierung) ist ein zweiter Suchschritt, der eine kurze Liste von Kandidatendokumenten nimmt und sie nach Relevanz für die Abfrage neu ordnet, mit einem genaueren, aber langsameren Modell als bei der ersten Suche.
Embedding-Dimension
Die Embedding-Dimension ist die Anzahl der Werte in jedem Vektor, den ein Embedding-Modell ausgibt. Mehr Dimensionen können mehr Details fassen, aber jeder zusätzliche Wert erhöht Speicher-, Arbeitsspeicher- und Suchkosten pro Element.

Quellen