MTEB
MTEB, der Massive Text Embedding Benchmark, ist ein öffentlicher Benchmark mit Leaderboard, der Text-Embedding-Modelle über viele Aufgabentypen wie Retrieval, Clustering, Klassifikation und Reranking bewertet, auf vielen Datensätzen und in vielen Sprachen.
Auch: Massive Text Embedding Benchmark, MTEB leaderboard
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Vor MTEB wurden Embedding-Modelle meist auf wenigen Datensätzen einer Aufgabe getestet, oft semantischer Ähnlichkeit. Ein Modell, das dort gut abschnitt, konnte bei der Suche schwach sein. Das MTEB-Paper führte einen breiteren Test ein: In seiner ersten Version deckte er 8 Embedding-Aufgaben, 58 Datensätze und 112 Sprachen ab.
So funktioniert es
Jedes Modell verwandelt die Texte des Benchmarks in Vektoren, und jede Aufgabe bewertet diese Vektoren auf ihre eigene Weise. Retrieval-Aufgaben prüfen, ob die richtigen Dokumente weit oben landen, mit Metriken wie nDCG und Recall@k. Clustering-Aufgaben prüfen, ob ähnliche Texte zusammenfinden. Reranking, Klassifikation, Paarklassifikation, semantische Ähnlichkeit und Zusammenfassung vervollständigen den Satz. Das Leaderboard, gehostet auf Hugging Face, zeigt einen Durchschnitt und einen Wert pro Aufgabentyp.
Wie du es liest
Sieh dir die Spalte für die Aufgabe an, die dich interessiert, meist Retrieval, nicht den Gesamtdurchschnitt. Prüfe Sprachen und Domänen: Ein Modell, das bei englischem Webtext vorn liegt, kann bei Verträgen oder Japanisch schwach sein. Vergleiche auch Modellgröße, Embedding-Dimension und maximale Eingabelänge, denn sie bestimmen Kosten und Geschwindigkeit. Wie bei jedem öffentlichen KI-Benchmark könnten manche Modelle auf Daten trainiert haben, die den Testsätzen ähneln. Bestätige deine engere Auswahl daher mit deinen eigenen Abfragen und Dokumenten. Der Leitfaden zur Stufe Embedding-Modelle erklärt die Spalten.
Verwandte Begriffe
- KI-Benchmark
- Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
- Embedding
- Ein Embedding (Einbettung) ist eine Liste von Zahlen (ein Vektor), die ein Stück Text, ein Bild oder andere Daten repräsentiert und so erzeugt wird, dass Elemente mit ähnlicher Bedeutung nahe beieinanderliegende Vektoren erhalten.
- Retrieval-Metriken (Recall@k, nDCG, MRR)
- Retrieval-Metriken bewerten, wie gut ein Suchsystem relevante Dokumente liefert. Recall@k prüft, wie viele relevante Einträge unter den ersten k erscheinen, nDCG belohnt es, sie weit oben einzuordnen, und MRR misst, wie früh der erste richtige auftaucht.
- Reranking
- Reranking (Neusortierung) ist ein zweiter Suchschritt, der eine kurze Liste von Kandidatendokumenten nimmt und sie nach Relevanz für die Abfrage neu ordnet, mit einem genaueren, aber langsameren Modell als bei der ersten Suche.
- Embedding-Dimension
- Die Embedding-Dimension ist die Anzahl der Werte in jedem Vektor, den ein Embedding-Modell ausgibt. Mehr Dimensionen können mehr Details fassen, aber jeder zusätzliche Wert erhöht Speicher-, Arbeitsspeicher- und Suchkosten pro Element.