MTEB
MTEB, le Massive Text Embedding Benchmark, est un benchmark public accompagné d'un classement qui note les modèles d'embedding de texte sur de nombreux types de tâches, comme la recherche, le clustering, la classification et le reranking, à travers de nombreux jeux de données et langues.
Aussi appelé : Massive Text Embedding Benchmark, MTEB leaderboard
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Avant MTEB, les modèles d'embedding étaient généralement testés sur quelques jeux de données d'une seule tâche, souvent la similarité sémantique. Un modèle performant sur ce point pouvait être mauvais en recherche. L'article MTEB a introduit un test plus large : dans sa première version, il couvrait 8 tâches d'embedding, 58 jeux de données et 112 langues.
Comment ça marche
Chaque modèle transforme les textes du benchmark en vecteurs, et chaque tâche note ces vecteurs à sa manière. Les tâches de recherche vérifient si les bons documents se classent en tête, avec des métriques comme nDCG et recall@k. Les tâches de clustering vérifient si les textes similaires se regroupent. Le reranking, la classification, la classification de paires, la similarité sémantique et le résumé complètent l'ensemble. Le classement, hébergé sur Hugging Face, affiche une moyenne et un score par type de tâche.
Comment le lire
Regardez la colonne de la tâche qui vous intéresse, généralement la recherche, et non la moyenne globale. Vérifiez les langues et les domaines : un modèle en tête sur le texte web anglais peut être faible sur des contrats juridiques ou sur le japonais. Comparez aussi la taille du modèle, la dimension de l'embedding et la longueur d'entrée maximale, car elles déterminent le coût et la vitesse. Comme pour tout benchmark d'IA public, certains modèles ont pu être entraînés sur des données proches des jeux de test : confirmez donc la liste restreinte sur vos propres requêtes et documents. Le guide de l'étape modèles d'embedding explique les colonnes.
Termes liés
- Benchmark d'IA
- Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
- Embedding
- Un embedding (plongement vectoriel) est une liste de nombres (un vecteur) qui représente un morceau de texte, une image ou d'autres données, produite de sorte que les éléments de sens proche obtiennent des vecteurs proches les uns des autres.
- Métriques de recherche (recall@k, nDCG, MRR)
- Les métriques de recherche (retrieval metrics) mesurent la capacité d'un système de recherche à renvoyer des documents pertinents. Recall@k vérifie combien d'éléments pertinents figurent dans les k premiers, nDCG récompense un classement élevé de ces éléments, et MRR mesure à quel rang apparaît le premier résultat correct.
- Reranking
- Le reranking (reclassement) est une seconde étape de recherche qui prend une courte liste de documents candidats et les réordonne selon leur pertinence pour la requête, à l'aide d'un modèle plus précis mais plus lent que la première recherche.
- Dimension d'embedding
- La dimension d'embedding est le nombre de valeurs de chaque vecteur produit par un modèle d'embedding. Davantage de dimensions peuvent contenir plus de détails, mais chaque valeur supplémentaire ajoute du coût de stockage, de mémoire et de recherche par élément.