MTEB
O MTEB, Massive Text Embedding Benchmark, é um benchmark público com leaderboard que avalia modelos de embedding de texto em muitos tipos de tarefa, como recuperação, clustering, classificação e reranking, sobre muitos datasets e idiomas.
Também chamado: Massive Text Embedding Benchmark, MTEB leaderboard
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Antes do MTEB, os modelos de embedding costumavam ser testados em poucos datasets de uma única tarefa, muitas vezes similaridade semântica. Um modelo que ia bem ali podia ir mal em busca. O artigo do MTEB apresentou um teste mais amplo: na primeira versão, ele cobria 8 tarefas de embedding, 58 datasets e 112 idiomas.
Como funciona
Cada modelo transforma os textos do benchmark em vetores, e cada tarefa avalia esses vetores do seu jeito. Tarefas de recuperação verificam se os documentos certos ficam perto do topo, usando métricas como nDCG e recall@k. Tarefas de clustering verificam se textos parecidos se agrupam. Tarefas de reranking, classificação, classificação de pares, similaridade semântica e sumarização completam o conjunto. O leaderboard, hospedado no Hugging Face, mostra uma média mais uma nota por tipo de tarefa.
Como ler
Olhe a coluna da tarefa que importa para você, geralmente recuperação, não a média geral. Verifique os idiomas e os domínios: um modelo que lidera em texto web em inglês pode ser fraco em contratos jurídicos ou em japonês. Compare também o tamanho do modelo, a dimensão do embedding e o tamanho máximo de entrada, porque eles definem custo e velocidade. Como em qualquer benchmark de IA público, alguns modelos podem ter sido treinados com dados próximos aos conjuntos de teste, então confirme a lista final com suas próprias consultas e documentos. O guia da etapa de modelos de embedding explica as colunas.
Termos relacionados
- Benchmark de IA
- Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
- Embedding
- Um embedding (representação vetorial) é uma lista de números (um vetor) que representa um trecho de texto, uma imagem ou outros dados, produzida de forma que itens com significado parecido acabem com vetores próximos entre si.
- Métricas de recuperação (recall@k, nDCG, MRR)
- Métricas de recuperação (retrieval metrics) avaliam quão bem um sistema de busca retorna documentos relevantes. O recall@k verifica quantos itens relevantes aparecem entre os k primeiros, o nDCG recompensa colocá-los no alto e o MRR mede quão cedo aparece o primeiro correto.
- Reranking
- Reranking (reordenação) é uma segunda etapa de busca que pega uma lista curta de documentos candidatos e os reordena por relevância para a consulta, usando um modelo mais preciso, porém mais lento, que o da primeira busca.
- Dimensão do embedding
- A dimensão do embedding (embedding dimension) é o número de valores em cada vetor que um modelo de embedding produz. Mais dimensões podem guardar mais detalhes, mas cada valor extra acrescenta custo de armazenamento, memória e busca por item.