Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

MTEB

O MTEB, Massive Text Embedding Benchmark, é um benchmark público com leaderboard que avalia modelos de embedding de texto em muitos tipos de tarefa, como recuperação, clustering, classificação e reranking, sobre muitos datasets e idiomas.

Também chamado: Massive Text Embedding Benchmark, MTEB leaderboard

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Antes do MTEB, os modelos de embedding costumavam ser testados em poucos datasets de uma única tarefa, muitas vezes similaridade semântica. Um modelo que ia bem ali podia ir mal em busca. O artigo do MTEB apresentou um teste mais amplo: na primeira versão, ele cobria 8 tarefas de embedding, 58 datasets e 112 idiomas.

Como funciona

Cada modelo transforma os textos do benchmark em vetores, e cada tarefa avalia esses vetores do seu jeito. Tarefas de recuperação verificam se os documentos certos ficam perto do topo, usando métricas como nDCG e recall@k. Tarefas de clustering verificam se textos parecidos se agrupam. Tarefas de reranking, classificação, classificação de pares, similaridade semântica e sumarização completam o conjunto. O leaderboard, hospedado no Hugging Face, mostra uma média mais uma nota por tipo de tarefa.

Como ler

Olhe a coluna da tarefa que importa para você, geralmente recuperação, não a média geral. Verifique os idiomas e os domínios: um modelo que lidera em texto web em inglês pode ser fraco em contratos jurídicos ou em japonês. Compare também o tamanho do modelo, a dimensão do embedding e o tamanho máximo de entrada, porque eles definem custo e velocidade. Como em qualquer benchmark de IA público, alguns modelos podem ter sido treinados com dados próximos aos conjuntos de teste, então confirme a lista final com suas próprias consultas e documentos. O guia da etapa de modelos de embedding explica as colunas.

Termos relacionados

Benchmark de IA
Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
Embedding
Um embedding (representação vetorial) é uma lista de números (um vetor) que representa um trecho de texto, uma imagem ou outros dados, produzida de forma que itens com significado parecido acabem com vetores próximos entre si.
Métricas de recuperação (recall@k, nDCG, MRR)
Métricas de recuperação (retrieval metrics) avaliam quão bem um sistema de busca retorna documentos relevantes. O recall@k verifica quantos itens relevantes aparecem entre os k primeiros, o nDCG recompensa colocá-los no alto e o MRR mede quão cedo aparece o primeiro correto.
Reranking
Reranking (reordenação) é uma segunda etapa de busca que pega uma lista curta de documentos candidatos e os reordena por relevância para a consulta, usando um modelo mais preciso, porém mais lento, que o da primeira busca.
Dimensão do embedding
A dimensão do embedding (embedding dimension) é o número de valores em cada vetor que um modelo de embedding produz. Mais dimensões podem guardar mais detalhes, mas cada valor extra acrescenta custo de armazenamento, memória e busca por item.

Fontes