Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

MTEB

MTEB, el Massive Text Embedding Benchmark, es un benchmark y leaderboard público que puntúa modelos de embedding de texto en muchos tipos de tarea, como recuperación, clustering, clasificación y reranking, sobre muchos conjuntos de datos e idiomas.

También llamado: Massive Text Embedding Benchmark, MTEB leaderboard

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

Antes de MTEB, los modelos de embedding se probaban normalmente con unos pocos conjuntos de datos de una sola tarea, a menudo similitud semántica. Un modelo que iba bien ahí podía ir mal en búsqueda. El artículo de MTEB presentó una prueba más amplia: en su primera versión cubría 8 tareas de embedding, 58 conjuntos de datos y 112 idiomas.

Cómo funciona

Cada modelo convierte los textos del benchmark en vectores, y cada tarea puntúa esos vectores a su manera. Las tareas de recuperación comprueban si los documentos correctos quedan cerca de los primeros puestos, con métricas como nDCG y recall@k. Las tareas de clustering comprueban si los textos parecidos se agrupan. Las tareas de reranking, clasificación, clasificación de pares, similitud semántica y resumen completan el conjunto. El leaderboard, alojado en Hugging Face, muestra una media y una puntuación por tipo de tarea.

Cómo leerlo

Mira la columna de la tarea que te interesa, normalmente recuperación, no la media general. Revisa los idiomas y los dominios: un modelo que lidera en texto web en inglés puede ser flojo con contratos legales o con japonés. Compara también el tamaño del modelo, la dimensión del embedding y la longitud máxima de entrada, porque determinan el coste y la velocidad. Como en cualquier benchmark de IA público, algunos modelos pueden haberse entrenado con datos parecidos a los conjuntos de prueba, así que confirma tu lista corta con tus propias consultas y documentos. La guía de la etapa de modelos de embedding explica las columnas.

Términos relacionados

Benchmark de IA
Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
Embedding
Un embedding (vector de representación) es una lista de números (un vector) que representa un fragmento de texto, una imagen u otros datos, generada de forma que los elementos con significado parecido acaban con vectores cercanos entre sí.
Métricas de recuperación (recall@k, nDCG, MRR)
Las métricas de recuperación puntúan lo bien que un sistema de búsqueda devuelve documentos relevantes. Recall@k comprueba cuántos elementos relevantes aparecen entre los k primeros, nDCG premia que estén bien arriba y MRR mide lo pronto que aparece el primero correcto.
Reranking
El reranking (reordenación) es un segundo paso de búsqueda que toma una lista corta de documentos candidatos y los reordena según su relevancia para la consulta, usando un modelo más preciso pero más lento que el de la primera búsqueda.
Dimensión del embedding
La dimensión del embedding (embedding dimension) es el número de valores de cada vector que produce un modelo de embeddings. Más dimensiones pueden contener más detalle, pero cada valor extra añade coste de almacenamiento, memoria y búsqueda por elemento.

Fuentes