Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Benchmark de IA

Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.

También llamado: benchmark, LLM benchmark, eval suite

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

Los benchmarks dan al sector una vara de medir común. Cuando un laboratorio dice que un modelo nuevo programa mejor, suele querer decir que saca más puntuación en un benchmark como SWE-bench. Los modelos de embeddings se comparan en MTEB. Las puntuaciones se recogen en leaderboards y en nuestros propios rankings.

Cómo leer una puntuación de benchmark

Pregunta cuál es la tarea en realidad. Un examen tipo test, un conjunto de incidencias reales de GitHub y una votación popular miden cosas muy distintas. Pregunta cómo se puntuó: respuesta exacta, pruebas unitarias superadas o un modelo actuando como juez. Revisa la configuración: cuántos intentos se permitieron (consulta pass@k), qué herramientas y prompts se usaron, y si la prueba la ejecutó el propio laboratorio o un grupo independiente. Las pequeñas diferencias entre modelos suelen estar dentro del ruido de la prueba.

Por qué las puntuaciones engañan

Un benchmark solo es útil mientras los modelos no hayan visto sus respuestas. Si los elementos de la prueba se filtran a los datos de entrenamiento, las puntuaciones suben sin una mejora real; esto es la contaminación de benchmarks. Los benchmarks populares también se saturan: cuando todos los mejores modelos puntúan cerca del techo, la prueba ya no los distingue y el sector pasa a una más difícil. Y un modelo puede ajustarse al formato de un benchmark sin mejorar en la habilidad de fondo.

El proyecto HELM sostuvo que una única cifra de precisión oculta demasiado, y midió los modelos en muchos escenarios y con varias métricas, entre ellas la calibración y la robustez.

Benchmarks frente a tus propias evaluaciones

Usa los benchmarks públicos para hacer una lista corta. Después ejecuta una evaluación de LLM con tus propias tareas y datos, porque es la única prueba que te dice cómo le irá a un modelo con tus usuarios.

Términos relacionados

Leaderboard (IA)
Un leaderboard de IA (tabla de clasificación) es una clasificación pública de modelos según sus puntuaciones en uno o más benchmarks o en votos de preferencia humana, que se actualiza a medida que se prueban modelos nuevos, para que se puedan comparar modelos lado a lado.
Contaminación de benchmarks
La contaminación de benchmarks (benchmark contamination) se produce cuando un modelo ha visto durante el entrenamiento las preguntas o respuestas de prueba de un benchmark, de modo que su puntuación en él exagera lo bien que resuelve problemas nuevos del mismo tipo.
SWE-bench
SWE-bench es un benchmark de programación construido a partir de issues reales de GitHub en proyectos populares de Python; un modelo o agente debe editar el repositorio para que el issue quede resuelto y pasen las pruebas ocultas del proyecto.
MTEB
MTEB, el Massive Text Embedding Benchmark, es un benchmark y leaderboard público que puntúa modelos de embedding de texto en muchos tipos de tarea, como recuperación, clustering, clasificación y reranking, sobre muchos conjuntos de datos e idiomas.
Evaluación de LLM
La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.
pass@k
pass@k es una métrica para benchmarks de código que da la probabilidad de que al menos una de k soluciones generadas para un problema supere sus pruebas unitarias; pass@1 es la probabilidad de que un solo intento tenga éxito.

Fuentes