Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Contaminación de benchmarks

La contaminación de benchmarks (benchmark contamination) se produce cuando un modelo ha visto durante el entrenamiento las preguntas o respuestas de prueba de un benchmark, de modo que su puntuación en él exagera lo bien que resuelve problemas nuevos del mismo tipo.

También llamado: data contamination, test-set leakage

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

Los modelos grandes se entrenan con enormes recopilaciones de la web, y los benchmarks están en la web: en artículos, repositorios de GitHub, mensajes de foros y entradas de blog. Los elementos de prueba pueden acabar en los datos de entrenamiento sin que nadie lo pretenda. Un modelo que ha memorizado las respuestas puede entonces puntuar bien sin tener la habilidad que el benchmark pretende medir.

Por qué importa

Sainz et al. describen el peor caso como un modelo entrenado con la partición de prueba de un benchmark y evaluado después en ese mismo benchmark. Sostienen que el alcance del problema es desconocido porque es difícil de medir, y que la contaminación lleva a sobrestimar el rendimiento y, en investigación, a conclusiones erróneas. Para quien construye, significa que una puntuación destacada en un benchmark de IA puede no trasladarse a tus propias tareas.

Señales y comprobaciones

Entre las señales de alarma están un modelo que reproduce palabra por palabra una pregunta de prueba a partir de un prompt parcial, puntuaciones mucho más altas en un benchmark antiguo que en uno más nuevo de dificultad parecida y una caída brusca cuando las preguntas se reformulan ligeramente. Los laboratorios y los investigadores buscan texto coincidente en los datos de entrenamiento, comparan resultados en elementos publicados antes y después de la fecha de corte de conocimiento de un modelo y mantienen conjuntos de prueba privados y reservados.

Cómo responden los benchmarks

Los benchmarks más nuevos ocultan parte de su conjunto de prueba, renuevan las preguntas con el tiempo o sacan tareas de material creado después de los modelos que se evalúan. Los leaderboards basados en preferencias humanas usan prompts nuevos de los usuarios, lo que evita los conjuntos de prueba fijos pero trae otros sesgos.

La defensa práctica es la de siempre: haz tu propia evaluación de LLM con datos que el modelo no pueda haber visto.

Términos relacionados

Benchmark de IA
Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
Datos de entrenamiento de IA
Los datos de entrenamiento de IA son el conjunto de ejemplos del que aprende un modelo, como texto web, código, imágenes, transcripciones o pares etiquetados. Su tamaño, calidad, mezcla y licencias determinan lo que el modelo puede hacer y dónde falla.
Fecha de corte de conocimiento
La fecha de corte de conocimiento (knowledge cutoff) es la fecha a partir de la cual un modelo tiene poca o ninguna información, porque sus datos de entrenamiento se recopilaron hasta más o menos entonces. Los hechos posteriores le son desconocidos salvo que se le den en el prompt.
Leaderboard (IA)
Un leaderboard de IA (tabla de clasificación) es una clasificación pública de modelos según sus puntuaciones en uno o más benchmarks o en votos de preferencia humana, que se actualiza a medida que se prueban modelos nuevos, para que se puedan comparar modelos lado a lado.
Evaluación de LLM
La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.

Fuentes