Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

HumanEval

HumanEval es un benchmark de generación de código publicado por OpenAI en 2021: 164 problemas de Python escritos a mano, cada uno con una firma de función, un docstring y pruebas unitarias, que se usa para comprobar si un modelo escribe código que de verdad funciona.

También llamado: OpenAI HumanEval

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

HumanEval salió con el artículo de Codex; una versión de producción de Codex impulsaba GitHub Copilot. Cada problema da al modelo la firma de una función de Python y un docstring que describe lo que debe hacer la función. El modelo escribe el cuerpo y el benchmark le aplica pruebas unitarias. Esto mide la corrección funcional: el código pasa las pruebas o no, se vea como se vea.

Cómo se puntúa

Los resultados se dan con pass@k, normalmente pass@1. En su lanzamiento, Codex resolvió el 28.8% de los problemas en un intento, mientras que GPT-3 no resolvió ninguno. Los problemas se escribieron a mano para que no estuvieran ya en el código con el que se entrenaban los modelos.

Límites

Los problemas de HumanEval son funciones cortas y autocontenidas, más cercanas a preguntas de entrevista que al trabajo real de software. Una puntuación alta dice poco sobre corregir un error en un código grande, ejecutar comandos o trabajar en muchos archivos. Eso es lo que intentan medir SWE-bench y Terminal-Bench. Como los problemas son públicos desde 2021, también pueden haberse filtrado a datos de entrenamiento más recientes, un problema conocido como contaminación de benchmarks. Trata una puntuación de HumanEval como un mínimo básico de capacidad de programación, y prueba un agente de programación con tus propias tareas antes de elegirlo.

Términos relacionados

pass@k
pass@k es una métrica para benchmarks de código que da la probabilidad de que al menos una de k soluciones generadas para un problema supere sus pruebas unitarias; pass@1 es la probabilidad de que un solo intento tenga éxito.
SWE-bench
SWE-bench es un benchmark de programación construido a partir de issues reales de GitHub en proyectos populares de Python; un modelo o agente debe editar el repositorio para que el issue quede resuelto y pasen las pruebas ocultas del proyecto.
Contaminación de benchmarks
La contaminación de benchmarks (benchmark contamination) se produce cuando un modelo ha visto durante el entrenamiento las preguntas o respuestas de prueba de un benchmark, de modo que su puntuación en él exagera lo bien que resuelve problemas nuevos del mismo tipo.
Benchmark de IA
Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
Agente de programación
Un agente de programación (coding agent) es un agente de IA que trabaja directamente sobre el software: lee un código, edita archivos, ejecuta comandos y pruebas, y repite hasta que un cambio funciona, en lugar de limitarse a sugerir código para que una persona lo pegue.

Fuentes