HumanEval
HumanEval es un benchmark de generación de código publicado por OpenAI en 2021: 164 problemas de Python escritos a mano, cada uno con una firma de función, un docstring y pruebas unitarias, que se usa para comprobar si un modelo escribe código que de verdad funciona.
También llamado: OpenAI HumanEval
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
HumanEval salió con el artículo de Codex; una versión de producción de Codex impulsaba GitHub Copilot. Cada problema da al modelo la firma de una función de Python y un docstring que describe lo que debe hacer la función. El modelo escribe el cuerpo y el benchmark le aplica pruebas unitarias. Esto mide la corrección funcional: el código pasa las pruebas o no, se vea como se vea.
Cómo se puntúa
Los resultados se dan con pass@k, normalmente pass@1. En su lanzamiento, Codex resolvió el 28.8% de los problemas en un intento, mientras que GPT-3 no resolvió ninguno. Los problemas se escribieron a mano para que no estuvieran ya en el código con el que se entrenaban los modelos.
Límites
Los problemas de HumanEval son funciones cortas y autocontenidas, más cercanas a preguntas de entrevista que al trabajo real de software. Una puntuación alta dice poco sobre corregir un error en un código grande, ejecutar comandos o trabajar en muchos archivos. Eso es lo que intentan medir SWE-bench y Terminal-Bench. Como los problemas son públicos desde 2021, también pueden haberse filtrado a datos de entrenamiento más recientes, un problema conocido como contaminación de benchmarks. Trata una puntuación de HumanEval como un mínimo básico de capacidad de programación, y prueba un agente de programación con tus propias tareas antes de elegirlo.
Términos relacionados
- pass@k
- pass@k es una métrica para benchmarks de código que da la probabilidad de que al menos una de k soluciones generadas para un problema supere sus pruebas unitarias; pass@1 es la probabilidad de que un solo intento tenga éxito.
- SWE-bench
- SWE-bench es un benchmark de programación construido a partir de issues reales de GitHub en proyectos populares de Python; un modelo o agente debe editar el repositorio para que el issue quede resuelto y pasen las pruebas ocultas del proyecto.
- Contaminación de benchmarks
- La contaminación de benchmarks (benchmark contamination) se produce cuando un modelo ha visto durante el entrenamiento las preguntas o respuestas de prueba de un benchmark, de modo que su puntuación en él exagera lo bien que resuelve problemas nuevos del mismo tipo.
- Benchmark de IA
- Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
- Agente de programación
- Un agente de programación (coding agent) es un agente de IA que trabaja directamente sobre el software: lee un código, edita archivos, ejecuta comandos y pruebas, y repite hasta que un cambio funciona, en lugar de limitarse a sugerir código para que una persona lo pegue.