HumanEval
HumanEval est un benchmark de génération de code publié par OpenAI en 2021 : 164 problèmes Python écrits à la main, chacun avec une signature de fonction, une docstring et des tests unitaires, utilisés pour vérifier si un modèle écrit du code qui fonctionne réellement.
Aussi appelé : OpenAI HumanEval
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
HumanEval est sorti avec l'article sur Codex ; une version de production de Codex faisait tourner GitHub Copilot. Chaque problème donne au modèle une signature de fonction Python et une docstring qui décrit ce que doit faire la fonction. Le modèle écrit le corps, et le benchmark lance des tests unitaires dessus. Cela mesure l'exactitude fonctionnelle : le code passe les tests ou non, quelle que soit son apparence.
Comment il est noté
Les résultats sont présentés avec pass@k, généralement pass@1. À sa sortie, Codex résolvait 28,8 % des problèmes en un essai, alors que GPT-3 n'en résolvait aucun. Les problèmes ont été écrits à la main pour ne pas figurer déjà dans le code sur lequel les modèles avaient été entraînés.
Limites
Les problèmes de HumanEval sont des fonctions courtes et autonomes, plus proches de questions d'entretien d'embauche que d'un vrai travail logiciel. Un score élevé dit peu de chose sur la correction d'un bug dans une grande base de code, le lancement de commandes ou le travail sur de nombreux fichiers. C'est ce que SWE-bench et Terminal-Bench tentent de mesurer. Comme les problèmes sont publics depuis 2021, ils ont aussi pu fuiter dans des données d'entraînement plus récentes, un problème appelé contamination des benchmarks. Considérez un score HumanEval comme un plancher élémentaire de compétence en code, et testez un agent de code sur vos propres tâches avant d'en choisir un.
Termes liés
- pass@k
- pass@k est une métrique des benchmarks de code qui donne la probabilité qu'au moins une des k solutions générées pour un problème passe ses tests unitaires ; pass@1 est la probabilité qu'une seule tentative réussisse.
- SWE-bench
- SWE-bench est un benchmark de code construit à partir de vraies issues GitHub de projets Python populaires ; un modèle ou un agent doit modifier le dépôt pour que l'issue soit corrigée et que les tests cachés du projet passent.
- Contamination des benchmarks
- Il y a contamination d'un benchmark quand un modèle a vu ses questions ou ses réponses de test pendant l'entraînement, si bien que son score sur ce benchmark surestime sa capacité à traiter de nouveaux problèmes du même type.
- Benchmark d'IA
- Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
- Agent de code
- Un agent de code (coding agent) est un agent IA qui travaille directement sur un logiciel : il lit une base de code, modifie des fichiers, lance des commandes et des tests, et recommence jusqu'à ce qu'un changement fonctionne, au lieu de seulement suggérer du code qu'une personne collera.