pass@k
pass@k est une métrique des benchmarks de code qui donne la probabilité qu'au moins une des k solutions générées pour un problème passe ses tests unitaires ; pass@1 est la probabilité qu'une seule tentative réussisse.
Aussi appelé : pass@1, pass@10, pass@100
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Le code peut être vérifié en l'exécutant. Au lieu de comparer le code d'un modèle à une réponse de référence, les benchmarks de code comme HumanEval lancent donc des tests unitaires et comptent un problème comme résolu si le code les passe. pass@k pose la question : si le modèle a k essais, quelle est la probabilité qu'au moins un fonctionne ?
Comment on le calcule
La métrique a été utilisée par Kulal et ses collègues en 2019 et rendue standard par l'article Codex d'OpenAI en 2021. Tirer exactement k échantillons et les vérifier donne un chiffre bruité ; l'article génère donc n échantillons par problème (il utilisait n = 200), compte les c qui réussissent et calcule à partir de n, c et k une estimation non biaisée de pass@k. L'article fournit une courte fonction numpy pour cela.
Lire les chiffres
pass@1 correspond à la façon dont la plupart des gens utilisent un assistant de code : une réponse, à prendre ou à laisser. pass@10 ou pass@100 montre ce qu'un modèle peut faire avec des nouvelles tentatives et une suite de tests pour choisir la bonne. Codex résolvait 28,8 % des problèmes de HumanEval en pass@1 et 70,2 % avec 100 échantillons, ce qui montre à quel point le chiffre varie avec k. Ne comparez les modèles qu'à k, température d'échantillonnage et prompt identiques.
pass@k ou pass^k
τ-bench utilise une métrique voisine, notée pass^k, qui demande si un agent réussit les k essais d'une même tâche. pass@k récompense un seul succès chanceux ; pass^k récompense la régularité. Pour des agents qui tournent sans surveillance, pass^k est souvent le chiffre le plus parlant. Voir l'évaluation des LLM pour la place de ces métriques dans un plan de test plus large.
Termes liés
- HumanEval
- HumanEval est un benchmark de génération de code publié par OpenAI en 2021 : 164 problèmes Python écrits à la main, chacun avec une signature de fonction, une docstring et des tests unitaires, utilisés pour vérifier si un modèle écrit du code qui fonctionne réellement.
- SWE-bench
- SWE-bench est un benchmark de code construit à partir de vraies issues GitHub de projets Python populaires ; un modèle ou un agent doit modifier le dépôt pour que l'issue soit corrigée et que les tests cachés du projet passent.
- Évaluation de LLM
- L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.
- Benchmark d'IA
- Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
- τ-bench
- τ-bench (tau-bench) est un benchmark qui teste les agents d'IA dans des conversations simulées de service client, où un modèle de langage joue l'utilisateur et où l'agent doit utiliser des outils d'API propres au domaine tout en respectant des règles de politique écrites.