SWE-bench
SWE-bench est un benchmark de code construit à partir de vraies issues GitHub de projets Python populaires ; un modèle ou un agent doit modifier le dépôt pour que l'issue soit corrigée et que les tests cachés du projet passent.
Aussi appelé : SWE-bench Verified, SWE-bench Lite
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Les anciens tests de code demandaient à un modèle d'écrire une seule fonction courte. SWE-bench demande ce que font réellement les développeurs : lire une issue, trouver les bons fichiers dans une grande base de code et les modifier. L'article d'origine a rassemblé 2 294 problèmes issus de vraies issues et de leurs pull requests dans 12 dépôts Python. La correction touche souvent plusieurs fonctions ou fichiers, si bien que le benchmark récompense les agents capables de chercher, d'exécuter du code et d'itérer, pas seulement de compléter du code.
Comment il est noté
Chaque tâche est fournie avec le dépôt au commit précédant la correction et les tests que la vraie pull request a fait passer. Le système testé produit un patch. Le harnais l'applique et lance les tests. Le score est la part des issues résolues. À la sortie de l'article, le meilleur modèle testé résolvait moins de 2 % des issues. Consultez les classements actuels pour voir les scores des agents de code aujourd'hui.
SWE-bench Verified
SWE-bench Verified est un sous-ensemble de 500 tâches du jeu de test d'origine dont la qualité a été vérifiée par des humains. Parmi les autres variantes figurent Lite, Multilingual et Multimodal, listées sur les classements officiels.
Comment lire un score
L'échafaudage de l'agent compte autant que le modèle : le même modèle obtient des scores différents avec des outils, des prompts et des limites d'étapes différents. Vérifiez quelle variante a été utilisée et si le résultat vient du laboratoire ou d'une exécution indépendante. Comme les issues sont publiques, la contamination des benchmarks est un vrai problème. mini-SWE-agent est un petit agent présenté comme faisant partie de la famille de projets SWE-bench. Pour le travail centré sur le terminal, voir Terminal-Bench.
Termes liés
- Agent de code
- Un agent de code (coding agent) est un agent IA qui travaille directement sur un logiciel : il lit une base de code, modifie des fichiers, lance des commandes et des tests, et recommence jusqu'à ce qu'un changement fonctionne, au lieu de seulement suggérer du code qu'une personne collera.
- Benchmark d'IA
- Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
- Terminal-Bench
- Terminal-Bench est un benchmark pour les agents d'IA qui travaillent dans un terminal en ligne de commande ; chaque tâche fournit à l'agent un environnement réel et est notée par des tests qui vérifient si le travail a vraiment été fait.
- Contamination des benchmarks
- Il y a contamination d'un benchmark quand un modèle a vu ses questions ou ses réponses de test pendant l'entraînement, si bien que son score sur ce benchmark surestime sa capacité à traiter de nouveaux problèmes du même type.
- pass@k
- pass@k est une métrique des benchmarks de code qui donne la probabilité qu'au moins une des k solutions générées pour un problème passe ses tests unitaires ; pass@1 est la probabilité qu'une seule tentative réussisse.