SWE-bench
SWE-bench es un benchmark de programación construido a partir de issues reales de GitHub en proyectos populares de Python; un modelo o agente debe editar el repositorio para que el issue quede resuelto y pasen las pruebas ocultas del proyecto.
También llamado: SWE-bench Verified, SWE-bench Lite
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Las pruebas de programación anteriores pedían a un modelo que escribiera una función corta. SWE-bench pide lo que hacen de verdad los desarrolladores: leer un issue, encontrar los archivos correctos en un código base grande y cambiarlos. El artículo original reunió 2.294 problemas de issues reales y sus pull requests en 12 repositorios de Python. La corrección suele tocar varias funciones o archivos, así que premia a los agentes que saben buscar, ejecutar código e iterar, no solo autocompletar.
Cómo se puntúa
Cada tarea incluye el repositorio en el commit anterior a la corrección y las pruebas que hizo pasar la pull request real. El sistema evaluado produce un parche. El arnés lo aplica y ejecuta las pruebas. La puntuación es la proporción de issues resueltos. Cuando salió el artículo, el mejor modelo que probó resolvió menos del 2% de los issues. Consulta los leaderboards actuales para ver cómo puntúan hoy los agentes de programación.
SWE-bench Verified
SWE-bench Verified es un subconjunto de 500 tareas del conjunto de prueba original cuya calidad revisaron personas. Otras variantes son Lite, Multilingual y Multimodal, que figuran en los leaderboards oficiales.
Cómo leer una puntuación
La estructura del agente importa tanto como el modelo: el mismo modelo puntúa distinto con herramientas, prompts y límites de pasos diferentes. Comprueba qué variante se usó y si el resultado viene del laboratorio o de una ejecución independiente. Como los issues son públicos, la contaminación de benchmarks es una preocupación real. mini-SWE-agent es un agente pequeño que figura como parte de la familia de proyectos de SWE-bench. Para trabajo centrado en la terminal, consulta Terminal-Bench.
Términos relacionados
- Agente de programación
- Un agente de programación (coding agent) es un agente de IA que trabaja directamente sobre el software: lee un código, edita archivos, ejecuta comandos y pruebas, y repite hasta que un cambio funciona, en lugar de limitarse a sugerir código para que una persona lo pegue.
- Benchmark de IA
- Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
- Terminal-Bench
- Terminal-Bench es un benchmark para agentes de IA que trabajan en una terminal de línea de comandos, en el que cada tarea da al agente un entorno real y se puntúa con pruebas que comprueban si el trabajo se hizo de verdad.
- Contaminación de benchmarks
- La contaminación de benchmarks (benchmark contamination) se produce cuando un modelo ha visto durante el entrenamiento las preguntas o respuestas de prueba de un benchmark, de modo que su puntuación en él exagera lo bien que resuelve problemas nuevos del mismo tipo.
- pass@k
- pass@k es una métrica para benchmarks de código que da la probabilidad de que al menos una de k soluciones generadas para un problema supere sus pruebas unitarias; pass@1 es la probabilidad de que un solo intento tenga éxito.