Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

SWE-bench

SWE-bench es un benchmark de programación construido a partir de issues reales de GitHub en proyectos populares de Python; un modelo o agente debe editar el repositorio para que el issue quede resuelto y pasen las pruebas ocultas del proyecto.

También llamado: SWE-bench Verified, SWE-bench Lite

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

Las pruebas de programación anteriores pedían a un modelo que escribiera una función corta. SWE-bench pide lo que hacen de verdad los desarrolladores: leer un issue, encontrar los archivos correctos en un código base grande y cambiarlos. El artículo original reunió 2.294 problemas de issues reales y sus pull requests en 12 repositorios de Python. La corrección suele tocar varias funciones o archivos, así que premia a los agentes que saben buscar, ejecutar código e iterar, no solo autocompletar.

Cómo se puntúa

Cada tarea incluye el repositorio en el commit anterior a la corrección y las pruebas que hizo pasar la pull request real. El sistema evaluado produce un parche. El arnés lo aplica y ejecuta las pruebas. La puntuación es la proporción de issues resueltos. Cuando salió el artículo, el mejor modelo que probó resolvió menos del 2% de los issues. Consulta los leaderboards actuales para ver cómo puntúan hoy los agentes de programación.

SWE-bench Verified

SWE-bench Verified es un subconjunto de 500 tareas del conjunto de prueba original cuya calidad revisaron personas. Otras variantes son Lite, Multilingual y Multimodal, que figuran en los leaderboards oficiales.

Cómo leer una puntuación

La estructura del agente importa tanto como el modelo: el mismo modelo puntúa distinto con herramientas, prompts y límites de pasos diferentes. Comprueba qué variante se usó y si el resultado viene del laboratorio o de una ejecución independiente. Como los issues son públicos, la contaminación de benchmarks es una preocupación real. mini-SWE-agent es un agente pequeño que figura como parte de la familia de proyectos de SWE-bench. Para trabajo centrado en la terminal, consulta Terminal-Bench.

Términos relacionados

Agente de programación
Un agente de programación (coding agent) es un agente de IA que trabaja directamente sobre el software: lee un código, edita archivos, ejecuta comandos y pruebas, y repite hasta que un cambio funciona, en lugar de limitarse a sugerir código para que una persona lo pegue.
Benchmark de IA
Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
Terminal-Bench
Terminal-Bench es un benchmark para agentes de IA que trabajan en una terminal de línea de comandos, en el que cada tarea da al agente un entorno real y se puntúa con pruebas que comprueban si el trabajo se hizo de verdad.
Contaminación de benchmarks
La contaminación de benchmarks (benchmark contamination) se produce cuando un modelo ha visto durante el entrenamiento las preguntas o respuestas de prueba de un benchmark, de modo que su puntuación en él exagera lo bien que resuelve problemas nuevos del mismo tipo.
pass@k
pass@k es una métrica para benchmarks de código que da la probabilidad de que al menos una de k soluciones generadas para un problema supere sus pruebas unitarias; pass@1 es la probabilidad de que un solo intento tenga éxito.

Fuentes