Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Terminal-Bench

Terminal-Bench es un benchmark para agentes de IA que trabajan en una terminal de línea de comandos, en el que cada tarea da al agente un entorno real y se puntúa con pruebas que comprueban si el trabajo se hizo de verdad.

También llamado: Terminal-Bench 2.0, tbench

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

Los agentes de programación trabajan cada vez más a través de una shell: instalan paquetes, editan archivos, ejecutan builds y depuran. Terminal-Bench mide eso. Lo gestiona un equipo acogido por Stanford y el Laude Institute, y sus tareas salen de flujos de trabajo reales y no de preguntas tipo acertijo.

Cómo funciona

Cada tarea incluye su propio entorno, una solución de referencia escrita por una persona y pruebas que verifican el resultado. El agente se coloca en el entorno con unas instrucciones y debe terminar el trabajo usando la terminal. La puntuación es la proporción de tareas que resuelve. El artículo de Terminal-Bench 2.0 describe 89 tareas difíciles e indica que los modelos y agentes frontera puntuaron por debajo del 65%. Desde entonces el proyecto ha pasado a versiones más nuevas, con Terminal-Bench 4.1 en su web en el momento de escribir esto.

Modelo y harness juntos

El leaderboard indica un modelo y un agente para cada resultado, porque el mismo modelo puede puntuar distinto en distintos agent harnesses. Cuando un creador de modelos cita una cifra de Terminal-Bench, comprueba qué harness y qué versión usó. La web también marca sus datos con una canary string que pide que nunca aparezcan en datos de entrenamiento, para limitar la contaminación de benchmarks.

En qué se diferencia de SWE-bench

SWE-bench pide a un agente que corrija issues reales en repositorios de código abierto. Terminal-Bench abarca una gama más amplia de trabajo en línea de comandos, desde la configuración de sistemas hasta tareas con datos. Ambos son útiles al elegir un agente de programación; ninguno sustituye probar el agente con tus propios proyectos en un sandbox seguro.

Términos relacionados

SWE-bench
SWE-bench es un benchmark de programación construido a partir de issues reales de GitHub en proyectos populares de Python; un modelo o agente debe editar el repositorio para que el issue quede resuelto y pasen las pruebas ocultas del proyecto.
Agente de programación
Un agente de programación (coding agent) es un agente de IA que trabaja directamente sobre el software: lee un código, edita archivos, ejecuta comandos y pruebas, y repite hasta que un cambio funciona, en lugar de limitarse a sugerir código para que una persona lo pegue.
Harness de agente
Un harness de agente (arnés de agente) es el software que rodea a un modelo y lo convierte en un agente funcional: el bucle, las herramientas, el system prompt, los permisos, la gestión del contexto y los archivos que se usan para conservar el progreso entre sesiones.
Benchmark de IA
Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
Sandbox de agente
Un sandbox de agente (entorno aislado) es un entorno separado, como un contenedor, una máquina virtual o una restricción del sistema operativo, en el que un agente de IA ejecuta código y comandos sin poder llegar a archivos, redes o datos fuera de unos límites fijados.

Fuentes