Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

τ-bench

τ-bench (tau-bench) es un benchmark que pone a prueba agentes de IA en conversaciones simuladas de atención al cliente, en las que un modelo de lenguaje hace de usuario y el agente debe usar herramientas de API del dominio mientras cumple reglas de una política escrita.

También llamado: tau-bench, τ²-bench, tau2-bench

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

Los agentes reales hablan con personas y tienen que seguir las normas de la empresa, no solo llamar a herramientas. τ-bench, publicado en 2024, prueba ambas cosas. Un modelo de lenguaje hace de cliente con un objetivo, como cambiar un vuelo o devolver un pedido. El agente evaluado tiene herramientas de API específicas del dominio y un documento de política, y debe llegar al resultado correcto sin romper las reglas.

Cómo se califica

Al final de cada conversación, el benchmark compara el estado de la base de datos con el estado objetivo esperado. Así comprueba lo que el agente hizo de verdad, no cómo lo expresó. El artículo también introdujo pass^k, la probabilidad de que un agente tenga éxito en los k intentos repetidos de la misma tarea. En el lanzamiento, incluso agentes de function calling potentes como GPT-4o tuvieron éxito en menos de la mitad de las tareas, y el pass^8 en el dominio retail quedó por debajo del 25%.

τ²-bench

τ²-bench, de 2025, añade un escenario de control dual. En su dominio de telecomunicaciones, tanto el agente como el usuario simulado pueden usar herramientas para cambiar un entorno compartido, como en el soporte técnico, donde el agente debe guiar al cliente para que actúe. Los agentes puntuaron mucho peor cuando tuvieron que coordinarse con un usuario activo que cuando trabajaban solos.

Por qué importa a los desarrolladores

El benchmark es un buen modelo para probar tu propio agente de IA: un usuario simulado, herramientas reales, una política y una comprobación del resultado. Su énfasis en la constancia también muestra por qué una demo con éxito no basta; consulta pass@k para ver el contraste entre el mejor de k intentos y el éxito en todos.

Términos relacionados

Benchmark de IA
Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
Llamada a herramientas
La llamada a herramientas (tool calling), también llamada function calling, es una función de las API de modelos en la que describes funciones con un esquema, el modelo responde con una petición estructurada para llamar a una de ellas, y tu código la ejecuta y devuelve el resultado.
pass@k
pass@k es una métrica para benchmarks de código que da la probabilidad de que al menos una de k soluciones generadas para un problema supere sus pruebas unitarias; pass@1 es la probabilidad de que un solo intento tenga éxito.
Agente de IA
Un agente de IA es un sistema en el que un modelo de lenguaje decide sus propios pasos siguientes: llama a herramientas, lee los resultados y repite hasta terminar la tarea, en lugar de seguir un guion fijo.
Agente de voz
Un agente de voz (voice agent) es un agente de IA que mantiene una conversación hablada en tiempo real: escucha a una persona, decide qué decir o hacer y responde con una voz sintética, a menudo por una línea telefónica o en una app.

Fuentes