τ-bench
τ-bench (tau-bench) es un benchmark que pone a prueba agentes de IA en conversaciones simuladas de atención al cliente, en las que un modelo de lenguaje hace de usuario y el agente debe usar herramientas de API del dominio mientras cumple reglas de una política escrita.
También llamado: tau-bench, τ²-bench, tau2-bench
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Los agentes reales hablan con personas y tienen que seguir las normas de la empresa, no solo llamar a herramientas. τ-bench, publicado en 2024, prueba ambas cosas. Un modelo de lenguaje hace de cliente con un objetivo, como cambiar un vuelo o devolver un pedido. El agente evaluado tiene herramientas de API específicas del dominio y un documento de política, y debe llegar al resultado correcto sin romper las reglas.
Cómo se califica
Al final de cada conversación, el benchmark compara el estado de la base de datos con el estado objetivo esperado. Así comprueba lo que el agente hizo de verdad, no cómo lo expresó. El artículo también introdujo pass^k, la probabilidad de que un agente tenga éxito en los k intentos repetidos de la misma tarea. En el lanzamiento, incluso agentes de function calling potentes como GPT-4o tuvieron éxito en menos de la mitad de las tareas, y el pass^8 en el dominio retail quedó por debajo del 25%.
τ²-bench
τ²-bench, de 2025, añade un escenario de control dual. En su dominio de telecomunicaciones, tanto el agente como el usuario simulado pueden usar herramientas para cambiar un entorno compartido, como en el soporte técnico, donde el agente debe guiar al cliente para que actúe. Los agentes puntuaron mucho peor cuando tuvieron que coordinarse con un usuario activo que cuando trabajaban solos.
Por qué importa a los desarrolladores
El benchmark es un buen modelo para probar tu propio agente de IA: un usuario simulado, herramientas reales, una política y una comprobación del resultado. Su énfasis en la constancia también muestra por qué una demo con éxito no basta; consulta pass@k para ver el contraste entre el mejor de k intentos y el éxito en todos.
Términos relacionados
- Benchmark de IA
- Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
- Llamada a herramientas
- La llamada a herramientas (tool calling), también llamada function calling, es una función de las API de modelos en la que describes funciones con un esquema, el modelo responde con una petición estructurada para llamar a una de ellas, y tu código la ejecuta y devuelve el resultado.
- pass@k
- pass@k es una métrica para benchmarks de código que da la probabilidad de que al menos una de k soluciones generadas para un problema supere sus pruebas unitarias; pass@1 es la probabilidad de que un solo intento tenga éxito.
- Agente de IA
- Un agente de IA es un sistema en el que un modelo de lenguaje decide sus propios pasos siguientes: llama a herramientas, lee los resultados y repite hasta terminar la tarea, en lugar de seguir un guion fijo.
- Agente de voz
- Un agente de voz (voice agent) es un agente de IA que mantiene una conversación hablada en tiempo real: escucha a una persona, decide qué decir o hacer y responde con una voz sintética, a menudo por una línea telefónica o en una app.