Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

τ-bench

O τ-bench (tau-bench) é um benchmark que testa agentes de IA em conversas simuladas de atendimento ao cliente, em que um modelo de linguagem faz o papel do usuário e o agente precisa usar ferramentas de API do domínio seguindo regras de política escritas.

Também chamado: tau-bench, τ²-bench, tau2-bench

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Agentes reais conversam com pessoas e precisam seguir as regras da empresa, não só chamar ferramentas. O τ-bench, publicado em 2024, testa as duas coisas. Um modelo de linguagem faz o papel de um cliente com um objetivo, como mudar um voo ou devolver um pedido. O agente testado tem ferramentas de API específicas do domínio e um documento de política, e precisa chegar ao resultado certo sem quebrar as regras.

Como é avaliado

Ao fim de cada conversa, o benchmark compara o estado do banco de dados com o estado esperado. Isso verifica o que o agente realmente fez, não como ele formulou as coisas. O artigo também apresentou o pass^k, a chance de um agente ter sucesso em todas as k tentativas repetidas da mesma tarefa. No lançamento, até agentes fortes de function calling como o GPT-4o tiveram sucesso em menos da metade das tarefas, e o pass^8 no domínio de varejo ficou abaixo de 25%.

τ²-bench

O τ²-bench, de 2025, adiciona um cenário de controle duplo. No seu domínio de telecom, tanto o agente quanto o usuário simulado podem usar ferramentas para alterar um ambiente compartilhado, como no suporte técnico, em que o agente precisa orientar o cliente a agir. Os agentes pontuaram bem pior quando precisavam se coordenar com um usuário ativo do que quando trabalhavam sozinhos.

Por que interessa a quem constrói

O benchmark é um bom modelo para testar o seu próprio agente de IA: um usuário simulado, ferramentas reais, uma política e uma verificação do resultado. O foco em consistência também mostra por que uma única demonstração bem-sucedida não basta; veja pass@k para o contraste entre o melhor de k e o sucesso em todas as vezes.

Termos relacionados

Benchmark de IA
Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
Chamada de ferramentas
Chamada de ferramentas (tool calling), também chamada de chamada de funções (function calling), é um recurso de APIs de modelos em que você descreve funções com um schema, o modelo responde com um pedido estruturado para chamar uma delas, e o seu código a executa e devolve o resultado.
pass@k
pass@k é uma métrica para benchmarks de código que dá a chance de pelo menos uma de k soluções geradas para um problema passar nos testes unitários; pass@1 é a chance de uma única tentativa dar certo.
Agente de IA
Um agente de IA é um sistema em que um modelo de linguagem decide seus próprios próximos passos: chama ferramentas, lê os resultados e repete até concluir a tarefa, em vez de seguir um roteiro fixo.
Voice agent
Um voice agent (agente de voz) é um agente de IA que mantém uma conversa falada em tempo real, ouvindo uma pessoa, decidindo o que dizer ou fazer e respondendo com uma voz sintética, muitas vezes por uma linha telefônica ou em um app.

Fontes