τ-bench
τ-bench (tau-bench) est un benchmark qui teste les agents d'IA dans des conversations simulées de service client, où un modèle de langage joue l'utilisateur et où l'agent doit utiliser des outils d'API propres au domaine tout en respectant des règles de politique écrites.
Aussi appelé : tau-bench, τ²-bench, tau2-bench
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Les vrais agents parlent à des personnes et doivent suivre les règles de l'entreprise, pas seulement appeler des outils. τ-bench, publié en 2024, teste les deux. Un modèle de langage joue un client qui a un objectif, comme modifier un vol ou retourner une commande. L'agent testé dispose d'outils d'API propres au domaine et d'un document de politique, et doit atteindre le bon résultat sans enfreindre les règles.
Comment il est noté
À la fin de chaque conversation, le benchmark compare l'état de la base de données à l'état cible attendu. Cela vérifie ce que l'agent a réellement fait, et non sa façon de formuler les choses. L'article a aussi introduit pass^k, la probabilité qu'un agent réussisse les k essais répétés d'une même tâche. À la sortie, même des agents de function calling performants comme GPT-4o réussissaient moins de la moitié des tâches, et le pass^8 dans le domaine de la vente au détail était inférieur à 25 %.
τ²-bench
τ²-bench, sorti en 2025, ajoute un cadre de double contrôle. Dans son domaine télécoms, l'agent et l'utilisateur simulé peuvent tous deux utiliser des outils pour modifier un environnement partagé, comme dans un support technique où l'agent doit guider le client pour qu'il agisse. Les agents obtenaient des scores bien plus faibles quand ils devaient se coordonner avec un utilisateur actif que lorsqu'ils travaillaient seuls.
Pourquoi les développeurs s'y intéressent
Le benchmark est un bon modèle pour tester votre propre agent d'IA : un utilisateur simulé, de vrais outils, une politique et une vérification du résultat. L'accent qu'il met sur la régularité montre aussi pourquoi une seule démo réussie ne suffit pas ; voir pass@k pour la différence entre le meilleur de k essais et la réussite à chaque fois.
Termes liés
- Benchmark d'IA
- Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
- Appel d'outils
- L'appel d'outils (tool calling), aussi appelé appel de fonctions (function calling), est une fonction des API de modèles dans laquelle vous décrivez des fonctions avec un schéma, le modèle répond par une demande structurée d'appel de l'une d'elles, et votre code l'exécute et renvoie le résultat.
- pass@k
- pass@k est une métrique des benchmarks de code qui donne la probabilité qu'au moins une des k solutions générées pour un problème passe ses tests unitaires ; pass@1 est la probabilité qu'une seule tentative réussisse.
- Agent IA
- Un agent IA est un système dans lequel un modèle de langage décide lui-même de ses prochaines étapes : il appelle des outils, lit les résultats et recommence jusqu'à ce que la tâche soit terminée, au lieu de suivre un script fixe.
- Agent vocal
- Un agent vocal (voice agent) est un agent d'IA qui tient une conversation orale en temps réel : il écoute une personne, décide quoi dire ou faire et répond avec une voix de synthèse, souvent sur une ligne téléphonique ou dans une application.