τ-bench
τ-bench (tau-bench) ist ein Benchmark, der KI-Agenten in simulierten Kundenservice-Gesprächen testet: Ein Sprachmodell spielt den Nutzer, und der Agent muss domänenspezifische API-Tools nutzen und dabei schriftliche Richtlinien einhalten.
Auch: tau-bench, τ²-bench, tau2-bench
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Echte Agenten sprechen mit Menschen und müssen Unternehmensregeln befolgen, nicht nur Tools aufrufen. τ-bench, 2024 veröffentlicht, testet beides. Ein Sprachmodell spielt einen Kunden mit einem Ziel, etwa einen Flug umzubuchen oder eine Bestellung zurückzugeben. Der getestete Agent hat domänenspezifische API-Tools und ein Richtliniendokument und muss das richtige Ergebnis erreichen, ohne die Regeln zu brechen.
Wie bewertet wird
Am Ende jedes Gesprächs vergleicht der Benchmark den Zustand der Datenbank mit dem erwarteten Zielzustand. Das prüft, was der Agent tatsächlich getan hat, nicht wie er es formuliert hat. Das Paper führte außerdem pass^k ein, die Wahrscheinlichkeit, dass ein Agent bei allen k wiederholten Durchläufen derselben Aufgabe erfolgreich ist. Zur Veröffentlichung schafften selbst starke Agenten mit Function Calling wie GPT-4o weniger als die Hälfte der Aufgaben, und pass^8 lag im Einzelhandelsbereich unter 25%.
τ²-bench
τ²-bench von 2025 fügt eine Einstellung mit doppelter Kontrolle hinzu. In seinem Telekommunikationsbereich können sowohl der Agent als auch der simulierte Nutzer Tools verwenden, um eine gemeinsame Umgebung zu verändern, wie im technischen Support, wo der Agent den Kunden zum Handeln anleiten muss. Agenten schnitten deutlich schlechter ab, wenn sie sich mit einem aktiven Nutzer abstimmen mussten, als wenn sie allein arbeiteten.
Warum es Entwickler interessiert
Der Benchmark ist ein gutes Vorbild, um deinen eigenen KI-Agenten zu testen: ein simulierter Nutzer, echte Tools, eine Richtlinie und eine Ergebnisprüfung. Sein Fokus auf Beständigkeit zeigt auch, warum eine erfolgreiche Demo nicht reicht; zum Kontrast zwischen Best-of-k und Erfolg bei jedem Durchlauf siehe pass@k.
Verwandte Begriffe
- KI-Benchmark
- Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
- Tool Calling
- Tool Calling, auch Function Calling (Funktionsaufruf) genannt, ist eine Funktion von Modell-APIs, bei der du Funktionen mit einem Schema beschreibst, das Modell mit einer strukturierten Anfrage antwortet, eine davon aufzurufen, und dein Code sie ausführt und das Ergebnis zurückgibt.
- pass@k
- pass@k ist eine Metrik für Code-Benchmarks, die die Wahrscheinlichkeit angibt, dass mindestens eine von k erzeugten Lösungen eines Problems ihre Unit-Tests besteht; pass@1 ist die Wahrscheinlichkeit, dass ein einzelner Versuch gelingt.
- KI-Agent
- Ein KI-Agent (AI Agent) ist ein System, in dem ein Sprachmodell seine nächsten Schritte selbst bestimmt: Es ruft Tools auf, liest die Ergebnisse und wiederholt das, bis die Aufgabe erledigt ist, statt einem festen Skript zu folgen.
- Voice Agent
- Ein Voice Agent (Sprachagent) ist ein KI-Agent, der in Echtzeit ein gesprochenes Gespräch führt: Er hört einer Person zu, entscheidet, was er sagen oder tun soll, und antwortet mit einer synthetischen Stimme, oft über eine Telefonleitung oder in einer App.