τ-bench
τ-bench(tau-bench)는 시뮬레이션된 고객 서비스 대화에서 AI 에이전트를 시험하는 벤치마크입니다. 언어 모델이 사용자 역할을 하고, 에이전트는 서면 정책 규칙을 지키면서 도메인 API 도구를 써야 합니다.
다른 이름: tau-bench, τ²-bench, tau2-bench
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
실제 에이전트는 사람과 대화하며 도구를 호출하는 것뿐 아니라 회사 규칙도 따라야 합니다. 2024년에 발표된 τ-bench는 둘 다 시험합니다. 언어 모델이 항공편 변경이나 주문 반품 같은 목표를 가진 고객을 연기합니다. 테스트 대상 에이전트는 도메인별 API 도구와 정책 문서를 가지고, 규칙을 어기지 않으면서 올바른 결과에 도달해야 합니다.
채점 방식
각 대화가 끝나면 벤치마크는 데이터베이스 상태를 기대한 목표 상태와 비교합니다. 이는 에이전트가 어떻게 말했는지가 아니라 실제로 무엇을 했는지 확인합니다. 논문은 pass^k도 도입했는데, 이는 에이전트가 같은 과제를 k번 반복했을 때 모두 성공할 확률입니다. 공개 당시 GPT-4o 같은 강한 함수 호출 에이전트조차 과제의 절반 미만에서 성공했고, 소매 도메인의 pass^8은 25% 미만이었습니다.
τ²-bench
2025년의 τ²-bench는 이중 제어 설정을 더합니다. 통신 도메인에서는 에이전트와 시뮬레이션된 사용자 모두 도구로 공유 환경을 바꿀 수 있으며, 에이전트가 고객이 행동하도록 안내해야 하는 기술 지원과 비슷합니다. 에이전트는 혼자 일할 때보다 능동적인 사용자와 조율해야 할 때 점수가 훨씬 낮았습니다.
개발자가 관심을 두는 이유
이 벤치마크는 자신의 AI 에이전트를 시험하는 좋은 본보기입니다. 시뮬레이션된 사용자, 실제 도구, 정책, 결과 확인입니다. 일관성에 초점을 둔다는 점은 성공한 데모 한 번으로는 충분하지 않은 이유도 보여 줍니다. k번 중 최선과 매번 성공의 대비는 pass@k를 참고하십시오.
관련 용어
- AI 벤치마크
- AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
- 도구 호출
- 도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 스키마로 함수를 설명하면 모델이 그중 하나를 호출하겠다는 구조화된 요청으로 답하고, 코드가 이를 실행해 결과를 돌려주는 모델 API 기능입니다.
- pass@k
- pass@k는 코드 벤치마크의 지표로, 한 문제에 대해 생성한 해답 k개 중 적어도 하나가 단위 테스트를 통과할 확률을 나타냅니다. pass@1은 한 번의 시도가 성공할 확률입니다.
- AI 에이전트
- AI 에이전트(AI agent)는 언어 모델이 다음 단계를 스스로 정하는 시스템입니다. 고정된 스크립트를 따르는 대신 도구를 호출하고, 결과를 읽고, 작업이 끝날 때까지 이를 반복합니다.
- 음성 에이전트(Voice agent)
- 음성 에이전트(voice agent)는 실시간으로 음성 대화를 나누는 AI 에이전트로, 사람의 말을 듣고, 무엇을 말하거나 할지 정하고, 합성 음성으로 답하며, 흔히 전화선이나 앱을 통해 작동합니다.