본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

τ-bench

τ-bench(tau-bench)는 시뮬레이션된 고객 서비스 대화에서 AI 에이전트를 시험하는 벤치마크입니다. 언어 모델이 사용자 역할을 하고, 에이전트는 서면 정책 규칙을 지키면서 도메인 API 도구를 써야 합니다.

다른 이름: tau-bench, τ²-bench, tau2-bench

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

실제 에이전트는 사람과 대화하며 도구를 호출하는 것뿐 아니라 회사 규칙도 따라야 합니다. 2024년에 발표된 τ-bench는 둘 다 시험합니다. 언어 모델이 항공편 변경이나 주문 반품 같은 목표를 가진 고객을 연기합니다. 테스트 대상 에이전트는 도메인별 API 도구와 정책 문서를 가지고, 규칙을 어기지 않으면서 올바른 결과에 도달해야 합니다.

채점 방식

각 대화가 끝나면 벤치마크는 데이터베이스 상태를 기대한 목표 상태와 비교합니다. 이는 에이전트가 어떻게 말했는지가 아니라 실제로 무엇을 했는지 확인합니다. 논문은 pass^k도 도입했는데, 이는 에이전트가 같은 과제를 k번 반복했을 때 모두 성공할 확률입니다. 공개 당시 GPT-4o 같은 강한 함수 호출 에이전트조차 과제의 절반 미만에서 성공했고, 소매 도메인의 pass^8은 25% 미만이었습니다.

τ²-bench

2025년의 τ²-bench는 이중 제어 설정을 더합니다. 통신 도메인에서는 에이전트와 시뮬레이션된 사용자 모두 도구로 공유 환경을 바꿀 수 있으며, 에이전트가 고객이 행동하도록 안내해야 하는 기술 지원과 비슷합니다. 에이전트는 혼자 일할 때보다 능동적인 사용자와 조율해야 할 때 점수가 훨씬 낮았습니다.

개발자가 관심을 두는 이유

이 벤치마크는 자신의 AI 에이전트를 시험하는 좋은 본보기입니다. 시뮬레이션된 사용자, 실제 도구, 정책, 결과 확인입니다. 일관성에 초점을 둔다는 점은 성공한 데모 한 번으로는 충분하지 않은 이유도 보여 줍니다. k번 중 최선과 매번 성공의 대비는 pass@k를 참고하십시오.

관련 용어

AI 벤치마크
AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
도구 호출
도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 스키마로 함수를 설명하면 모델이 그중 하나를 호출하겠다는 구조화된 요청으로 답하고, 코드가 이를 실행해 결과를 돌려주는 모델 API 기능입니다.
pass@k
pass@k는 코드 벤치마크의 지표로, 한 문제에 대해 생성한 해답 k개 중 적어도 하나가 단위 테스트를 통과할 확률을 나타냅니다. pass@1은 한 번의 시도가 성공할 확률입니다.
AI 에이전트
AI 에이전트(AI agent)는 언어 모델이 다음 단계를 스스로 정하는 시스템입니다. 고정된 스크립트를 따르는 대신 도구를 호출하고, 결과를 읽고, 작업이 끝날 때까지 이를 반복합니다.
음성 에이전트(Voice agent)
음성 에이전트(voice agent)는 실시간으로 음성 대화를 나누는 AI 에이전트로, 사람의 말을 듣고, 무엇을 말하거나 할지 정하고, 합성 음성으로 답하며, 흔히 전화선이나 앱을 통해 작동합니다.

출처