本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

τ-bench

τ-bench(tau-bench)とは、模擬的なカスタマーサービスの会話でAIエージェントをテストするベンチマークです。言語モデルがユーザーを演じ、エージェントは文書化されたポリシーのルールに従いながら、分野ごとのAPIツールを使わなければなりません。

別名: tau-bench, τ²-bench, tau2-bench

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

実際のエージェントは人と対話し、ツールを呼ぶだけでなく会社のルールにも従わなければなりません。2024年に発表されたτ-benchは、その両方をテストします。言語モデルが、フライトの変更や注文の返品といった目的を持つ顧客を演じます。テスト対象のエージェントは分野固有のAPIツールとポリシー文書を持ち、ルールを破らずに正しい結果にたどり着かなければなりません。

採点方法

各会話の終わりに、ベンチマークはデータベースの状態を、期待される目標の状態と比較します。これにより、エージェントの言い回しではなく、実際に何をしたかを確認します。論文ではpass^kも導入しました。同じタスクをk回繰り返した試行のすべてでエージェントが成功する確率です。公開時点では、GPT-4oのような強力なfunction callingエージェントでも成功したタスクは半分未満で、小売の分野でのpass^8は25%を下回りました。

τ²-bench

2025年のτ²-benchは、デュアルコントロールの設定を加えています。通信の分野では、エージェントと模擬ユーザーの両方がツールを使って共有の環境を変更できます。エージェントが顧客を導いて操作させなければならない技術サポートのような状況です。エージェントは、単独で作業するときより、能動的なユーザーと連携しなければならないときの方がはるかに低いスコアになりました。

開発者が注目する理由

このベンチマークは、自分のAIエージェントをテストするための良いモデルです。模擬ユーザー、本物のツール、ポリシー、結果の確認です。一貫性を重視している点も、成功したデモが1回では不十分な理由を示しています。k回中の最良と毎回の成功の違いについてはpass@kをご覧ください。

関連用語

AI ベンチマーク
AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
ツール呼び出し
ツール呼び出し(tool calling)は関数呼び出し(function calling)とも呼ばれ、モデル API の機能の 1 つです。スキーマで関数を記述すると、モデルはその 1 つを呼び出す構造化されたリクエストを返し、コードがそれを実行して結果を返します。
pass@k
pass@kとは、コードのベンチマークで使われる指標で、1つの問題に対して生成したk個の解のうち少なくとも1つがユニットテストに合格する確率を示します。pass@1は、1回の試行で成功する確率です。
AI エージェント
AI エージェント(AI agent)とは、言語モデルが次の手順を自分で決めるシステムです。固定の台本に従うのではなく、ツールを呼び出し、結果を読み、タスクが終わるまで繰り返します。
音声エージェント
音声エージェント(voice agent)とは、リアルタイムで音声の会話を行うAIエージェントです。人の話を聞き、何を言うか、何をするかを決め、合成音声で答えます。多くの場合、電話回線やアプリを通じて使われます。

出典