人はしばしば、アシスタントに見当違いのことで助けを求めます。たとえば滑り落ちてしまうアイシングを固くする方法を尋ねる人がいても、本当の問題はカップケーキがまだ温かすぎることだったりします。Carnegie Mellon、NVIDIA、Johns Hopkinsの研究者がAllen AIを通じて公開した新しいベンチマークXYBenchは、チャットボットがこうした誤った前提にどれだけ気づくかを測ります。結論を言えば、十分ではありません。
ベンチマークは四つの出典からの8,115問で構成されます。Stack Overflowから1,557問、その他のStack Exchangeサイトから184問、手作業で書いた102問、WikiHowのガイドから生成した6,272問です。各問には、その人が求めたことと、実際に達成しようとしていたことが記録されています。回答は三つの観点で採点されます。どちらかの要望への解決策を含むか、どちらに重点を置くか、誤ったやり方から利用者を遠ざけるかです。採点はClaudeモデルが担い、500件の回答を確認した2人の人間の評価者との一致率は、指標によって74.2%から100%でした。
評価対象はClaude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Proです。Stack Overflowの質問では、どのモデルも本当の問題より文字どおりの質問に答える傾向がありました。表明された要望への解決策は回答の75-86%に含まれましたが、根本の目的への解決策は59-71%でした。本当の目的に主眼を置いた回答は35-41%にとどまりました。利用者の本当の目的をモデルに伝えると少し改善しました。Sonnet 4.6で正しい解決策を 含む割合は59%から67%に上がりましたが、誤解を指摘する割合は47%から34%に下がりました。最も示唆的なのは、二つの回答を示すと、試した6つのモデルすべてが71-84%の割合で目的に沿った回答を選んだことです。よい助言を書くことより、見分けることのほうがはるかに得意なのです。
日常の使い方に置き換えると、これはChatGPT、Claude、Geminiでよくある経験と一致します。狭い質問をすると、まさにその質問への丁寧な答えが返ってきます。実際的なコツは、そこへ至ると思う手順だけでなく、望む結果を説明することです。この論文はEMNLP 2026でBest Resource Paper Awardを受賞しました。
注意点はベンチマークによくあるものです。評価されたモデルのいくつかは現行版より1世代以上前のもので、新しいモデルならもっとよい結果になるかもしれません。質問の大半は実際の利用者から集めたものではなくWikiHowから生成されており、英語のみで、主に手順に関する問題を扱っています。テストは1往復のやり取りで行われていますが、実際の会話なら追加の質問で本当の目的が明らかになることもあります。