사람들은 어시스턴트에게 엉뚱한 것을 도와 달라고 하는 경우가 많습니다. 자꾸 흘러내리는 프로스팅을 걸쭉하게 하는 법을 묻지만 진짜 문제는 컵케이크가 아직 너무 따뜻하다는 것일 수 있습니다. Carnegie Mellon, NVIDIA, Johns Hopkins 연구진이 Allen AI를 통해 공개한 새 벤치마크 XYBench는 챗봇이 이런 잘못된 전제를 얼마나 자주 알아차리는지 측정합니다. 짧게 말하면 충분하지 않습니다.
벤치마크는 네 가지 출처의 질문 8,115개로 이루어집니다. Stack Overflow에서 1,557개, 다른 Stack Exchange 사이트에서 184개, 직접 작성한 102개, WikiHow 가이드에서 생성한 6,272개입니다. 각 질문에는 그 사람이 요청한 것과 실제로 이루려던 것이 표시되어 있습니다. 답변은 세 가지로 채점합니다. 두 요청 중 하나에 대한 해결책이 있는지, 어느 쪽에 초점을 맞추는지, 잘못된 접근에서 사용자를 돌려세우는지입니다. Claude 모델이 채점을 맡았고, 답변 500개를 확인한 사람 검토자 두 명과의 일치율은 지표에 따라 74.2%에서 100%였습니다.
평가 대상은 Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B, DeepSeek-V4 Pro입니다. Stack Overflow 질문에서 모든 모델은 진짜 문제보다 문자 그대로의 질문에 답하는 경향이 컸습니다. 표면 요청에 대한 해결책은 답변의 75-86%에, 근본 목표에 대한 해결책은 59-71%에 들어 있었습니다. 진짜 목표에 주로 초점을 맞춘 답변은 35-41%뿐이었습니다. 사용자의 실제 목표를 알려 주자 조금 나아졌습니다. Sonnet 4.6이 올바른 해결책을 포함한 비율은 59%에서 67%로 올랐지만, 오해를 짚어 준 비율은 47%에서 34%로 떨어졌습니다. 가장 시사적인 결과는 두 답변을 제시하자 시험한 여섯 모델 모두 71-84%의 경우에 목표 중심 답변을 골랐다는 것입니다. 좋은 조언을 쓰는 것보다 알아보는 것을 훨씬 더 잘하는 셈입니다.
일상에서 보면 이는 ChatGPT, Claude, Gemini에서 흔히 겪는 일과 맞아떨어집니다. 좁은 질문을 하면 바로 그 질문에 대한 꼼꼼한 답이 돌아옵니다. 실용적인 습관은 그곳에 이를 것이라 생각하는 단계만이 아니라 원하는 결과를 설명하는 것입니다. 이 논문은 EMNLP 2026에서 Best Resource Paper Award를 받았습니다.
단서는 벤치마크에 흔한 것들입니다. 평가한 모델 몇몇은 현재 버전보다 한 세대 이상 뒤처져 있어 새 모델은 더 나을 수 있습니다. 질문 대부분은 실제 사용자에게서 모은 것이 아니라 WikiHow에서 생성했고, 영어로만 되어 있으며 주로 절차적 문제를 다룹니다. 테스트는 한 번 주고받는 대화로 진행되지만, 실제 대화에서는 후속 질문에서 진짜 목표가 드러날 수도 있습니다.