As pessoas muitas vezes pedem ajuda a um assistente com a coisa errada. Alguém pergunta como engrossar uma cobertura que escorre, quando o problema real é que os cupcakes ainda estão quentes demais. O XYBench, um novo benchmark de pesquisadores da Carnegie Mellon, da NVIDIA e da Johns Hopkins, publicado pela Allen AI, mede com que frequência os chatbots percebem esse tipo de suposição errada. A resposta curta: não com frequência suficiente.
O benchmark tem 8.115 perguntas de quatro fontes: 1.557 do Stack Overflow, 184 de outros sites do Stack Exchange, 102 escritas à mão e 6.272 geradas a partir de guias do WikiHow. Cada uma traz anotado o que a pessoa pediu e o que ela de fato queria fazer. As respostas são avaliadas de três formas: se trazem solução para algum dos dois pedidos, em qual delas se concentram e se afastam o usuário da abordagem equivocada. Um modelo Claude atua como juiz, e dois revisores humanos que conferiram 500 respostas concordaram com ele entre 74,2% e 100% das vezes, conforme a medida.
Os resultados cobrem Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B e DeepSeek-V4 Pro. Nas perguntas do Stack Overflow, todos os modelos tendiam mais a responder a pergunta literal que a real: soluções para o pedido explícito apareceram em 75-86% das respostas, e para o objetivo de fundo em 59-71%. Os modelos se concentraram principalmente no objetivo real em só 35-41% das respostas. Contar ao modelo o objetivo verdadeiro ajudou um pouco: a taxa do Sonnet 4.6 de incluir a solução certa subiu de 59% para 67%, mas a de apontar o equívoco caiu de 47% para 34%. O resultado mais revelador: diante de duas respostas, os seis modelos testados escolheram a focada no objetivo em 71-84% dos casos, ou seja, reconhecem um bom conselho com muito mais frequência do que o escrevem.
No uso diário, isso bate com uma experiência conhecida com ChatGPT, Claude ou Gemini: você faz uma pergunta estreita e recebe uma resposta completa exatamente sobre ela. O hábito prático é descrever o resultado que você quer, não só o passo que acha que vai levar até ele. O trabalho ganhou o prêmio de melhor artigo de recursos na EMNLP 2026.
As ressalvas são as comuns em benchmarks. Vários dos modelos testados estão uma geração ou mais atrás dos lançamentos atuais, então os mais novos podem se sair melhor. A maioria das perguntas é gerada a partir do WikiHow, e não coletada de usuários reais, o benchmark é só em inglês e trata sobretudo de problemas práticos, e os testes usam trocas de um único turno, quando numa conversa real o objetivo verdadeiro poderia aparecer numa pergunta seguinte.