La gente suele pedir ayuda a un asistente con lo que no es. Alguien pregunta cómo espesar un glaseado que se escurre, cuando el problema real es que las magdalenas siguen demasiado calientes. XYBench, un nuevo banco de pruebas de investigadores de Carnegie Mellon, NVIDIA y Johns Hopkins, publicado a través de Allen AI, mide con qué frecuencia los chatbots detectan ese tipo de suposición errónea. La respuesta corta: no lo bastante.
El banco de pruebas tiene 8.115 preguntas de cuatro fuentes: 1.557 de Stack Overflow, 184 de otros sitios de Stack Exchange, 102 escritas a mano y 6.272 generadas a partir de guías de WikiHow. Cada una lleva anotado qué pidió la persona y qué intentaba conseguir de verdad. Las respuestas se puntúan de tres formas: si contienen una solución para alguna de las dos peticiones, en cuál se centran y si apartan al usuario del enfoque equivocado. Un modelo Claude actúa como juez, y dos revisores humanos que comprobaron 500 respuestas coincidieron con él entre el 74,2% y el 100% de las veces según la medida.
Los resultados abarcan Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro. En las preguntas de Stack Overflow, todos los modelos tendían más a responder la pregunta literal que la real: las soluciones a la petición explícita aparecían en el 75-86% de las respuestas, y las del objetivo de fondo en el 59-71%. Los modelos se centraron sobre todo en el objetivo real solo en el 35-41% de las respuestas. Decirle al modelo el verdadero objetivo ayudó un poco: la tasa de Sonnet 4.6 de incluir la solución correcta pasó del 59% al 67%, pero la de señalar la idea equivocada bajó del 47% al 34%. El resultado más revelador: ante dos respuestas, los seis modelos probados eligieron la centrada en el objetivo en el 71-84% de los casos, así que reconocen un buen consejo mucho más a menudo de lo que lo escriben.
En el uso diario, esto encaja con una experiencia conocida con ChatGPT, Claude o Gemini: haces una pregunta concreta y recibes una respuesta exhaustiva justo a eso. El hábito práctico es describir el resultado que buscas, no solo el paso que crees que te llevará a él. El trabajo ganó el premio al mejor artículo de recursos en EMNLP 2026.
Las salvedades son las habituales en estos bancos de pruebas. Varios de los modelos evaluados van una generación o más por detrás de los actuales, así que los nuevos podrían hacerlo mejor. La mayoría de las preguntas se generan a partir de WikiHow en lugar de recogerse de usuarios reales, el banco solo está en inglés y trata sobre todo problemas de procedimiento, y las pruebas usan intercambios de un solo turno, cuando en una conversación real el objetivo verdadero podría salir en una pregunta posterior.