On demande souvent à un assistant de l'aide sur la mauvaise chose. Quelqu'un veut savoir comment épaissir un glaçage qui glisse, alors que le vrai problème est que les cupcakes sont encore trop chauds. XYBench, un nouveau banc d'essai de chercheurs de Carnegie Mellon, de NVIDIA et de Johns Hopkins, publié via Allen AI, mesure la fréquence à laquelle les chatbots repèrent ce genre d'hypothèse erronée. En bref : pas assez souvent.
Le banc d'essai compte 8 115 questions issues de quatre sources : 1 557 de Stack Overflow, 184 d'autres sites Stack Exchange, 102 rédigées à la main et 6 272 générées à partir de guides WikiHow. Chacune est annotée avec ce que la personne a demandé et ce qu'elle cherchait vraiment à faire. Les réponses sont notées de trois façons : si elles contiennent une solution à l'une ou l'autre demande, sur laquelle elles se concentrent, et si elles détournent l'utilisateur de la mauvaise approche. Un modèle Claude sert de juge, et deux relecteurs humains ayant vérifié 500 réponses étaient d'accord avec lui dans 74,2% à 100% des cas selon la mesure.
Les résultats portent sur Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B et DeepSeek-V4 Pro. Sur les questions de Stack Overflow, tous les modèles répondaient plus volontiers à la question littérale qu'à la vraie : des solutions à la demande formulée apparaissaient dans 75-86% des réponses, contre 59-71% pour l'objectif réel. Les modèles se sont surtout concentrés sur le vrai objectif dans seulement 35-41% des réponses. Indiquer au modèle le véritable objectif a un peu aidé : chez Sonnet 4.6, le taux de réponses contenant la bonne solution est passé de 59% à 67%, mais celui des réponses signalant l'idée fausse est tombé de 47% à 34%. Le résultat le plus parlant : face à deux réponses, les six modèles testés ont choisi celle centrée sur l'objectif dans 71-84% des cas. Ils reconnaissent donc un bon conseil bien plus souvent qu'ils ne le rédigent.
Au quotidien, cela rejoint une expérience familière avec ChatGPT, Claude ou Gemini : posez une question étroite et vous obtenez une réponse fouillée à exactement cette question. La bonne habitude consiste à décrire le résultat recherché, pas seulement l'étape censée y mener. L'article a reçu le prix du meilleur article de ressources à EMNLP 2026.
Les réserves sont classiques pour un banc d'essai. Plusieurs modèles testés ont une génération ou plus de retard sur les versions actuelles, et les plus récents pourraient faire mieux. La plupart des questions sont générées à partir de WikiHow plutôt que recueillies auprès de vrais utilisateurs, le banc d'essai est uniquement en anglais et porte surtout sur des problèmes pratiques, et les tests utilisent des échanges en un seul tour, alors qu'une vraie conversation pourrait faire émerger l'objectif réel à la question suivante.