Menschen fragen einen Assistenten oft nach dem Falschen. Jemand will wissen, wie man Zuckerguss andickt, der immer herunterläuft, obwohl das eigentliche Problem ist, dass die Cupcakes noch zu warm sind. XYBench, ein neuer Benchmark von Forschern der Carnegie Mellon University, von NVIDIA und Johns Hopkins, veröffentlicht über Allen AI, misst, wie oft Chatbots solche falschen Annahmen erkennen. Kurz gesagt: nicht oft genug.
Der Benchmark umfasst 8.115 Fragen aus vier Quellen: 1.557 von Stack Overflow, 184 von anderen Stack-Exchange-Seiten, 102 von Hand geschrieben und 6.272 aus WikiHow-Anleitungen generiert. Zu jeder ist vermerkt, worum die Person gebeten hat und was sie eigentlich erreichen wollte. Antworten werden auf drei Arten bewertet: ob sie eine Lösung für eine der beiden Anfragen enthalten, auf welche sie sich konzentrieren und ob sie vom falschen Ansatz wegführen. Ein Claude-Modell bewertet, und zwei menschliche Prüfer, die 500 Antworten kontrollierten, stimmten je nach Maß in 74,2% bis 100% der Fälle mit ihm überein.
Getestet wurden Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B und DeepSeek-V4 Pro. Bei Stack-Overflow-Fragen beantwortete jedes Modell eher die wörtliche als die eigentliche Frage: Lösungen für die gestellte Anfrage tauchten in 75-86% der Antworten auf, Lösungen für das eigentliche Ziel in 59-71%. Auf das echte Ziel konzentrierten sich die Modelle nur in 35-41% der Antworten. Das wahre Ziel mitzuteilen half etwas: Bei Sonnet 4.6 stieg der Anteil mit der richtigen Lösung von 59% auf 67%, der Anteil, der das Missverständnis benannte, fiel aber von 47% auf 34%. Am aufschlussreichsten: Bei zwei vorgegebenen Antworten wählten alle sechs getesteten Modelle in 71-84% der Fälle die zielorientierte. Sie erkennen guten Rat also weit öfter, als sie ihn schreiben.
Im Alltag deckt sich das mit einer bekannten Erfahrung mit ChatGPT, Claude oder Gemini: Wer eine enge Frage stellt, bekommt eine gründliche Antwort auf genau diese. Die praktische Gewohnheit lautet, das gewünschte Ergebnis zu beschreiben, nicht nur den Schritt, der vermeintlich dorthin führt. Die Arbeit erhielt den Best Resource Paper Award der EMNLP 2026.
Die Vorbehalte sind bei Benchmarks üblich. Mehrere der getesteten Modelle liegen eine Generation oder mehr hinter den aktuellen Versionen zurück, neuere könnten besser abschneiden. Die meisten Fragen sind aus WikiHow generiert statt von echten Nutzern gesammelt, der Benchmark ist nur auf Englisch und dreht sich vor allem um Abläufe, und getestet wird mit Einzelrunden, während in einem echten Gespräch das eigentliche Ziel bei einer Nachfrage auftauchen könnte.