Eine neue Klasse von KI-Modellen schreibt keine Antwort aus, sondern wählt in einem schnellen Durchgang aus einer Liste von Optionen. Forscher nennen sie System-One-Modelle, und sie werden zunehmend eingesetzt, um Anfragen weiterzuleiten, ein Werkzeug zu wählen oder zu prüfen, ob eine Aufgabe erledigt ist. SO-Arena, ein auf arXiv veröffentlichter Benchmark, stellt dazu zwei Fragen: Wie leistungsfähig sind sie, und kann man darauf vertrauen, dass ihre Entscheidungen stabil bleiben. Das wichtigste Ergebnis ist, dass die Antworten auseinandergehen.
Der Benchmark umfasst 2.919 Aufgaben in 11 Bereichen, gruppiert in fünf Familien: Textverständnis, Wissen und Schlussfolgern, Sicherheit und Richtlinien, Bewertung von Belegen und das Erledigen von Agentenaufgaben. Die Referenzlabels wurden von Hand daraufhin geprüft, ob sie durch das gestützt sind, was das Modell tatsächlich sieht, und die meisten Bereiche sind in Schwierigkeitsstufen geteilt. Agentenaufgaben laufen in Sandboxen und testen, ob ein Modell im Web oder mit Werkzeugen die richtige nächste Aktion wählt und ob es einen aufgezeichneten Ablauf korrekt beurteilt. Zuverlässigkeit wird gesondert mit zwei Tests gemessen: ob die Antwort hält, wenn die Optionen umsortiert werden, und ob das Modell merkt, dass die richtige Option entfernt wurde.
Unter den 21 getesteten Modellen sind 16 System-One-Modelle mit offenen Gewichten von 0.4B bis 31B Parametern, zwei geschlossene Entscheidungsdienste, Jev API 1.14 und OpenAI Decisions, sowie zwei klassische Reasoning-Modelle, GPT-6 Sol und Luna, als Referenz. Die Reasoning-Modelle führen weiterhin, GPT-6 Sol mit 82,3 und Luna mit 79,7, während die besten schnellen Modelle, GLiDE und KnowLine-31B, rund zehn Punkte hinter Luna liegen; Jev API 1.14 kam auf 60,4. Bei der Zuverlässigkeit ändert sich die Reihenfolge. Laut Abstract liegt das leistungsstärkste System-One-Modell dort nur auf Platz sieben, und das zuverlässigste, JevAny-27B, steht in der Leistungstabelle weit unten. Die meisten Modelle blieben bei ihrer Antwort, wenn die Optionen gemischt wurden, 14 von 18 lagen zwischen 0,83 und 0,94. Ob sie eine fehlende richtige Antwort bemerkten, schwankte dagegen stark.
Für Entwickler ist das ein praktischer Hinweis. Wer ein Entscheidungsmodell wie Jev, das wir besprechen, oder Googles neue Decisions API nutzt, um Anfragen zu routen oder Regeln durchzusetzen, sollte nicht allein auf die Leistungsrangliste optimieren. Ein Modell, das selbstsicher eine der angebotenen Optionen wählt, obwohl keine stimmt, kann schlechter sein als ein etwas schwächeres, das die Lücke meldet. Die Arbeit stellt außerdem fest, dass die Leistung mit der Schwierigkeit sinkt, besonders bei Agentenaufgaben.
Die Grenzen sind die eines frischen Preprints. Es ist nicht begutachtet, mehrere Modelle stammen von kleinen oder wenig bekannten Entwicklern, und der Zuverlässigkeitswert kombiniert zwei Maße auf eine Weise, die Leser anders gewichten könnten. Die Ergebnisse spiegeln die dokumentierten Einstellungen jedes Modells zu einem Zeitpunkt; diese Dienste werden oft aktualisiert.