Une nouvelle catégorie de modèles d'IA ne rédige pas de réponse et se contente de choisir dans une liste d'options en un passage rapide. Les chercheurs les appellent modèles System One, et on s'en sert de plus en plus pour router des requêtes, choisir un outil ou vérifier qu'une tâche est terminée. SO-Arena, un banc d'essai publié sur arXiv, leur pose deux questions : de quoi sont-ils capables, et peut-on compter sur la stabilité de leurs décisions. Sa principale conclusion est que les réponses divergent.
Le banc d'essai couvre 2 919 tâches dans 11 domaines regroupés en cinq familles : compréhension de texte, connaissances et raisonnement, sécurité et règles, évaluation de preuves et accomplissement de tâches d'agent. Les étiquettes de référence ont été vérifiées à la main au regard de ce que le modèle voit réellement, et la plupart des domaines sont découpés en niveaux de difficulté. Les tâches d'agent tournent dans des bacs à sable et testent à la fois le choix de la bonne action suivante sur le web ou avec des outils et la capacité à juger correctement une exécution enregistrée. La fiabilité est mesurée à part par deux tests : la réponse résiste-t-elle à un réordonnancement des options, et le modèle remarque-t-il que la bonne option a été retirée.
Les 21 modèles testés comprennent 16 modèles System One à poids ouverts de 0.4B à 31B paramètres, deux services de décision fermés, Jev API 1.14 et OpenAI Decisions, et deux modèles de raisonnement classiques, GPT-6 Sol et Luna, comme références. Les modèles de raisonnement restent en tête, GPT-6 Sol avec 82,3 et Luna avec 79,7, tandis que les meilleurs modèles rapides, GLiDE et KnowLine-31B, ont environ dix points de retard sur Luna ; Jev API 1.14 obtient 60,4. En fiabilité, l'ordre change. Le résumé indique que le System One le plus performant n'est que septième, et que le plus fiable, JevAny-27B, se situe loin dans le classement de capacité. La plupart des modèles gardaient leur réponse quand les options étaient mélangées, 14 sur 18 se situant entre 0,83 et 0,94, mais la détection d'une bonne réponse manquante variait fortement.
Pour les développeurs, c'est un repère pratique. Si vous utilisez un modèle de décision comme Jev, que nous évaluons, ou la nouvelle Decisions API de Google pour router du trafic ou appliquer des règles, le classement de capacité n'est pas le seul chiffre à optimiser. Un modèle qui choisit avec assurance l'une des options proposées alors qu'aucune n'est juste peut être pire qu'un modèle un peu plus faible qui signale le manque. L'article constate aussi que les performances baissent avec la difficulté, surtout pour les tâches d'agent.
Les limites sont celles d'une prépublication récente. Elle n'a pas été relue par des pairs, plusieurs modèles viennent de petits développeurs peu connus, et le score de fiabilité combine deux mesures d'une manière que les lecteurs pourraient pondérer autrement. Les résultats reflètent les réglages documentés de chaque modèle à un moment donné, et ces services évoluent souvent.