OSWorld
OSWorld est un benchmark pour les agents de computer use qui fait tourner de vrais systèmes d'exploitation comme Ubuntu, Windows et macOS et note les agents sur 369 tâches ouvertes dans des applications web et de bureau, vérifiées par des scripts.
Aussi appelé : OSWorld-Verified
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Un agent de computer use contrôle un ordinateur comme le ferait une personne : il regarde l'écran, déplace la souris, clique et tape au clavier. OSWorld, publié en 2024, teste ces agents dans de vraies machines virtuelles plutôt que dans une maquette simplifiée.
Comment ça marche
Le benchmark comprend 369 tâches tirées d'usages réels. Elles portent sur des applications web et de bureau, la gestion de fichiers et des flux de travail qui couvrent plusieurs applications. Chaque tâche a une configuration initiale qui place la machine dans un état de départ connu et un script sur mesure qui vérifie le résultat final. Comme la notation examine ce qui a réellement changé sur la machine, un agent ne peut pas réussir en décrivant les bonnes étapes ; il doit les exécuter.
Ce que les résultats ont montré
Au lancement, les humains réussissaient plus de 72,36 % des tâches, contre 12,24 % pour le meilleur modèle. Les auteurs ont constaté que les agents avaient surtout du mal avec le GUI grounding, c'est-à-dire déterminer sur quel élément de l'écran agir, et avec la compréhension du fonctionnement des applications. Les chiffres de lancement vieillissent vite : consultez le classement actuel.
Utiliser les scores
Les résultats d'OSWorld dépendent du modèle et de la façon dont l'agent est construit : les captures d'écran qu'il voit, les outils dont il dispose et le nombre d'étapes autorisé. Comparez ce qui est comparable. Pour les agents qui ne travaillent que dans une page web, voir les agents de navigateur. Beaucoup d'agents de computer use reposent sur des modèles vision-langage, si bien qu'OSWorld teste aussi la compréhension visuelle. Faites tourner tout agent d'IA de ce type dans un environnement isolé, puisqu'il agit sur un système réel.
Termes liés
- Computer use
- Le computer use (utilisation de l'ordinateur) est la capacité d'un modèle d'IA à manipuler un ordinateur comme le fait une personne, en regardant des captures d'écran et en envoyant des clics de souris et des frappes au clavier, pour travailler avec des logiciels dépourvus d'API.
- Agent de navigation
- Un agent de navigation (browser agent) est un agent IA qui pilote un navigateur web pour accomplir des tâches, comme chercher, cliquer, remplir des formulaires et lire des pages, souvent au moyen d'un navigateur headless, sans fenêtre visible.
- Benchmark d'IA
- Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
- Modèle vision-langage
- Un modèle vision-langage (vision-language model, VLM) est un modèle qui reçoit des images et du texte en entrée et produit du texte, si bien qu'il peut décrire des images, répondre à des questions à leur sujet, lire des documents et extraire des données de captures d'écran.
- Agent IA
- Un agent IA est un système dans lequel un modèle de langage décide lui-même de ses prochaines étapes : il appelle des outils, lit les résultats et recommence jusqu'à ce que la tâche soit terminée, au lieu de suivre un script fixe.