Qu’est-ce que UFO ?
UFO est un framework d'agents open source de Microsoft Research qui pilote des applications Windows à votre place. À partir d'une demande en langage courant, il prend des captures d'écran, lit l'arbre UI Automation de Windows, puis clique, tape et appelle les API des applications dans les vrais programmes de votre machine : Office, Edge, l'Explorateur de fichiers et les autres. Ce n'est pas un bac à sable ; il agit sur le bureau où il tourne.
Le dépôt comporte deux couches. UFO² (avril 2025) est l'agent Windows proprement dit, désormais en support à long terme. UFO³ Galaxy (novembre 2025) découpe une tâche en un graphe d'étapes et les confie à des agents sur des appareils Windows, Linux et Android via un protocole WebSocket ; Microsoft le classe en développement actif, adapté aux expériences et aux travaux non critiques.
Il faut Windows 10 ou plus récent, Python 3.10 ou plus récent et une clé d'API d'un fournisseur de modèles : OpenAI, Azure OpenAI, Claude, Gemini, Qwen, DeepSeek ou un modèle local via Ollama. Le code est sous licence MIT, compte environ 10 200 étoiles sur GitHub, et la v3.0.10 est sortie le 22 septembre 2026.
UFO vaut-il le coup ?
L'avantage d'UFO sur les agents qui se contentent de captures d'écran, c'est qu'il lit Windows lui-même. UFO² combine l'arbre d'accessibilité UI Automation et les appels Win32 et COM avec la vision, ce qui lui permet d'appuyer sur un bouton par son nom ou d'appeler une API Office au lieu de deviner des positions de pixels. Dans l'article de Microsoft, cela améliore nettement les résultats : avec o1, il a réussi 30.5 % des tâches de Windows Agent Arena et 32.7 % d'OSWorld-W, contre 20.8 % et 14.3 % pour Operator d'OpenAI, chaque agent étant limité à 30 étapes.
Cela reste des taux d'échec d'environ 70 %, et l'agent agit sur le bureau que vous utilisez. Il déplace le pointeur, tape dans des documents et des e-mails et envoie des captures de votre écran au fournisseur de modèles configuré ; l'avertissement de Microsoft demande de garder les informations sensibles hors de l'écran et de l'exécuter dans un environnement contrôlé. Un réglage SAFE_GUARD, activé par défaut, demande confirmation avant les actions que le modèle signale comme sensibles, mais le même document reconnaît que ce garde-fou dépend du marquage par le modèle et n'est pas un bac à sable. Une machine virtuelle Windows dédiée est l'endroit raisonnable pour l'utiliser.
Le travail de sécurité est régulier et mérite d'être suivi. Les versions v3.0.8 et v3.0.9, en août et septembre 2026, ont corrigé plusieurs problèmes signalés au centre de réponse de sécurité de Microsoft, dont une falsification de requêtes côté serveur via l'interface web de Galaxy. Le 29 septembre, un correctif a fait en sorte que les actions sensibles ne s'exécutent plus avant le garde-fou de confirmation ; il est arrivé une semaine après la v3.0.10, la dernière release étiquetée ne l'inclut donc pas.
Le coût est l'autre contrepartie. Chaque étape est un appel au modèle avec une capture jointe ; la fonction de multi-action spéculative regroupe des étapes prévues et, selon le README, réduit les appels au LLM jusqu'à 51 %. Galaxy ajoute la planification entre appareils, mais il est plus jeune et plus difficile à configurer. Pour un travail limité au navigateur, browser-use est plus léger et plus facile à cloisonner ; UFO trouve sa place quand la tâche se trouve dans un logiciel de bureau Windows sans API.
Là où il fait la différence
Un développeur RPA chez un assureur utilisant un ancien logiciel de sinistres sous Windows
Prototyper l'automatisation d'une routine de saisie qui n'a pas d'API
Exécutez UFO² dans une VM Windows dédiée avec SAFE_GUARD activé, ajoutez une démonstration enregistrée à sa base de connaissances de recherche et mesurez combien de fois il mène la routine à bout. Avec des taux de réussite proches de 30 % sur les benchmarks, prévoyez qu'une personne vérifie chaque exécution avant qu'elle ne touche aux données de production.
Un groupe de recherche qui étudie les agents d'utilisation d'ordinateur
Comparer des modèles sur les mêmes tâches Windows
Changez de modèle dans agents.yaml entre GPT-4o, Claude, Gemini ou un modèle local Ollama et lancez l'intégration Windows Agent Arena documentée par Microsoft. La limite de 30 étapes de l'article et ses tableaux par modèle fournissent une base publiée pour comparer.
Une équipe informatique dans une entreprise de 300 personnes avec des portables Windows et des serveurs Linux
Tester un flux qui récupère un journal sur un serveur et rédige un résumé dans un document Office
Galaxy découpe la demande en graphe, envoie l'étape Linux à un agent d'appareil Linux et l'étape Office à UFO² sous Windows. Microsoft juge Galaxy adapté à l'expérimentation et aux flux non critiques, limitez-le donc à un pilote.
Avant de vous engager
- Mise en route
- Sous Windows 10 ou plus récent avec Python 3.10 ou plus récent, lancez pip install -r requirements.txt, copiez config/ufo/agents.yaml.template, ajoutez une clé d'API puis exécutez python -m ufo --task <name>. Galaxy demande en plus un devices.yaml ainsi qu'un serveur et un client sur chaque appareil.
- Intégrations
- OpenAI, Azure OpenAI, Claude, Gemini, Qwen, DeepSeek, Ollama et le modèle Operator d'OpenAI ; serveurs MCP pour les outils des agents d'appareil ; recherche Bing et recherche documentaire sur des documents et des démonstrations ; Windows Agent Arena et OSWorld pour l'évaluation.
- Données et confidentialité
- Des captures du bureau et des applications actives partent vers le fournisseur de modèles configuré à chaque étape ; Microsoft dit ne pas les collecter, mais les conditions du fournisseur s'appliquent. Les clés d'API sont stockées dans config/ufo/agents.yaml. L'agent contrôle la vraie souris et le vrai clavier, exécutez-le donc dans une VM ou un compte dédié ; la confirmation SAFE_GUARD repose sur le signalement des actions sensibles par le modèle.
- Coût à grande échelle
- Gratuit sous MIT ; la dépense est l'usage de l'API du modèle, un ou plusieurs appels de vision par étape, le regroupement multi-action réduisant les appels jusqu'à 51 % selon le README. Microsoft ne publie pas de coût par tâche.
- Limites
- Les meilleurs taux de réussite publiés sont de 30.5 % sur Windows Agent Arena et de 32.7 % sur OSWorld-W ; UFO² ne tourne que sous Windows ; Galaxy est en développement actif ; le correctif du garde-fou de confirmation du 29 septembre 2026 est postérieur à la v3.0.10.
Les points forts
- Utilise UI Automation, Win32 et COM de Windows, pas seulement des captures
- 30.5 % sur Windows Agent Arena avec o1, au-dessus des 20.8 % d'Operator
- Fonctionne avec OpenAI, Azure OpenAI, Claude, Gemini, Qwen, DeepSeek ou Ollama
- Licence MIT, avec des correctifs de sécurité réguliers en 2026
Les points faibles
- Clique et tape dans vos vraies applications ; aucun bac à sable
- Envoie des captures de votre bureau au fournisseur de modèles
- Échoue à environ 70 % des tâches des benchmarks, même au mieux
- UFO² ne tourne que sous Windows ; Galaxy est encore en développement actif
Idéal pour
Les ingénieurs en automatisation d'organisations très ancrées dans Windows qui veulent prototyper des agents pour des logiciels de bureau sans API, dans une machine virtuelle de test.
Alternatives à UFO
UFO : questions fréquentes
- UFO vaut-il le coup ?
- UFO montre jusqu'où une intégration profonde à Windows peut mener un agent de bureau, mais il échoue encore à la plupart des tâches des benchmarks tout en pilotant votre vraie souris et votre vrai clavier. Nous lui donnons 3.5 sur 5.
- Combien coûte UFO ?
- Gratuit et open source sous licence MIT ; vous payez votre fournisseur de modèles à chaque étape.
- Quels sont les inconvénients de UFO ?
- Clique et tape dans vos vraies applications ; aucun bac à sable; envoie des captures de votre bureau au fournisseur de modèles; échoue à environ 70 % des tâches des benchmarks, même au mieux; uFO² ne tourne que sous Windows ; Galaxy est encore en développement actif.
- À qui s’adresse UFO ?
- Les ingénieurs en automatisation d'organisations très ancrées dans Windows qui veulent prototyper des agents pour des logiciels de bureau sans API, dans une machine virtuelle de test.
- Combien coûte UFO pour une équipe ou en production ?
- Gratuit sous MIT ; la dépense est l'usage de l'API du modèle, un ou plusieurs appels de vision par étape, le regroupement multi-action réduisant les appels jusqu'à 51 % selon le README. Microsoft ne publie pas de coût par tâche.
- UFO est-il sûr pour les données de l’entreprise ?
- Des captures du bureau et des applications actives partent vers le fournisseur de modèles configuré à chaque étape ; Microsoft dit ne pas les collecter, mais les conditions du fournisseur s'appliquent. Les clés d'API sont stockées dans config/ufo/agents.yaml. L'agent contrôle la vraie souris et le vrai clavier, exécutez-le donc dans une VM ou un compte dédié ; la confirmation SAFE_GUARD repose sur le signalement des actions sensibles par le modèle.
- Quelles sont les meilleures alternatives à UFO ?
- Les alternatives les plus proches que nous avons testées sont Browser Use, CLI-Anything, Magentic-UI (MagenticLite) et Agent Zero.
Réponses vérifiées le 14 nov. 2026.