Qu’est-ce que agent-desktop ?
agent-desktop permet à un agent d'IA d'utiliser des applications de bureau sans captures d'écran ni correspondance de pixels. Il lit l'arbre d'accessibilité d'une application, la liste étiquetée des boutons, champs et menus qu'utilisent les lecteurs d'écran, et le renvoie en JSON avec une référence pour chaque élément sur lequel l'agent peut agir. L'agent clique ou saisit sur une référence, relit l'interface pour vérifier, et recommence. Aucun modèle n'est intégré ; la boucle vit dans votre agent.
C'est un binaire Rust doté de 61 noms de commande (57 opérationnelles) couvrant les instantanés, les actions sur références, le clavier et la souris, les fenêtres, les notifications, le presse-papiers et les sessions, plus une bibliothèque C pour un usage dans le processus. Depuis la v1.2.0 du 5 novembre 2026, agent-desktop mcp expose chaque commande comme outil MCP via stdio. Une commande sandbox gère des machines virtuelles macOS locales pour que l'agent travaille sur un bureau qui n'est pas le vôtre. C'est le pendant bureau d'agent-browser, de Vercel.
Vercel Labs le publie sous licence Apache-2.0. Le dépôt a été créé en février 2026, compte environ 22 000 étoiles et 30 versions, et le paquet npm a enregistré environ 50 600 téléchargements la semaine précédant le 10 novembre.
Installer agent-desktop
npm install -g agent-desktop && agent-desktop mcpagent-desktop vaut-il le coup ?
agent-desktop fait le bon choix de conception principal, puis documente ses limites avec un soin rare. Les références sont liées à l'instantané qui les a produites : un @e8 isolé est refusé, et une interface qui a changé renvoie STALE_REF ou AMBIGUOUS_TARGET plutôt qu'un clic sur le mauvais contrôle. Les erreurs indiquent si l'on peut réessayer, et la documentation demande aux agents de ne réessayer que lorsqu'elle indique safe. Pour les applications denses comme Slack, un instantané squelette peu profond suivi d'une exploration d'une seule zone limite le coût en tokens de chaque lecture.
Face à Munim Computer Use, le rival le plus proche, il échange la portée dans le navigateur contre l'étendue. agent-desktop a plus de commandes, une bibliothèque C, une CLI que les agents peuvent appeler sans MCP et environ 22 000 étoiles contre 37 environ pour Munim, mais il s'arrête délibérément aux applications de bureau : les pages web relèvent d'agent-browser, auquel il se connecte en ouvrant un port DevTools sur les applications Chromium et Electron que vous lancez. Munim pilote directement votre Chrome connecté et dispose d'un fichier de règles par application ; agent-desktop n'a pas de liste équivalente d'autorisation et de blocage dans son README.
Le comportement sans affichage diffère selon la plateforme, et chaque page de plateforme dit exactement comment. Par défaut, les actions sur références passent par l'API d'accessibilité sans déplacer le pointeur, et --headed autorise la saisie physique. Sous Windows, type et right-click sans affichage sont refusés, et une application lancée en administrateur peut être lue mais pas pilotée depuis un terminal ordinaire. Sous Linux, il faut Ubuntu 24.04 ou plus récent avec un bus AT-SPI actif. Le binaire Windows n'est pas signé, si bien que SmartScreen et Smart App Control peuvent le bloquer.
Le README est clair sur la sécurité : les instantanés, les lectures du presse-papiers et les captures d'écran peuvent contenir des contenus privés du bureau et ne doivent pas figurer dans des journaux publics. Tout ce que l'agent lit à l'écran, un e-mail ou un message de discussion, peut porter une injection de prompt avec tout votre bureau derrière. Le bac à sable macOS, qui exécute l'agent dans une machine virtuelle locale, est la vraie parade, même si la documentation précise qu'il isole le bureau, pas le réseau ni l'hôte, et que Linux et Windows n'ont pas de fournisseur de bac à sable local. Un projet qui a grandi aussi vite, avec 220 issues et pull requests ouvertes, continuera de changer ; le serveur MCP a moins d'une semaine.
Là où il fait la différence
Un analyste des opérations dans une entreprise logistique de 30 personnes dotée d'une application de fret uniquement sous Windows
Recopier chaque matin les détails d'expédition des e-mails dans l'application de fret
L'agent prend un instantané du formulaire, remplit les champs avec set-value, qui fonctionne sans affichage sous Windows, et relit le formulaire pour confirmer. Gratuit hors tokens du modèle ; à exécuter sur une machine Windows dédiée, car l'agent peut atteindre toute application ouverte.
Une ingénieure QA dans une équipe d'application de bureau macOS
Faire vérifier par un agent de code un nouvel écran de réglages après chaque modification
Ajouter agent-desktop mcp à Claude Code, puis demander à l'agent de lancer la build, d'ouvrir les réglages et de vérifier chaque interrupteur avec wait --predicate. Le bac à sable macOS tient les tests à l'écart de son propre bureau.
Un développeur qui construit une application Electron avec du contenu web
Tester les menus natifs et la vue web dans une même boucle d'agent
agent-desktop pilote les menus et les fenêtres, et ouvre un port DevTools auquel agent-browser se connecte pour le contenu de la page. Les deux sont gratuits ; comptez deux outils dans le contexte de l'agent.
Avant de vous engager
- Mise en route
- npm install -g agent-desktop (ou brew install agent-desktop sous macOS et Linux), puis agent-desktop status et, sous macOS, agent-desktop permissions --guide pour l'autorisation d'accessibilité. Dans les clients MCP, ajoutez la commande agent-desktop avec l'argument mcp ; les skills s'installent avec npx skills add.
- Intégrations
- Chaque commande est un outil MCP (desktop_snapshot, desktop_click, desktop_session_start, etc.), la plupart en écriture : click, type, set-value, drag, launch, close-app, clipboard-set, actions sur notifications. Fonctionne avec tout agent capable d'exécuter une CLI ; une bibliothèque C couvre l'usage dans le processus.
- Données et confidentialité
- S'exécute en local ; le serveur MCP communique en stdio et n'ouvre aucun port, mais il ouvre un port DevTools sur les applications Chromium et Electron que vous lancez pour agent-browser. Instantanés, presse-papiers et captures d'écran peuvent contenir des contenus privés et partent chez votre fournisseur de modèle. Les failles se signalent via le signalement privé de vulnérabilités de GitHub ; aucun avis n'est publié.
- Coût à grande échelle
- Gratuit ; le coût, ce sont les tokens et les appels au modèle. Les instantanés d'accessibilité sont du texte et non des images, et les instantanés squelettes avec exploration réduisent le coût des grosses applications, mais une longue tâche de bureau implique toujours de nombreux appels d'observation et d'action. Les machines virtuelles hébergées de Vercel Sandbox sont facturées par Vercel.
- Limites
- Applications de bureau uniquement, pas les pages web. Les applications sans arbre d'accessibilité sont invisibles. Windows : binaire non signé, pas de type sans affichage, et les applications élevées exigent un terminal élevé. Linux : Ubuntu 24.04+ et un bus AT-SPI actif. Bacs à sable locaux sous macOS uniquement.
Les points forts
- Références liées à l'instantané qui échouent plutôt que de mal cliquer
- Même jeu de commandes sous macOS, Windows et Linux
- CLI, serveur MCP et bibliothèque C dans un seul binaire
- Documentation par plateforme de ce qui marche sans affichage
- Bac à sable macOS en machine virtuelle locale pour des exécutions isolées
Les points faibles
- Peut agir dans toute application que votre compte peut ouvrir
- Pas de règle d'autorisation ou de blocage par application
- Binaire Windows non signé ; applications administrateur non pilotables
- Mode MCP sorti le 5 novembre 2026
Idéal pour
Développeurs qui créent des agents devant piloter des applications de bureau natives sans API, et qui peuvent les exécuter sur une machine à part ou dans le bac à sable macOS.
Alternatives à agent-desktop
agent-desktop : questions fréquentes
- agent-desktop vaut-il le coup ?
- Un moyen bien construit et largement utilisé de donner à un agent l'accès aux applications de bureau natives, avec une documentation honnête sur ce qui fonctionne sans affichage sur chaque système, même s'il peut agir en votre nom dans toute application que vous pouvez ouvrir. Nous lui donnons 4.1 sur 5.
- Combien coûte agent-desktop ?
- Gratuit et open source (Apache-2.0). Les appels au modèle sont payés à votre propre fournisseur ; les machines virtuelles hébergées de Vercel Sandbox sont facturées par Vercel.
- Quels sont les inconvénients de agent-desktop ?
- Peut agir dans toute application que votre compte peut ouvrir; pas de règle d'autorisation ou de blocage par application; binaire Windows non signé ; applications administrateur non pilotables; mode MCP sorti le 5 novembre 2026.
- À qui s’adresse agent-desktop ?
- Développeurs qui créent des agents devant piloter des applications de bureau natives sans API, et qui peuvent les exécuter sur une machine à part ou dans le bac à sable macOS.
- Combien coûte agent-desktop pour une équipe ou en production ?
- Gratuit ; le coût, ce sont les tokens et les appels au modèle. Les instantanés d'accessibilité sont du texte et non des images, et les instantanés squelettes avec exploration réduisent le coût des grosses applications, mais une longue tâche de bureau implique toujours de nombreux appels d'observation et d'action. Les machines virtuelles hébergées de Vercel Sandbox sont facturées par Vercel.
- agent-desktop est-il sûr pour les données de l’entreprise ?
- S'exécute en local ; le serveur MCP communique en stdio et n'ouvre aucun port, mais il ouvre un port DevTools sur les applications Chromium et Electron que vous lancez pour agent-browser. Instantanés, presse-papiers et captures d'écran peuvent contenir des contenus privés et partent chez votre fournisseur de modèle. Les failles se signalent via le signalement privé de vulnérabilités de GitHub ; aucun avis n'est publié.
- Quelles sont les meilleures alternatives à agent-desktop ?
- Les alternatives les plus proches que nous avons testées sont Munim Computer Use et Playwright MCP.
Réponses vérifiées le 11 nov. 2026.
Vous éditez agent-desktop ? Affichez cette note sur votre site
