Qu’est-ce que Munim Computer Use ?
Munim Computer Use permet à un agent d'utiliser les applications de votre propre ordinateur. Il lit l'arbre d'accessibilité de chaque fenêtre, la liste structurée de boutons, champs et libellés qu'utilisent les lecteurs d'écran, et fournit à l'agent des identifiants d'éléments sur lesquels cliquer, écrire ou faire défiler, avec un repli sur l'OCR local quand une app n'expose aucun libellé. Les captures et un outil de zoom servent à vérifier les résultats. Un pointeur d'agent discret montre où il agit et, sous macOS, les saisies vont à la fenêtre cible sans déplacer votre souris.
Il fonctionne sous macOS (un serveur en Swift), Windows et Linux (un serveur en Rust), avec les mêmes 38 outils partout. Une extension Chrome facultative, reliée par la messagerie native de Chrome, ajoute 19 outils de navigateur qui travaillent dans un groupe d'onglets étiqueté au sein de votre vrai Chrome connecté. Un fichier policy.json fixe allow, ask ou block par app et par site.
Munim Technologies (Munim, Inc.) l'a conçu comme moteur d'utilisation de l'ordinateur de son app MT Code et le publie séparément sous licence Apache-2.0. Le dépôt a été créé le 5 septembre 2026, compte environ 37 étoiles et 30 versions, et la v0.13.0 est sortie le 6 novembre 2026.
Installer Munim Computer Use
npx -y munim-computer-useMunim Computer Use vaut-il le coup ?
Munim Computer Use réussit l'essentiel. Lire l'arbre d'accessibilité plutôt que des captures signifie que l'agent appuie sur un bouton nommé au lieu de deviner des pixels, et cela fonctionne avec des modèles sans vision. Les identifiants sont revérifiés avant chaque action : si une boîte de dialogue intervertit ses boutons, l'appel échoue au lieu de cliquer sur le mauvais, et run_steps contrôle toute une liste d'actions avant d'en exécuter une seule. Dans le banc d'essai du projet daté du 4 novembre 2026, lire une fenêtre prenait environ 0.12 s sous Windows et renvoyait environ 2.0K tokens, devant tous les concurrents mesurés ; ces chiffres sont autodéclarés et les scripts ne sont pas publiés.
C'est dans le navigateur qu'il se distingue de Playwright ou de Chrome DevTools MCP. Ces serveurs lancent un navigateur à part ; Munim travaille dans le Chrome où vous êtes déjà connecté, dans son propre groupe d'onglets, et peut reprendre un onglet que vous lui désignez. L'extension dispose de la permission debugger de Chrome et de l'accès à toutes les URL : partout où vous êtes connecté, l'agent peut lire et agir. Deux garde-fous se distinguent : browser_request_credentials ouvre une fenêtre où vous tapez un mot de passe directement dans la page sans que le modèle le voie, et les champs de mot de passe du bureau refusent la saisie par défaut.
Le volet sécurité est honnête plutôt que complet. Le fichier de règles peut bloquer Keychain Access ou votre banque, une demande liée à une règle ask vaut refus si elle reste sans réponse deux minutes, et un fichier invalide bloque tout. Mais le README parle d'un garde-fou, pas d'un bac à sable : un clic par coordonnées tombe là où il pointe et une capture plein écran montre toutes les fenêtres. Tout texte que lit l'agent, d'une page web à un e-mail dans Mail, est une injection de prompt possible avec tout votre bureau derrière. Aucun port n'est ouvert ; le serveur parle stdio et rejoint Chrome par un socket local ou un tube nommé.
Le hic : la saisie en arrière-plan n'est garantie que sous macOS. Sous Windows, les apps Chromium, Electron, WPF et UWP ont toujours besoin du vrai pointeur, et sous Linux chaque action de pointeur le déplace, tandis que les apps Wayland natives n'acceptent pas de clic par coordonnées. L'extension Chrome doit être chargée non empaquetée en mode développeur. Avec environ 37 étoiles, un contributeur principal et une version tous les quelques jours, attendez-vous à des correctifs rapides comme à des changements rapides.
Notre avis : pour un développeur qui veut qu'un agent saisisse des notes de frais dans une app de bureau ou remplisse un formulaire derrière une connexion, c'est un point de départ mieux construit que les serveurs pilotés par captures ; faites-le tourner sous un compte utilisateur séparé ou avec une règle de blocage par défaut tant qu'il n'a pas un historique plus long.
Là où il fait la différence
Un assistant comptable dans une société de 20 personnes utilisant un logiciel de comptabilité de bureau sans API
Saisir une pile de factures fournisseurs sans retaper chaque champ
L'agent lit le formulaire de l'app avec get_app_state, remplit les champs par identifiant d'élément et vérifie chaque saisie avec return_state. Gratuit hormis les tokens du modèle ; une règle qui bloque Mail et le navigateur le garde concentré sur la tâche.
Une ingénieure QA qui teste une app Electron multiplateforme
Lancer le même test de fumée sous macOS, Windows et Linux
Comme les noms et schémas des outils sont identiques sur chaque système, un seul prompt pilote les trois. Sous Windows et Linux, le vrai pointeur bougera dans les fenêtres Electron : mieux vaut utiliser des machines dédiées.
Un fondateur seul qui gère plusieurs tableaux de bord SaaS derrière une authentification unique
Reporter les chiffres de la semaine de trois consoles d'administration dans une note
L'agent ouvre son propre groupe d'onglets dans le Chrome du fondateur, lit chaque page avec browser_read et se reconnecte via browser_request_credentials quand une session a expiré. Passez les pages de facturation et d'administration en ask dans policy.json.
Avant de vous engager
- Mise en route
- claude mcp add munim-computer-use -- npx -y munim-computer-use, qui télécharge le binaire signé au premier lancement ; les configurations Codex et Cursor sont dans le README. Sous macOS, lancez une fois munim-computer-use request-permissions pour Accessibility et Screen Recording. Pour les outils de navigateur, chargez chrome-extension/ non empaquetée et lancez install-native-host.
- Intégrations
- 38 outils : voir (list_apps, get_app_state, screenshot, zoom, list_displays), agir (click, type_text, set_value, press_key, drag, run_steps et d'autres), lecture et écriture du presse-papiers, et 19 outils de navigateur comme browser_read, browser_fill, browser_upload_file et browser_request_credentials. Presque tous sont des actions d'écriture ; COMPUTER_USE_BROWSER=0 masque les outils de navigateur.
- Données et confidentialité
- Tourne en local via stdio et n'ouvre aucun port réseau ; le pont vers Chrome passe par un socket local ou un tube nommé. L'OCR se fait sur l'appareil. L'agent peut lire et agir dans chaque app et site connecté que la règle autorise, ainsi que dans le presse-papiers et les fichiers locaux qu'il téléverse ; captures et texte des pages vont à votre fournisseur de modèle. Le README ne mentionne aucune télémétrie et le dépôt ne liste aucun avis de sécurité.
- Coût à grande échelle
- Gratuit ; le coût, ce sont les tokens du modèle. Selon le banc d'essai du projet, une lecture d'accessibilité renvoie environ 1.0K à 2.0K tokens par fenêtre, bien moins qu'une boucle de captures, mais les longues tâches de bureau cumulent tout de même de nombreux appels.
- Limites
- La saisie en arrière-plan est au mieux sous Windows et absente pour les actions de pointeur sous Linux ; les apps Wayland natives acceptent les actions sur éléments mais pas les clics par coordonnées. Les agents en bac à sable sous Windows obtiennent des arbres vides et des captures noires. Chrome uniquement, et l'extension doit être chargée non empaquetée.
Les points forts
- Arbre d'accessibilité avec des identifiants qui échouent au lieu de viser à côté
- Les mêmes 38 outils sous macOS, Windows et Linux
- Saisie en arrière-plan sous macOS ; pointeur d'agent en surimpression
- Règles allow, ask et block par app et par site
- La fenêtre d'identification garde les mots de passe hors du modèle
Les points faibles
- L'agent peut agir en votre nom dans chaque app et site connecté
- Saisie en arrière-plan garantie seulement sous macOS
- Extension Chrome non empaquetée, avec accès debugger
- Deux mois d'existence ; bancs d'essai autodéclarés
Idéal pour
Les développeurs sous macOS, Windows ou Linux qui veulent qu'un agent utilise des apps de bureau et des sites où ils sont connectés, et qui rédigeront d'abord des règles par app et par site.
Alternatives à Munim Computer Use
Munim Computer Use : questions fréquentes
- Munim Computer Use vaut-il le coup ?
- Un serveur ouvert d'utilisation de l'ordinateur conçu avec soin, mais âgé de deux mois et capable de tout ce que vous faites à votre bureau, il doit donc gagner la confiance lentement. Nous lui donnons 3.7 sur 5.
- Combien coûte Munim Computer Use ?
- Gratuit et open source (Apache-2.0). Pas d'offre payante ; les appels au modèle sont payés à votre propre fournisseur.
- Quels sont les inconvénients de Munim Computer Use ?
- L'agent peut agir en votre nom dans chaque app et site connecté; saisie en arrière-plan garantie seulement sous macOS; extension Chrome non empaquetée, avec accès debugger; deux mois d'existence ; bancs d'essai autodéclarés.
- À qui s’adresse Munim Computer Use ?
- Les développeurs sous macOS, Windows ou Linux qui veulent qu'un agent utilise des apps de bureau et des sites où ils sont connectés, et qui rédigeront d'abord des règles par app et par site.
- Combien coûte Munim Computer Use pour une équipe ou en production ?
- Gratuit ; le coût, ce sont les tokens du modèle. Selon le banc d'essai du projet, une lecture d'accessibilité renvoie environ 1.0K à 2.0K tokens par fenêtre, bien moins qu'une boucle de captures, mais les longues tâches de bureau cumulent tout de même de nombreux appels.
- Munim Computer Use est-il sûr pour les données de l’entreprise ?
- Tourne en local via stdio et n'ouvre aucun port réseau ; le pont vers Chrome passe par un socket local ou un tube nommé. L'OCR se fait sur l'appareil. L'agent peut lire et agir dans chaque app et site connecté que la règle autorise, ainsi que dans le presse-papiers et les fichiers locaux qu'il téléverse ; captures et texte des pages vont à votre fournisseur de modèle. Le README ne mentionne aucune télémétrie et le dépôt ne liste aucun avis de sécurité.
- Quelles sont les meilleures alternatives à Munim Computer Use ?
- Les alternatives les plus proches que nous avons testées sont Playwright MCP, Chrome DevTools MCP et OpenTabs.
Réponses vérifiées le 11 nov. 2026.