¿Qué es agent-desktop?
agent-desktop permite a un agente de IA manejar aplicaciones de escritorio sin capturas de pantalla ni coincidencia de píxeles. Lee el árbol de accesibilidad de una aplicación, la lista etiquetada de botones, campos y menús que usan los lectores de pantalla, y lo devuelve como JSON con una referencia para cada elemento sobre el que el agente puede actuar. El agente hace clic o escribe sobre una referencia, vuelve a leer la interfaz para comprobarlo y repite. No lleva ningún modelo dentro; el ciclo vive en tu agente.
Es un binario de Rust con 61 nombres de comando (57 operativos) que cubren capturas del árbol, acciones sobre referencias, teclado y ratón, ventanas, notificaciones, el portapapeles y sesiones, además de una biblioteca de C para uso dentro del proceso. Desde la v1.2.0 del 5 de noviembre de 2026, agent-desktop mcp ofrece cada comando como herramienta MCP por stdio. Un comando sandbox gestiona máquinas virtuales locales de macOS para que el agente trabaje en un escritorio que no es el tuyo. Es el hermano de escritorio de agent-browser, de Vercel.
Vercel Labs lo publica con licencia Apache-2.0. El repositorio se creó en febrero de 2026, tiene unas 22,000 estrellas y 30 versiones, y el paquete de npm tuvo unas 50,600 descargas en la semana hasta el 10 de noviembre.
Cómo instalar agent-desktop
npm install -g agent-desktop && agent-desktop mcp¿Merece la pena agent-desktop?
agent-desktop acierta en la decisión de diseño principal y después documenta sus límites con un detalle poco habitual. Las referencias están ligadas a la captura que las produjo, así que un @e8 suelto se rechaza y una interfaz que ha cambiado devuelve STALE_REF o AMBIGUOUS_TARGET en lugar de un clic en el control equivocado. Los errores incluyen una indicación de reintento, y la documentación pide a los agentes que reintenten solo cuando diga safe. En aplicaciones densas como Slack, una captura de esqueleto poco profunda seguida de un desglose de una sola región mantiene bajo el coste en tokens de cada lectura.
Frente a Munim Computer Use, el rival más cercano, se cambia alcance en el navegador por amplitud. agent-desktop tiene más comandos, una biblioteca de C, una CLI que los agentes pueden llamar sin MCP y unas 22,000 estrellas frente a las 37 o así de Munim, pero se detiene a propósito en las aplicaciones de escritorio: las páginas web son cosa de agent-browser, al que se conecta abriendo un puerto de DevTools en las aplicaciones Chromium y Electron que lances. Munim maneja directamente tu Chrome con sesión iniciada y tiene un archivo de políticas por aplicación; agent-desktop no tiene una lista equivalente de permitir y bloquear en su README.
El comportamiento sin interfaz visible cambia según la plataforma, y cada página de plataforma dice exactamente cómo. Por defecto, las acciones sobre referencias usan la API de accesibilidad sin mover el puntero, y --headed permite la entrada física. En Windows se rechazan type y right-click sin interfaz visible, y una aplicación que se ejecuta como administrador se puede leer pero no manejar desde un terminal normal. En Linux necesita Ubuntu 24.04 o posterior con un bus AT-SPI en marcha. El binario de Windows no está firmado, así que SmartScreen y Smart App Control pueden bloquearlo.
La postura de seguridad es clara en el README: las capturas, las lecturas del portapapeles y las capturas de pantalla pueden contener contenido privado del escritorio y deben quedar fuera de registros públicos. Cualquier cosa que el agente lea en pantalla, un correo o un mensaje de chat, puede traer una inyección de prompts con todo tu escritorio detrás. El sandbox de macOS, que ejecuta el agente en una máquina virtual local, es la mitigación real, aunque la documentación dice que separa el escritorio, no la red ni el equipo anfitrión, y Linux y Windows no tienen proveedor de sandbox local. Un proyecto que ha crecido tan rápido, con 220 issues y pull requests abiertos, seguirá cambiando; el servidor MCP tiene menos de una semana.
Dónde se gana su sitio
Un analista de operaciones en una empresa logística de 30 personas con una aplicación de fletes solo para Windows
Copiar cada mañana los datos de envíos de los correos a la aplicación de fletes
El agente captura el formulario de la aplicación, rellena campos con set-value, que funciona sin interfaz visible en Windows, y vuelve a leer el formulario para confirmar. Gratis salvo los tokens del modelo; ejecútalo en una máquina Windows dedicada, porque el agente puede llegar a cualquier aplicación abierta.
Un ingeniero de QA en un equipo de aplicación de escritorio para macOS
Que un agente de programación revise una nueva pantalla de ajustes tras cada cambio
Añade agent-desktop mcp a Claude Code y pide al agente que lance la compilación, abra los ajustes y verifique cada interruptor con wait --predicate. Usar el sandbox de máquina virtual de macOS mantiene las pruebas fuera del escritorio del ingeniero.
Un desarrollador que crea una aplicación Electron con contenido web
Probar los menús nativos y la vista web en un mismo ciclo del agente
agent-desktop maneja los menús y las ventanas, y abre un puerto de DevTools al que agent-browser se conecta para el contenido de la página. Ambos son gratis; cuenta con dos herramientas en el contexto del agente.
Antes de decidirte
- Puesta en marcha
- npm install -g agent-desktop (o brew install agent-desktop en macOS y Linux), después agent-desktop status y, en macOS, agent-desktop permissions --guide para el permiso de Accesibilidad. En clientes MCP, añade el comando agent-desktop con el argumento mcp; las skills se instalan con npx skills add.
- Integraciones
- Cada comando es una herramienta MCP (desktop_snapshot, desktop_click, desktop_session_start, etcétera), la mayoría de escritura: click, type, set-value, drag, launch, close-app, clipboard-set y acciones de notificación. Funciona con cualquier agente que pueda ejecutar una CLI; una biblioteca de C cubre el uso dentro del proceso.
- Datos y privacidad
- Se ejecuta en local; el servidor MCP habla por stdio y no abre ningún puerto, aunque abre un puerto de DevTools en las aplicaciones Chromium y Electron que lances para agent-browser. Las capturas, el portapapeles y las capturas de pantalla pueden contener contenido privado y van a tu proveedor del modelo. Los fallos de seguridad se notifican mediante el reporte privado de vulnerabilidades de GitHub; no hay avisos publicados.
- Coste a escala
- Gratis; el coste son los tokens y las llamadas al modelo. Las capturas de accesibilidad son texto y no imágenes, y las capturas de esqueleto con desglose abaratan las aplicaciones grandes, pero una tarea larga de escritorio sigue suponiendo muchas llamadas de observar y actuar. Las máquinas virtuales alojadas de Vercel Sandbox las factura Vercel.
- Límites
- Solo aplicaciones de escritorio, no páginas web. Las aplicaciones que no publican árbol de accesibilidad son invisibles. Windows: binario sin firmar, sin type sin interfaz visible, y las aplicaciones elevadas necesitan un terminal elevado. Linux: Ubuntu 24.04+ y un bus AT-SPI en marcha. Los sandbox locales son solo para macOS.
Lo bueno
- Referencias ligadas a la captura que fallan en vez de pulsar mal
- El mismo conjunto de comandos en macOS, Windows y Linux
- CLI, servidor MCP y biblioteca de C en un solo binario
- Documentación por plataforma de lo que funciona sin interfaz visible
- Sandbox con máquina virtual local de macOS para ejecuciones aisladas
Lo malo
- Puede actuar en cualquier aplicación que tu cuenta pueda abrir
- Sin política por aplicación de permitir o bloquear
- Binario de Windows sin firmar; las apps de administrador no se pueden manejar
- El modo MCP salió el 5 de noviembre de 2026
Ideal para
Desarrolladores que crean agentes que deben manejar aplicaciones de escritorio nativas sin API y que pueden ejecutarlos en una máquina aparte o en el sandbox de máquina virtual de macOS.
Alternativas a agent-desktop
agent-desktop: preguntas frecuentes
- ¿Merece la pena agent-desktop?
- Una forma bien construida y muy usada de dar a un agente las aplicaciones de escritorio nativas, con documentación honesta sobre lo que funciona sin interfaz visible en cada sistema, aunque puede actuar como tú en cualquier aplicación que puedas abrir. Le damos un 4.1 sobre 5.
- ¿Cuánto cuesta agent-desktop?
- Gratis y de código abierto (Apache-2.0). Las llamadas al modelo las pagas a tu propio proveedor; las máquinas virtuales alojadas de Vercel Sandbox las factura Vercel.
- ¿Qué inconvenientes tiene agent-desktop?
- Puede actuar en cualquier aplicación que tu cuenta pueda abrir; sin política por aplicación de permitir o bloquear; binario de Windows sin firmar; las apps de administrador no se pueden manejar; el modo MCP salió el 5 de noviembre de 2026.
- ¿Para quién es agent-desktop?
- Desarrolladores que crean agentes que deben manejar aplicaciones de escritorio nativas sin API y que pueden ejecutarlos en una máquina aparte o en el sandbox de máquina virtual de macOS.
- ¿Cuánto cuesta agent-desktop para un equipo o en producción?
- Gratis; el coste son los tokens y las llamadas al modelo. Las capturas de accesibilidad son texto y no imágenes, y las capturas de esqueleto con desglose abaratan las aplicaciones grandes, pero una tarea larga de escritorio sigue suponiendo muchas llamadas de observar y actuar. Las máquinas virtuales alojadas de Vercel Sandbox las factura Vercel.
- ¿Es agent-desktop seguro para los datos de la empresa?
- Se ejecuta en local; el servidor MCP habla por stdio y no abre ningún puerto, aunque abre un puerto de DevTools en las aplicaciones Chromium y Electron que lances para agent-browser. Las capturas, el portapapeles y las capturas de pantalla pueden contener contenido privado y van a tu proveedor del modelo. Los fallos de seguridad se notifican mediante el reporte privado de vulnerabilidades de GitHub; no hay avisos publicados.
- ¿Cuáles son las mejores alternativas a agent-desktop?
- Las alternativas más cercanas que hemos analizado son Munim Computer Use y Playwright MCP.
Respuestas comprobadas el 11 nov 2026.
¿Desarrollas agent-desktop? Muestra esta nota en tu web
