O que é agent-desktop?
O agent-desktop permite que um agente de IA opere apps de desktop sem capturas de tela nem correspondência de pixels. Ele lê a árvore de acessibilidade de um app, a lista rotulada de botões, campos e menus que os leitores de tela usam, e a devolve em JSON com uma referência para cada elemento em que o agente pode agir. O agente clica ou digita em uma referência, lê a interface de novo para conferir e repete. Não há modelo dentro; o ciclo fica no seu agente.
É um binário em Rust com 61 nomes de comando (57 operacionais) que cobrem snapshots, ações sobre referências, teclado e mouse, janelas, notificações, a área de transferência e sessões, além de uma biblioteca em C para uso dentro do processo. Desde a v1.2.0, de 5 de novembro de 2026, o agent-desktop mcp oferece cada comando como ferramenta MCP via stdio. Um comando sandbox gerencia máquinas virtuais locais de macOS para que o agente trabalhe em um desktop que não é o seu. É o irmão de desktop do agent-browser, da Vercel.
A Vercel Labs publica o projeto sob a licença Apache-2.0. O repositório foi criado em fevereiro de 2026, tem cerca de 22,000 estrelas e 30 versões, e o pacote no npm teve cerca de 50,600 downloads na semana até 10 de novembro.
Como instalar agent-desktop
npm install -g agent-desktop && agent-desktop mcpagent-desktop vale a pena?
O agent-desktop acerta a principal decisão de design e depois documenta os próprios limites com um detalhe raro. As referências ficam presas ao snapshot que as gerou, então um @e8 solto é rejeitado e uma interface que mudou devolve STALE_REF ou AMBIGUOUS_TARGET em vez de um clique no controle errado. Os erros trazem uma indicação de nova tentativa, e a documentação orienta os agentes a tentar de novo só quando ela disser safe. Em apps densos como o Slack, um snapshot de esqueleto raso seguido de um detalhamento de uma única região mantém baixo o custo em tokens de cada leitura.
Diante do Munim Computer Use, o rival mais próximo, a troca é alcance no navegador por amplitude. O agent-desktop tem mais comandos, uma biblioteca em C, uma CLI que os agentes podem chamar sem MCP e cerca de 22,000 estrelas contra as 37 ou tanto do Munim, mas para de propósito nos apps de desktop: páginas web ficam com o agent-browser, ao qual ele se conecta abrindo uma porta de DevTools nos apps Chromium e Electron que você inicia. O Munim controla diretamente o seu Chrome logado e tem um arquivo de políticas por app; o agent-desktop não tem uma lista equivalente de permitir e bloquear no README.
O comportamento sem interface visível muda de plataforma para plataforma, e cada página de plataforma diz exatamente como. Por padrão, as ações sobre referências usam a API de acessibilidade sem mover o ponteiro, e --headed permite entrada física. No Windows, type e right-click sem interface visível são recusados, e um app rodando como administrador pode ser lido, mas não controlado a partir de um terminal comum. No Linux, é preciso Ubuntu 24.04 ou mais recente com um barramento AT-SPI ativo. O binário para Windows não é assinado, então o SmartScreen e o Smart App Control podem bloqueá-lo.
A postura de segurança é clara no README: snapshots, leituras da área de transferência e capturas de tela podem conter conteúdo privado do desktop e devem ficar fora de logs públicos. Qualquer coisa que o agente leia na tela, um e-mail ou uma mensagem de chat, pode trazer uma injeção de prompt com todo o seu desktop por trás. O sandbox do macOS, que roda o agente em uma máquina virtual local, é a mitigação real, embora a documentação diga que ele separa o desktop, não a rede nem o host, e Linux e Windows não têm provedor de sandbox local. Um projeto que cresceu tão rápido, com 220 issues e pull requests abertos, vai continuar mudando; o servidor MCP tem menos de uma semana.
Onde ele se destaca
Um analista de operações em uma empresa de logística de 30 pessoas com um app de frete só para Windows
Copiar toda manhã os dados de remessa dos e-mails para o app de frete
O agente tira um snapshot do formulário, preenche os campos com set-value, que funciona sem interface visível no Windows, e lê o formulário de novo para confirmar. Gratuito, exceto pelos tokens do modelo; rode em uma máquina Windows dedicada, porque o agente alcança qualquer app aberto.
Uma engenheira de QA em um time de app de desktop para macOS
Fazer um agente de programação conferir uma nova tela de configurações a cada mudança
Adicione o agent-desktop mcp ao Claude Code e peça ao agente para abrir o build, ir às configurações e verificar cada chave com wait --predicate. Usar o sandbox de máquina virtual do macOS mantém os testes fora do desktop da própria engenheira.
Um desenvolvedor que cria um app Electron com conteúdo web
Testar os menus nativos e a visualização web em um mesmo ciclo do agente
O agent-desktop controla os menus e janelas e abre uma porta de DevTools à qual o agent-browser se conecta para o conteúdo da página. Os dois são gratuitos; conte com duas ferramentas no contexto do agente.
Antes de decidir
- Configuração
- npm install -g agent-desktop (ou brew install agent-desktop no macOS e no Linux), depois agent-desktop status e, no macOS, agent-desktop permissions --guide para a permissão de Acessibilidade. Em clientes MCP, adicione o comando agent-desktop com o argumento mcp; as skills se instalam com npx skills add.
- Integrações
- Cada comando é uma ferramenta MCP (desktop_snapshot, desktop_click, desktop_session_start e assim por diante), a maioria de escrita: click, type, set-value, drag, launch, close-app, clipboard-set e ações de notificação. Funciona com qualquer agente que consiga rodar uma CLI; uma biblioteca em C cobre o uso dentro do processo.
- Dados e privacidade
- Roda localmente; o servidor MCP fala por stdio e não abre porta, embora abra uma porta de DevTools nos apps Chromium e Electron que você inicia para o agent-browser. Snapshots, área de transferência e capturas de tela podem conter conteúdo privado e vão para o seu provedor do modelo. Falhas de segurança são reportadas pelo relato privado de vulnerabilidades do GitHub; não há avisos publicados.
- Custo em escala
- Gratuito; o custo são os tokens e as chamadas ao modelo. Snapshots de acessibilidade são texto, não imagens, e snapshots de esqueleto com detalhamento barateiam apps grandes, mas uma tarefa longa de desktop ainda significa muitas chamadas de observar e agir. As máquinas virtuais hospedadas do Vercel Sandbox são cobradas pela Vercel.
- Limites
- Só apps de desktop, não páginas web. Apps que não publicam árvore de acessibilidade ficam invisíveis. Windows: binário não assinado, sem type sem interface visível, e apps elevados exigem um terminal elevado. Linux: Ubuntu 24.04+ e um barramento AT-SPI ativo. Sandboxes locais só no macOS.
O que é bom
- Referências presas ao snapshot que falham em vez de clicar errado
- O mesmo conjunto de comandos no macOS, Windows e Linux
- CLI, servidor MCP e biblioteca em C em um só binário
- Documentação por plataforma do que funciona sem interface visível
- Sandbox com máquina virtual local de macOS para execuções isoladas
O que não é
- Pode agir em qualquer app que a sua conta consiga abrir
- Sem política por app de permitir ou bloquear
- Binário do Windows não assinado; apps de administrador não podem ser controlados
- Modo MCP lançado em 5 de novembro de 2026
Ideal para
Desenvolvedores que criam agentes que precisam operar apps de desktop nativos sem API e que podem rodá-los em uma máquina separada ou no sandbox de máquina virtual do macOS.
Alternativas ao agent-desktop
agent-desktop: perguntas frequentes
- agent-desktop vale a pena?
- Um jeito bem construído e muito usado de dar a um agente acesso a apps de desktop nativos, com documentação honesta sobre o que funciona sem interface visível em cada sistema, embora ele possa agir como você em qualquer app que você consiga abrir. Damos nota 4.1 de 5.
- Quanto custa agent-desktop?
- Gratuito e de código aberto (Apache-2.0). As chamadas ao modelo são pagas ao seu próprio provedor; as máquinas virtuais hospedadas do Vercel Sandbox são cobradas pela Vercel.
- Quais são as desvantagens de agent-desktop?
- Pode agir em qualquer app que a sua conta consiga abrir; sem política por app de permitir ou bloquear; binário do Windows não assinado; apps de administrador não podem ser controlados; modo MCP lançado em 5 de novembro de 2026.
- Para quem agent-desktop é indicado?
- Desenvolvedores que criam agentes que precisam operar apps de desktop nativos sem API e que podem rodá-los em uma máquina separada ou no sandbox de máquina virtual do macOS.
- Quanto custa agent-desktop para uma equipe ou em produção?
- Gratuito; o custo são os tokens e as chamadas ao modelo. Snapshots de acessibilidade são texto, não imagens, e snapshots de esqueleto com detalhamento barateiam apps grandes, mas uma tarefa longa de desktop ainda significa muitas chamadas de observar e agir. As máquinas virtuais hospedadas do Vercel Sandbox são cobradas pela Vercel.
- agent-desktop é seguro para dados da empresa?
- Roda localmente; o servidor MCP fala por stdio e não abre porta, embora abra uma porta de DevTools nos apps Chromium e Electron que você inicia para o agent-browser. Snapshots, área de transferência e capturas de tela podem conter conteúdo privado e vão para o seu provedor do modelo. Falhas de segurança são reportadas pelo relato privado de vulnerabilidades do GitHub; não há avisos publicados.
- Quais são as melhores alternativas ao agent-desktop?
- As alternativas mais próximas que analisamos são Munim Computer Use e Playwright MCP.
Respostas verificadas em 11 de nov. de 2026.
Você faz o agent-desktop? Mostre esta nota no seu site
