O que é CUA Agent Kit?
CUA Agent Kit vem da CVS Health e divide a automação de telas em dois trabalhos. Na descoberta, um agente de uso de computador da OpenAI (o modelo padrão é gpt-6-sol, com 40 turnos) segue um fluxo escrito em linguagem comum em um navegador ou em um desktop Windows remoto e grava capturas de tela, ações, alvos e, no navegador, um trace do Playwright. Na codificação, uma skill do Codex lê as gravações bem-sucedidas e escreve código comum: Playwright com localizadores semânticos para sites e pywinauto com controles de UI Automation e Win32 para apps Windows. As execuções repetidas usam esse código sem chamadas ao modelo e sem chave de API.
É um projeto Python 3.12 gerenciado com uv, com um app de exemplo de triagem local, registros de auditoria opcionais em PostgreSQL, Azure Blob Storage para artefatos e arquivos Docker Compose. O repositório foi criado em 30 de outubro de 2026 e tem 19 estrelas, licença Apache-2.0, 11 commits e nenhuma release; o commit mais recente é de 12 de novembro de 2026.
CUA Agent Kit vale a pena?
Agentes de uso de computador conseguem deduzir uma tarefa administrativa cheia de cliques a partir de um parágrafo de instruções, mas pedir a um modelo que raciocine os mesmos cliques toda manhã acrescenta custo e variação a um trabalho que um script pode fazer. Este kit trata o agente como ferramenta de descoberta. Você repete a descoberta até o fluxo dar certo de forma consistente, pede ao Codex para codificar essas execuções e, dali em diante, `cua-agent-run` reproduz código determinístico de Playwright ou pywinauto. O projeto credita a ideia à palestra Zero Token Architecture de Kelsey Hightower na PlatformCon 2026.
A documentação é incomumente honesta sobre onde o método para. O guia de escolha de abordagem diz que apps entregues via Citrix que só expõem pixels não têm controles para codificar, então continuam dependendo da IA em toda execução, e que não há um executor híbrido que misture código com passos do modelo. Também avisa que um agente terminar uma execução não prova que a tarefa deu certo. Quando um site muda, o script codificado quebra como qualquer script de RPA; a resposta do kit é o Codex ler os novos traces e atualizar o código, com um engenheiro revisando.
O porém: a descoberta envia o prompt do fluxo para o endpoint do modelo, incluindo as credenciais de login injetadas de `WORKFLOW_ACCOUNT_JSON`, junto com capturas de tudo o que estiver na tela. As gravações podem conter cookies, tokens de sessão, respostas de rede e snapshots do DOM, e a ocultação de dados é descrita como melhor esforço. Ativar o backend de armazenamento envia a pasta inteira da execução sem ocultação. No Windows, o servidor do host pode controlar o desktop e rodar comandos, e os scripts de instalação não configuram autenticação nem regras de firewall, então ele só deve ficar em uma rede privada bem fechada.
Nossa opinião: isto é um projeto de referência bem pensado de um grande empregador, mais do que um produto pronto, com 19 estrelas e 11 commits; uma equipe com engenheiros Python pode aproveitar o padrão, enquanto quem quer uma ferramenta de RPA com suporte deve procurar em outro lugar.
Onde ele se destaca
Um engenheiro de operações em um prestador de serviços de saúde
Automatizar um lançamento diário de encaminhamentos em um portal web sem API
Descreva os passos em `prompt.py`, rode `cua-agent-discover` contra uma conta de teste até funcionar de forma confiável e depois peça ao Codex para codificar; a execução diária é um script Playwright sem gasto de API. Use um login de teste, porque as credenciais chegam ao modelo durante a descoberta.
Uma equipe de automação de TI que dá suporte a um app de desktop Windows antigo
Trocar uma macro frágil baseada em coordenadas por código que entende os controles
Instale o servidor do host em uma VM Windows com `install.ps1`, descubra o fluxo e codifique em passos pywinauto que usam controles de UI Automation. Confira telas representativas antes: uma janela principal acessível não garante que todo diálogo seja.
Uma equipe de plataforma avaliando agentes de uso de computador
Comparar automação com IA a cada execução e scripts codificados após uma única descoberta
Rode o app de exemplo Care Intake nos dois modos e registre custo e falhas. A própria orientação do kit diz que apps que só expõem pixels, como alguns apps Citrix, precisam continuar com IA em toda execução.
Antes de decidir
- Configuração
- Clone o repositório, rode `uv sync`, defina `OPENAI_API_KEY` e execute `uv run playwright install chromium`; o app de exemplo sobe com `uv run python sample_app/app.py`. O Windows precisa de uma VM preparada com `windows-host/install.ps1` e `start.ps1`, desbloqueada durante as execuções.
- Integrações
- Modelos de uso de computador da OpenAI (ou um endpoint compatível via `OPENAI_BASE_URL`), OpenAI Agents SDK, skills do Codex, Playwright, pywinauto, PostgreSQL com migrações Flyway, Azure Blob Storage e Docker Compose.
- Dados e privacidade
- A descoberta envia prompts, credenciais injetadas, capturas de tela e histórico de ações ao endpoint do modelo. Os artefatos ficam locais por padrão em `artifacts/`; as gravações podem conter credenciais, cookies, tokens e dados de rede, e os envios ao armazenamento não são ocultados. O servidor Windows não tem autenticação.
- Custo em escala
- O gasto com modelo fica na descoberta e em refazê-la quando um fluxo muda; execuções codificadas não chamam o modelo. Não há números de custo por execução publicados.
- Limites
- A descoberta é limitada a 40 turnos por padrão. Não há executor híbrido pronto. Apps sem controles acessíveis não podem ser codificados. Scripts codificados quebram quando a interface muda e precisam ser codificados de novo.
O que é bom
- Execuções codificadas não precisam de chamadas ao modelo nem de chave de API
- Localizadores do Playwright e controles do pywinauto em vez de coordenadas de tela
- Documentação clara dos riscos de segurança e dos limites do método
- Trilha de auditoria opcional em PostgreSQL e artefatos no Azure Blob
O que não é
- A descoberta envia credenciais e capturas de tela ao modelo
- As gravações podem conter cookies e tokens de sessão
- O servidor do host Windows não tem autenticação
- Muito novo: 19 estrelas, 11 commits, nenhuma release
Ideal para
Equipes de engenharia em organizações com muita operação que querem automatizar trabalho repetitivo de tela no navegador ou no Windows e manter as execuções repetidas livres de custo de modelo.
Alternativas ao CUA Agent Kit
CUA Agent Kit: perguntas frequentes
- CUA Agent Kit vale a pena?
- CUA Agent Kit acerta a economia da automação de telas ao pagar pela IA uma vez e rodar código depois, mas é um kit inicial ainda cru, com arestas no trato de credenciais e um servidor Windows sem autenticação. Damos nota 3.5 de 5.
- Quanto custa CUA Agent Kit?
- Gratuito e de código aberto (Apache-2.0). As execuções de descoberta são cobradas na sua chave de API da OpenAI; execuções codificadas não chamam o modelo.
- Quais são as desvantagens de CUA Agent Kit?
- A descoberta envia credenciais e capturas de tela ao modelo; as gravações podem conter cookies e tokens de sessão; o servidor do host Windows não tem autenticação; muito novo: 19 estrelas, 11 commits, nenhuma release.
- Para quem CUA Agent Kit é indicado?
- Equipes de engenharia em organizações com muita operação que querem automatizar trabalho repetitivo de tela no navegador ou no Windows e manter as execuções repetidas livres de custo de modelo.
- Quanto custa CUA Agent Kit para uma equipe ou em produção?
- O gasto com modelo fica na descoberta e em refazê-la quando um fluxo muda; execuções codificadas não chamam o modelo. Não há números de custo por execução publicados.
- CUA Agent Kit é seguro para dados da empresa?
- A descoberta envia prompts, credenciais injetadas, capturas de tela e histórico de ações ao endpoint do modelo. Os artefatos ficam locais por padrão em `artifacts/`; as gravações podem conter credenciais, cookies, tokens e dados de rede, e os envios ao armazenamento não são ocultados. O servidor Windows não tem autenticação.
- Quais são as melhores alternativas ao CUA Agent Kit?
- As alternativas mais próximas que analisamos são Skyvern, Browser Use, Stagehand e UFO.
Respostas verificadas em 20 de nov. de 2026.