O que é UFO?
UFO é um framework de agentes de código aberto da Microsoft Research que opera aplicativos do Windows por você. A partir de um pedido em linguagem comum, ele tira capturas de tela, lê a árvore de UI Automation do Windows e então clica, digita e chama APIs dos aplicativos nos programas reais da sua máquina: Office, Edge, Explorador de Arquivos e o resto. Não é um sandbox; ele age sobre o desktop em que estiver rodando.
O repositório tem duas camadas. O UFO² (abril de 2025) é o agente de Windows em si, agora com suporte de longo prazo. O UFO³ Galaxy (novembro de 2025) divide uma tarefa em um grafo de etapas e as distribui para agentes em dispositivos Windows, Linux e Android por um protocolo WebSocket; a Microsoft o classifica como em desenvolvimento ativo, adequado a experimentos e trabalhos não críticos.
Ele exige Windows 10 ou mais recente, Python 3.10 ou mais recente e uma chave de API de um provedor de modelos: OpenAI, Azure OpenAI, Claude, Gemini, Qwen, DeepSeek ou um modelo local via Ollama. O código tem licença MIT, cerca de 10.200 estrelas no GitHub, e a v3.0.10 saiu em 22 de setembro de 2026.
UFO vale a pena?
A vantagem do UFO sobre agentes que usam só capturas de tela é que ele lê o próprio Windows. O UFO² combina a árvore de acessibilidade do UI Automation e chamadas Win32 e COM com visão, de modo que consegue apertar um botão pelo nome ou chamar uma API do Office em vez de adivinhar posições de pixels. No artigo da Microsoft isso melhora claramente os resultados: com o o1 ele concluiu 30.5% das tarefas do Windows Agent Arena e 32.7% do OSWorld-W, contra 20.8% e 14.3% do Operator da OpenAI, com todos os agentes limitados a 30 etapas.
Ainda assim são taxas de falha de cerca de 70%, e o agente age sobre o desktop que você está usando. Ele move o ponteiro, digita em documentos e e-mails e envia capturas da sua tela ao provedor de modelos configurado; o aviso legal da Microsoft pede que informações sensíveis fiquem fora da tela e que ele rode em um ambiente controlado. Uma configuração SAFE_GUARD, ativada por padrão, pede confirmação antes de ações que o modelo marca como sensíveis, mas o mesmo documento admite que essa trava depende de o modelo fazer a marcação e não é um sandbox. Uma máquina virtual Windows dedicada é o lugar sensato para usá-lo.
O trabalho de segurança tem sido constante e vale acompanhar. As versões v3.0.8 e v3.0.9, em agosto e setembro de 2026, corrigiram vários problemas relatados ao centro de resposta de segurança da Microsoft, incluindo falsificação de requisição do lado do servidor pela interface web do Galaxy. Em 29 de setembro entrou uma correção para que ações sensíveis deixassem de ser executadas antes da trava de confirmação; ela chegou uma semana depois da v3.0.10, então a release mais recente com tag não a inclui.
O custo é a outra contrapartida. Cada etapa é uma chamada ao modelo com uma captura anexada; o recurso de multiação especulativa agrupa etapas previstas e, segundo o README, reduz as chamadas ao LLM em até 51%. O Galaxy acrescenta planejamento entre dispositivos, mas é mais novo e mais difícil de configurar. Para trabalho só no navegador, o browser-use é mais leve e mais fácil de conter; o UFO conquista seu lugar quando a tarefa está dentro de um software de desktop do Windows sem API.
Onde ele se destaca
Um desenvolvedor de RPA em uma seguradora com software legado de sinistros no Windows
Prototipar a automação de uma rotina de digitação de dados que não tem API
Rode o UFO² em uma VM Windows dedicada com SAFE_GUARD ativado, adicione uma demonstração gravada à base de conhecimento de recuperação e meça com que frequência ele completa a rotina do início ao fim. Com taxas de sucesso perto de 30% nos benchmarks, preveja uma pessoa revisando cada execução antes que ela toque em registros de produção.
Um grupo de pesquisa que estuda agentes de uso de computador
Comparar modelos nas mesmas tarefas do Windows
Troque o modelo em agents.yaml entre GPT-4o, Claude, Gemini ou um modelo local do Ollama e rode a integração com o Windows Agent Arena documentada pela Microsoft. O limite de 30 etapas do artigo e suas tabelas por modelo dão uma referência publicada para comparação.
Uma equipe de TI em uma empresa de 300 pessoas com notebooks Windows e servidores Linux
Testar um fluxo que puxa um log de um servidor e escreve um resumo em um documento do Office
O Galaxy divide o pedido em um grafo, envia a etapa de Linux a um agente de dispositivo Linux e a etapa do Office ao UFO² no Windows. A Microsoft considera o Galaxy adequado para experimentos e fluxos não críticos, então mantenha-o em um piloto.
Antes de decidir
- Configuração
- No Windows 10 ou mais recente com Python 3.10 ou mais recente, rode pip install -r requirements.txt, copie config/ufo/agents.yaml.template, adicione uma chave de API e execute python -m ufo --task <name>. O Galaxy exige ainda um devices.yaml e um servidor e um cliente em cada dispositivo.
- Integrações
- OpenAI, Azure OpenAI, Claude, Gemini, Qwen, DeepSeek, Ollama e o modelo Operator da OpenAI; servidores MCP para ferramentas dos agentes de dispositivo; busca no Bing e recuperação sobre documentos e demonstrações; Windows Agent Arena e OSWorld para avaliação.
- Dados e privacidade
- Capturas do desktop e dos aplicativos ativos vão para o provedor de modelos configurado a cada etapa; a Microsoft diz que não as coleta, mas valem os termos do provedor. As chaves de API ficam em config/ufo/agents.yaml. O agente controla o mouse e o teclado reais, então rode-o em uma VM ou conta dedicada; a confirmação do SAFE_GUARD depende de o modelo sinalizar ações sensíveis.
- Custo em escala
- Gratuito sob MIT; o gasto é o uso da API do modelo, uma ou mais chamadas de visão por etapa, e o agrupamento de multiação reduz as chamadas em até 51% segundo o README. A Microsoft não publica um custo por tarefa.
- Limites
- As melhores taxas de sucesso publicadas são 30.5% no Windows Agent Arena e 32.7% no OSWorld-W; o UFO² só roda no Windows; o Galaxy está em desenvolvimento ativo; a correção da trava de confirmação de 29 de setembro de 2026 é posterior à v3.0.10.
O que é bom
- Usa UI Automation, Win32 e COM do Windows, não só capturas de tela
- 30.5% no Windows Agent Arena com o1, acima dos 20.8% do Operator
- Funciona com OpenAI, Azure OpenAI, Claude, Gemini, Qwen, DeepSeek ou Ollama
- Licença MIT, com correções de segurança regulares em 2026
O que não é
- Clica e digita nos seus aplicativos reais; não roda em sandbox
- Envia capturas do seu desktop ao provedor de modelos
- Falha em cerca de 70% das tarefas de benchmark mesmo no melhor caso
- O UFO² só roda no Windows; o Galaxy ainda está em desenvolvimento ativo
Ideal para
Engenheiros de automação em organizações muito baseadas em Windows que querem prototipar agentes para softwares de desktop sem API, dentro de uma máquina virtual de testes.
Alternativas ao UFO
UFO: perguntas frequentes
- UFO vale a pena?
- O UFO mostra até onde uma integração profunda com o Windows pode levar um agente de desktop, mas ainda falha na maioria das tarefas de benchmark enquanto controla seu mouse e seu teclado de verdade. Damos nota 3.5 de 5.
- Quanto custa UFO?
- Gratuito e de código aberto sob a licença MIT; você paga seu provedor de modelos a cada etapa.
- Quais são as desvantagens de UFO?
- Clica e digita nos seus aplicativos reais; não roda em sandbox; envia capturas do seu desktop ao provedor de modelos; falha em cerca de 70% das tarefas de benchmark mesmo no melhor caso; o UFO² só roda no Windows; o Galaxy ainda está em desenvolvimento ativo.
- Para quem UFO é indicado?
- Engenheiros de automação em organizações muito baseadas em Windows que querem prototipar agentes para softwares de desktop sem API, dentro de uma máquina virtual de testes.
- Quanto custa UFO para uma equipe ou em produção?
- Gratuito sob MIT; o gasto é o uso da API do modelo, uma ou mais chamadas de visão por etapa, e o agrupamento de multiação reduz as chamadas em até 51% segundo o README. A Microsoft não publica um custo por tarefa.
- UFO é seguro para dados da empresa?
- Capturas do desktop e dos aplicativos ativos vão para o provedor de modelos configurado a cada etapa; a Microsoft diz que não as coleta, mas valem os termos do provedor. As chaves de API ficam em config/ufo/agents.yaml. O agente controla o mouse e o teclado reais, então rode-o em uma VM ou conta dedicada; a confirmação do SAFE_GUARD depende de o modelo sinalizar ações sensíveis.
- Quais são as melhores alternativas ao UFO?
- As alternativas mais próximas que analisamos são Browser Use, CLI-Anything, Magentic-UI (MagenticLite) e Agent Zero.
Respostas verificadas em 14 de nov. de 2026.