OSWorld
O OSWorld é um benchmark para agentes de computer use que roda sistemas operacionais reais como Ubuntu, Windows e macOS e avalia os agentes em 369 tarefas abertas em apps web e desktop, verificadas por scripts.
Também chamado: OSWorld-Verified
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Um agente de computer use controla um computador como uma pessoa faz: olha para a tela, move o mouse, clica e digita. O OSWorld, publicado em 2024, testa esses agentes em máquinas virtuais reais em vez de uma simulação simplificada.
Como funciona
O benchmark tem 369 tarefas tiradas do uso real. Elas envolvem apps web e desktop, manipulação de arquivos e fluxos de trabalho que passam por vários aplicativos. Cada tarefa tem uma configuração inicial que coloca a máquina em um estado conhecido e um script próprio que verifica o resultado final. Como a avaliação olha o que realmente mudou na máquina, um agente não passa só descrevendo os passos certos; ele precisa executá-los.
O que os resultados mostraram
No lançamento, as pessoas completaram mais de 72,36% das tarefas, enquanto o melhor modelo chegou a 12,24%. Os autores concluíram que os agentes tinham mais dificuldade com GUI grounding, ou seja, descobrir em qual elemento da tela agir, e com saber como os aplicativos funcionam. Os números do lançamento envelhecem rápido, então confira o leaderboard atual.
Como usar as notas
Os resultados do OSWorld dependem do modelo e de como o agente é construído: as capturas de tela que ele vê, as ferramentas que tem e quantos passos pode dar. Compare coisas equivalentes. Para agentes que só trabalham dentro de uma página web, veja browser agents. Muitos agentes de computer use são construídos sobre vision-language models, então o OSWorld também testa compreensão visual. Rode qualquer agente de IA desse tipo em um ambiente isolado, já que ele age sobre um sistema real.
Termos relacionados
- Uso do computador
- Uso do computador (computer use) é a capacidade de um modelo de IA de operar um computador como uma pessoa faz, olhando capturas de tela e enviando cliques de mouse e teclas, para trabalhar com softwares que não têm API.
- Agente de navegador
- Um agente de navegador (browser agent) é um agente de IA que controla um navegador web para concluir tarefas, como pesquisar, clicar, preencher formulários e ler páginas, muitas vezes rodando um navegador headless, sem janela visível.
- Benchmark de IA
- Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
- Vision-language model
- Um vision-language model (VLM, modelo de visão e linguagem) é um modelo que recebe imagens e texto como entrada e produz texto, então consegue descrever imagens, responder perguntas sobre elas, ler documentos e extrair dados de capturas de tela.
- Agente de IA
- Um agente de IA é um sistema em que um modelo de linguagem decide seus próprios próximos passos: chama ferramentas, lê os resultados e repete até concluir a tarefa, em vez de seguir um roteiro fixo.