O que é Mage-VL-Cowork?
O Mage-VL-Cowork é um agente de uso de computador de 4 bilhões de parâmetros da equipe Mage da Microsoft, publicado no Hugging Face em 30 de outubro de 2026 sob Apache 2.0 com um relatório técnico. Ele observa capturas de tela e age em um desktop Linux por dois canais: uma ferramenta computer_use com 11 ações de mouse e teclado e uma ferramenta bash com um shell persistente e um ambiente Python. O modelo decide a cada turno qual usar, sem um roteador separado.
Ele é construído sobre o Mage-VL, o modelo de visão e linguagem de 4B da Microsoft, que combina o encoder próprio Mage-ViT com o Qwen3-4B-Instruct-2507 da Alibaba. O treinamento teve cinco etapas, do grounding na tela, passando por fine-tuning de GUI e de programação, até aprendizado por reforço online em 1.988 tarefas verificáveis, usando 32 GPUs Nvidia B200. Boa parte dos dados de treino veio de um professor GPT-5.4 cujo conjunto de ferramentas foi enxugado antes; remover o canal da árvore de acessibilidade elevou o aluno de 4B de 25,1% para 37,6% nas tarefas reservadas da Microsoft.
Cada turno devolve um bloco de raciocínio, um resumo da ação em uma linha e chamadas de ferramentas. O agente guarda as 3 capturas de tela mais recentes e condensa os passos mais antigos em resumos de uma linha para caber em uma janela de 32.768 tokens. O repositório da Microsoft no GitHub diz que os modelos Mage são lançados apenas para fins de pesquisa.
Mage-VL-Cowork vale a pena?
O Mage-VL-Cowork mostra que um modelo de 4B pode fazer trabalho sério no desktop quando pode escrever código além de clicar. No OSWorld-Verified, com média de duas execuções de 361 tarefas e um limite de 50 passos, ele marca 66,0%, contra 65,9% informados para o Muse Glimmer-30B, 63,9% para o Qwen3.6-27B e 13,9% para o Fara1.5-4B, focado em navegador. A referência humana é de 72,4%. Ele é mais forte em tarefas de sistema operacional, com 87,5%, e mais fraco em workflows com vários aplicativos, com 62,7%.
A comparação pede cuidado. A Microsoft rodou o próprio modelo; a maioria dos números dos rivais foi copiada dos relatórios deles, com limites de passos diferentes, e o modelo não está no ranking oficial do OSWorld. O ScaleCUA-Qwen3.5-9B, com cerca do dobro do tamanho, marca mais, 68,7%, e modelos de fronteira como o GPT-5.5, com 78,7%, e o Claude Opus 4.7, com 78,0%, continuam bem à frente.
O canal híbrido é o que o torna eficiente. Na demonstração da Microsoft no LibreOffice Calc, ele mesclou células, adicionou um gráfico e salvou o arquivo em 6 passos e 39 segundos editando a planilha em Python, enquanto o Qwen3.6-27B, só com GUI, levou 39 passos e 9 minutos e 56 segundos. Depois do aprendizado por reforço, ele teve média de 18,77 chamadas ao modelo e 5.499 tokens de saída por tarefa, contra 12.397 tokens do GPT-5.4-mini. Em tarefas na web ele domina menos: um checkpoint anterior marcou 58,6% no WebVoyager-Static, contra 68,0% do Fara1.5-4B, só de navegador.
As condições de uso importam mais que a pontuação. A Apache 2.0 permite uso comercial, mas o repositório da Microsoft diz que os modelos não se destinam à implantação em produtos ou serviços, e o card insiste em uma sandbox descartável porque o agente roda comandos de shell arbitrários. O exemplo direto com SGLang também escuta em todas as interfaces de rede. Os testes cobriram desktops Ubuntu só em inglês, e o único build quantizado é trabalho comunitário que o llama.cpp padrão ainda não consegue carregar.
Onde ele se destaca
Um pesquisador aplicado em um laboratório universitário que constrói agentes de desktop
Reproduzir e estender um pequeno agente de uso de computador no OSWorld
Use o MAGEHybridAgent incluído e o harness do OSWorld no repositório da Microsoft no GitHub com as configurações publicadas: 50 passos, 3 capturas de tela guardadas, resolução de 1920 por 1080, temperatura 0,7. A receita de treino completa está documentada, mas a fábrica de tarefas, o código de treino e os dados não são públicos.
Um engenheiro de automação em uma empresa financeira de 300 pessoas com máquinas Linux no back-office
Prototipar um agente que atualiza planilhas e relatórios
Rode-o em VMs que voltam a um snapshot, sem acesso a credenciais nem à rede interna, como o card recomenda, e deixe-o editar arquivos .xlsx e .pptx por Python no shell. A declaração da Microsoft de uso só para pesquisa significa que uma implantação em produção exige antes uma revisão jurídica.
Um desenvolvedor com uma GPU de notebook de 16 GB testando agentes locais
Rodar um agente de desktop sem uma API na nuvem
Os pesos oficiais em BF16 têm 9,48 GB, e um GGUF comunitário Q4_K_M tem 2,716 GB mais um projetor de visão de 0,353 GB. Esse build exige um fork do llama.cpp, porque o llama.cpp padrão, o Ollama e o LM Studio não conseguem carregar o projetor dele.
Antes de decidir
- Configuração
- Baixe a imagem Docker que a Microsoft documenta (SGLang 0.5.2, PyTorch 2.8.0, Transformers 5.7.0) e monte os pesos, ou inicie o SGLang com trust_remote_code, um contexto de 32.768 tokens e SGLANG_MAX_PIXELS=4000000. Use o prompt de sistema híbrido do card exatamente como está.
- Integrações
- Endpoint nativo /generate do SGLang com capturas de tela em base64, Transformers com o código do modelo llava_onevision2 incluído e o harness MAGEHybridAgent para OSWorld. Não é compatível de forma direta com as classes padrão do Qwen3-VL.
- Dados e privacidade
- Só auto-hospedado. Apache 2.0, mas a nota de IA Responsável da Microsoft diz uso só para pesquisa, com dados de treino de fontes públicas, licenciadas e internas. O card exige sandboxes isoladas, nenhuma credencial montada e lista de permissões de rede contra injeção de prompt.
- Custo em escala
- Os pesos em BF16 têm 9,48 GB e um cálculo do ModelFit estima um cache completo de 32K tokens em cerca de 4,8 GB, então uma GPU de 24 GB comporta os dois. A Microsoft não publica hardware mínimo; cada tarefa teve média de 18,77 chamadas ao modelo e 5.499 tokens de saída nos testes dela.
- Limites
- Janela de trabalho de 32.768 tokens com 3 capturas de tela, cerca de 2.000 tokens cada a 1920 por 1080 pela estimativa do ModelFit. Até 15 chamadas de ferramentas por turno; só Linux e inglês; o exemplo direto com SGLang escuta em 0.0.0.0, enquanto o exemplo com Docker escuta em 127.0.0.1.
O que é bom
- 66,0% no OSWorld-Verified com 4B, acima do Qwen3.6-27B (autodeclarado)
- Escolhe entre ações de GUI e um shell bash a cada turno
- 18,77 chamadas ao modelo e 5.499 tokens de saída por tarefa após RL
- Pesos Apache 2.0 com uma receita de treino detalhada e harness para OSWorld
O que não é
- A Microsoft diz que é para pesquisa, não para implantação em produtos
- Testado só em desktops Ubuntu em inglês
- Fica atrás do ScaleCUA-Qwen3.5-9B e de modelos de fronteira no OSWorld
- Roda comandos de shell arbitrários; exige sandbox e configuração de rede cuidadosa
Ideal para
Pesquisadores e equipes de plataformas de agentes que estudam pequenos agentes de uso de computador em Linux e podem rodá-los em sandboxes descartáveis.
Alternativas ao Mage-VL-Cowork
Mage-VL-Cowork: perguntas frequentes
- Mage-VL-Cowork vale a pena?
- O Mage-VL-Cowork leva um modelo de 4B a poucos pontos dos melhores agentes de desktop abertos ao deixá-lo recorrer a um terminal, mas a Microsoft o rotula como só para pesquisa e ele só foi testado em Linux. Damos nota 3.9 de 5.
- Quanto custa Mage-VL-Cowork?
- Gratuito sob Apache 2.0, embora o repositório da Microsoft diga que os modelos Mage são para pesquisa e não se destinam à implantação em produtos ou serviços. Sem API hospedada.
- Quais são as desvantagens de Mage-VL-Cowork?
- A Microsoft diz que é para pesquisa, não para implantação em produtos; testado só em desktops Ubuntu em inglês; fica atrás do ScaleCUA-Qwen3.5-9B e de modelos de fronteira no OSWorld; roda comandos de shell arbitrários; exige sandbox e configuração de rede cuidadosa.
- Para quem Mage-VL-Cowork é indicado?
- Pesquisadores e equipes de plataformas de agentes que estudam pequenos agentes de uso de computador em Linux e podem rodá-los em sandboxes descartáveis.
- Quanto custa Mage-VL-Cowork para uma equipe ou em produção?
- Os pesos em BF16 têm 9,48 GB e um cálculo do ModelFit estima um cache completo de 32K tokens em cerca de 4,8 GB, então uma GPU de 24 GB comporta os dois. A Microsoft não publica hardware mínimo; cada tarefa teve média de 18,77 chamadas ao modelo e 5.499 tokens de saída nos testes dela.
- Mage-VL-Cowork é seguro para dados da empresa?
- Só auto-hospedado. Apache 2.0, mas a nota de IA Responsável da Microsoft diz uso só para pesquisa, com dados de treino de fontes públicas, licenciadas e internas. O card exige sandboxes isoladas, nenhuma credencial montada e lista de permissões de rede contra injeção de prompt.
- Quais são as melhores alternativas ao Mage-VL-Cowork?
- As alternativas mais próximas que analisamos são Muse Glimmer, Qwen3.8-27B, MiniCPM-V 4.7 (35B-A3B and 1B) e Nemotron 3.5 Super VL.
Respostas verificadas em 2 de nov. de 2026.