Qu’est-ce que Mage-VL-Cowork ?
Mage-VL-Cowork est un agent d'utilisation d'ordinateur de 4 milliards de paramètres de l'équipe Mage de Microsoft, publié sur Hugging Face le 30 octobre 2026 sous Apache 2.0 avec un rapport technique. Il regarde des captures d'écran et agit sur un bureau Linux par deux canaux : un outil computer_use avec 11 actions de souris et de clavier, et un outil bash avec un shell persistant et un environnement Python. Le modèle décide à chaque tour lequel utiliser, sans routeur séparé.
Il repose sur Mage-VL, le modèle vision-langage de 4B de Microsoft, qui associe l'encodeur maison Mage-ViT au Qwen3-4B-Instruct-2507 d'Alibaba. L'entraînement s'est déroulé en cinq étapes, de l'ancrage à l'écran à l'apprentissage par renforcement en ligne sur 1 988 tâches vérifiables, en passant par un fine-tuning sur les interfaces graphiques et le code, avec 32 GPU Nvidia B200. Une grande partie des données d'entraînement vient d'un enseignant GPT-5.4 dont la boîte à outils avait d'abord été réduite ; supprimer le canal de l'arbre d'accessibilité a fait passer l'élève de 4B de 25,1 % à 37,6 % sur les tâches réservées de Microsoft.
Chaque tour renvoie un bloc de raisonnement, un résumé de l'action en une ligne et des appels d'outils. L'agent garde les 3 captures d'écran les plus récentes et condense les étapes plus anciennes en résumés d'une ligne pour rester dans une fenêtre de 32 768 tokens. Le dépôt GitHub de Microsoft indique que les modèles Mage sont publiés à des fins de recherche uniquement.
Mage-VL-Cowork vaut-il le coup ?
Mage-VL-Cowork montre qu'un modèle de 4B peut faire un vrai travail de bureau quand on l'autorise à écrire du code autant qu'à cliquer. Sur OSWorld-Verified, en moyenne sur deux passages de 361 tâches avec un budget de 50 étapes, il obtient 66,0 %, contre 65,9 % annoncés pour Muse Glimmer-30B, 63,9 % pour Qwen3.6-27B et 13,9 % pour Fara1.5-4B, centré sur le navigateur. La référence humaine est de 72,4 %. Il est le plus fort sur les tâches du système d'exploitation, à 87,5 %, et le plus faible sur les workflows multi-applications, à 62,7 %.
La comparaison demande de la prudence. Microsoft a évalué son propre modèle ; la plupart des chiffres des concurrents ont été recopiés depuis leurs rapports avec des budgets d'étapes différents, et le modèle ne figure pas au classement officiel d'OSWorld. ScaleCUA-Qwen3.5-9B, environ deux fois plus gros, fait mieux à 68,7 %, et les modèles de pointe comme GPT-5.5 à 78,7 % et Claude Opus 4.7 à 78,0 % restent nettement devant.
Le canal hybride est ce qui le rend efficace. Dans la démonstration de Microsoft sur LibreOffice Calc, il a fusionné des cellules, ajouté un graphique et enregistré le fichier en 6 étapes et 39 secondes en modifiant le classeur en Python, là où Qwen3.6-27B, limité à l'interface graphique, a mis 39 étapes et 9 minutes 56 secondes. Après l'apprentissage par renforcement, il faisait en moyenne 18,77 appels au modèle et 5 499 tokens de sortie par tâche, contre 12 397 tokens pour GPT-5.4-mini. Sur les tâches web, il domine moins : un checkpoint antérieur a obtenu 58,6 % sur WebVoyager-Static contre 68,0 % pour Fara1.5-4B, limité au navigateur.
Les conditions d'usage comptent plus que le score. Apache 2.0 autorise l'usage commercial, mais le dépôt de Microsoft indique que les modèles ne sont pas destinés au déploiement dans des produits ou services, et la fiche insiste sur une sandbox jetable parce que l'agent exécute des commandes shell arbitraires. L'exemple SGLang direct écoute en outre sur toutes les interfaces réseau. Les tests ont porté uniquement sur des bureaux Ubuntu en anglais, et le seul build quantifié est un travail communautaire que llama.cpp standard ne peut pas encore charger.
Là où il fait la différence
Un chercheur appliqué dans un laboratoire universitaire qui construit des agents de bureau
Reproduire et étendre un petit agent d'utilisation d'ordinateur sur OSWorld
Utilisez le MAGEHybridAgent fourni et le harnais OSWorld du dépôt GitHub de Microsoft avec les réglages publiés : 50 étapes, 3 captures d'écran conservées, résolution de 1920 sur 1080, température de 0,7. La recette d'entraînement complète est documentée, mais la fabrique de tâches, le code d'entraînement et les données ne sont pas publics.
Un ingénieur en automatisation dans une société financière de 300 personnes avec des postes de back-office sous Linux
Prototyper un agent qui met à jour des tableurs et des rapports
Faites-le tourner dans des VM restaurées depuis un snapshot, sans accès aux identifiants ni au réseau interne, comme le conseille la fiche, et laissez-le modifier des fichiers .xlsx et .pptx via Python dans le shell. La mention « recherche uniquement » de Microsoft impose une revue juridique avant tout déploiement en production.
Un développeur avec un GPU de portable de 16 GB qui teste des agents locaux
Faire tourner un agent de bureau sans API cloud
Les poids BF16 officiels pèsent 9,48 GB, et un GGUF Q4_K_M communautaire pèse 2,716 GB plus un projecteur visuel de 0,353 GB. Ce build exige un fork de llama.cpp, car llama.cpp standard, Ollama et LM Studio ne peuvent pas charger son projecteur.
Avant de vous engager
- Mise en route
- Récupérez l'image Docker documentée par Microsoft (SGLang 0.5.2, PyTorch 2.8.0, Transformers 5.7.0) et montez les poids, ou lancez SGLang avec trust_remote_code, un contexte de 32 768 tokens et SGLANG_MAX_PIXELS=4000000. Utilisez mot pour mot le prompt système hybride de la fiche.
- Intégrations
- L'endpoint natif /generate de SGLang avec des captures d'écran en base64, Transformers avec le code du modèle llava_onevision2 fourni, et le harnais MAGEHybridAgent pour OSWorld. Non compatible tel quel avec les classes Qwen3-VL standard.
- Données et confidentialité
- Auto-hébergement uniquement. Apache 2.0, mais la note Responsible AI de Microsoft indique un usage de recherche uniquement, avec des données d'entraînement de sources publiques, sous licence et internes. La fiche exige des sandboxes isolées, aucun identifiant monté et une liste blanche réseau contre l'injection de prompt.
- Coût à grande échelle
- Les poids BF16 pèsent 9,48 GB et un calcul de ModelFit estime un cache complet de 32K tokens à environ 4,8 GB, si bien qu'un GPU de 24 GB contient les deux. Microsoft ne publie aucun matériel minimal ; chaque tâche a nécessité en moyenne 18,77 appels au modèle et 5 499 tokens de sortie dans ses tests.
- Limites
- Fenêtre de travail de 32 768 tokens avec 3 captures d'écran, d'environ 2 000 tokens chacune en 1920 sur 1080 selon l'estimation de ModelFit. Jusqu'à 15 appels d'outils par tour ; Linux et anglais uniquement ; l'exemple SGLang direct écoute sur 0.0.0.0, tandis que l'exemple Docker écoute sur 127.0.0.1.
Les points forts
- 66,0 % sur OSWorld-Verified avec 4B, au-dessus de Qwen3.6-27B (autodéclaré)
- Choisit à chaque tour entre actions d'interface graphique et shell bash
- 18,77 appels au modèle et 5 499 tokens de sortie par tâche après RL
- Poids sous Apache 2.0 avec une recette d'entraînement détaillée et un harnais OSWorld
Les points faibles
- Microsoft le réserve à la recherche, pas au déploiement dans des produits
- Testé uniquement sur des bureaux Ubuntu en anglais
- Derrière ScaleCUA-Qwen3.5-9B et les modèles de pointe sur OSWorld
- Exécute des commandes shell arbitraires ; exige une sandbox et une configuration réseau soignée
Idéal pour
Les chercheurs et les équipes de plateformes d'agents qui étudient les petits agents d'utilisation d'ordinateur sous Linux et peuvent les faire tourner dans des sandboxes jetables.
Alternatives à Mage-VL-Cowork
Mage-VL-Cowork : questions fréquentes
- Mage-VL-Cowork vaut-il le coup ?
- Mage-VL-Cowork amène un modèle de 4B à quelques points des meilleurs agents de bureau ouverts en le laissant recourir à un terminal, mais Microsoft le réserve à la recherche et il n'a été testé que sous Linux. Nous lui donnons 3.9 sur 5.
- Combien coûte Mage-VL-Cowork ?
- Gratuit sous Apache 2.0, bien que le dépôt de Microsoft indique que les modèles Mage sont destinés à la recherche et pas au déploiement dans des produits ou services. Pas d'API hébergée.
- Quels sont les inconvénients de Mage-VL-Cowork ?
- Microsoft le réserve à la recherche, pas au déploiement dans des produits; testé uniquement sur des bureaux Ubuntu en anglais; derrière ScaleCUA-Qwen3.5-9B et les modèles de pointe sur OSWorld; exécute des commandes shell arbitraires ; exige une sandbox et une configuration réseau soignée.
- À qui s’adresse Mage-VL-Cowork ?
- Les chercheurs et les équipes de plateformes d'agents qui étudient les petits agents d'utilisation d'ordinateur sous Linux et peuvent les faire tourner dans des sandboxes jetables.
- Combien coûte Mage-VL-Cowork pour une équipe ou en production ?
- Les poids BF16 pèsent 9,48 GB et un calcul de ModelFit estime un cache complet de 32K tokens à environ 4,8 GB, si bien qu'un GPU de 24 GB contient les deux. Microsoft ne publie aucun matériel minimal ; chaque tâche a nécessité en moyenne 18,77 appels au modèle et 5 499 tokens de sortie dans ses tests.
- Mage-VL-Cowork est-il sûr pour les données de l’entreprise ?
- Auto-hébergement uniquement. Apache 2.0, mais la note Responsible AI de Microsoft indique un usage de recherche uniquement, avec des données d'entraînement de sources publiques, sous licence et internes. La fiche exige des sandboxes isolées, aucun identifiant monté et une liste blanche réseau contre l'injection de prompt.
- Quelles sont les meilleures alternatives à Mage-VL-Cowork ?
- Les alternatives les plus proches que nous avons testées sont Muse Glimmer, Qwen3.8-27B, MiniCPM-V 4.7 (35B-A3B and 1B) et Nemotron 3.5 Super VL.
Réponses vérifiées le 2 nov. 2026.