Was ist Mage-VL-Cowork?
Mage-VL-Cowork ist ein Computer-Use-Agent mit 4 Milliarden Parametern vom Mage-Team bei Microsoft, am 30. Oktober 2026 auf Hugging Face unter Apache 2.0 mit einem technischen Bericht veröffentlicht. Er betrachtet Screenshots und handelt auf einem Linux-Desktop über zwei Kanäle: ein Tool computer_use mit 11 Maus- und Tastaturaktionen und ein Tool bash mit dauerhafter Shell und Python-Umgebung. Das Modell entscheidet in jedem Schritt selbst, welchen Kanal es nutzt, ohne separaten Router.
Es baut auf Mage-VL auf, Microsofts Vision-Language-Modell mit 4B Parametern, das den hauseigenen Encoder Mage-ViT mit Alibabas Qwen3-4B-Instruct-2507 kombiniert. Das Training lief in fünf Stufen, vom Grounding auf dem Bildschirm über Feinabstimmung für GUI und Programmieren bis zu Online-Reinforcement-Learning auf 1.988 überprüfbaren Aufgaben, mit 32 Nvidia-B200-GPUs. Ein Großteil der Trainingsdaten stammte von einem Lehrermodell GPT-5.4, dessen Tool-Satz zuvor ausgedünnt wurde; das Entfernen des Kanals für den Accessibility Tree hob den 4B-Schüler auf Microsofts zurückgehaltenen Aufgaben von 25,1% auf 37,6%.
Jeder Schritt liefert einen Reasoning-Block, eine einzeilige Zusammenfassung der Aktion und Tool-Aufrufe. Der Agent behält die 3 jüngsten Screenshots und fasst ältere Schritte zu einzeiligen Zusammenfassungen zusammen, um in einem Fenster von 32.768 Tokens zu bleiben. Microsofts GitHub-Repository sagt, die Mage-Modelle seien nur für Forschungszwecke veröffentlicht.
Lohnt sich Mage-VL-Cowork?
Mage-VL-Cowork zeigt, dass ein 4B-Modell ernsthafte Desktop-Arbeit leisten kann, wenn es neben dem Klicken auch Code schreiben darf. Auf OSWorld-Verified, gemittelt über zwei Läufe mit 361 Aufgaben und einem Budget von 50 Schritten, erreicht es 66,0%, gegenüber gemeldeten 65,9% für Muse Glimmer-30B, 63,9% für Qwen3.6-27B und 13,9% für das auf Browser ausgerichtete Fara1.5-4B. Der menschliche Referenzwert liegt bei 72,4%. Am stärksten ist es bei Aufgaben im Betriebssystem mit 87,5%, am schwächsten bei Workflows über mehrere Anwendungen mit 62,7%.
Der Vergleich braucht Sorgfalt. Microsoft hat das eigene Modell gemessen; die meisten Werte der Konkurrenz wurden aus deren Berichten mit anderen Schrittbudgets übernommen, und das Modell steht nicht auf der offiziellen OSWorld-Rangliste. ScaleCUA-Qwen3.5-9B, etwa doppelt so groß, erreicht mit 68,7% mehr, und Frontier-Modelle wie GPT-5.5 mit 78,7% und Claude Opus 4.7 mit 78,0% liegen weiterhin deutlich vorn.
Der hybride Kanal macht es effizient. In Microsofts Demonstration mit LibreOffice Calc verband es Zellen, fügte ein Diagramm hinzu und speicherte die Datei in 6 Schritten und 39 Sekunden, indem es die Arbeitsmappe in Python bearbeitete, während das reine GUI-Modell Qwen3.6-27B 39 Schritte und 9 Minuten 56 Sekunden brauchte. Nach dem Reinforcement Learning kam es im Schnitt auf 18,77 Modellaufrufe und 5.499 Ausgabe-Tokens pro Aufgabe, gegenüber 12.397 Tokens für GPT-5.4-mini. Bei Web-Aufgaben ist es weniger überlegen: Ein früherer Checkpoint erreichte auf WebVoyager-Static 58,6% gegenüber 68,0% für das reine Browser-Modell Fara1.5-4B.
Die Bedingungen für den Einsatz zählen mehr als der Wert. Apache 2.0 erlaubt kommerzielle Nutzung, doch Microsofts Repository sagt, die Modelle seien nicht für den Einsatz in Produkten oder Diensten gedacht, und die Model Card besteht auf einer Wegwerf-Sandbox, weil der Agent beliebige Shell-Befehle ausführt. Das direkte SGLang-Beispiel lauscht zudem auf allen Netzwerkschnittstellen. Getestet wurden nur Ubuntu-Desktops auf Englisch, und der einzige quantisierte Build ist Community-Arbeit, die das reguläre llama.cpp noch nicht laden kann.
Wo es sich lohnt
Ein angewandter Forscher in einem Universitätslabor, das Desktop-Agenten baut
Einen kleinen Computer-Use-Agenten auf OSWorld nachbauen und erweitern
Nutze den mitgelieferten MAGEHybridAgent und das OSWorld-Harness aus Microsofts GitHub-Repository mit den veröffentlichten Einstellungen: 50 Schritte, 3 behaltene Screenshots, Auflösung 1920 x 1080, Temperatur 0.7. Das vollständige Trainingsrezept ist dokumentiert, aber Aufgabengenerator, Trainingscode und Daten sind nicht öffentlich.
Ein Automatisierungsingenieur in einer Finanzfirma mit 300 Mitarbeitern und Linux-Rechnern im Backoffice
Einen Prototyp für einen Agenten bauen, der Tabellen und Berichte aktualisiert
Betreibe ihn in VMs, die auf einen Snapshot zurückgesetzt werden, ohne Zugriff auf Zugangsdaten oder das interne Netz, wie die Model Card rät, und lass ihn .xlsx- und .pptx-Dateien über Python in der Shell bearbeiten. Wegen Microsofts Hinweis auf reine Forschung braucht ein Produktiveinsatz zuerst eine rechtliche Prüfung.
Ein Entwickler mit einer Laptop-GPU mit 16 GB, der lokale Agenten testet
Einen Desktop-Agenten ohne Cloud-API betreiben
Die offiziellen BF16-Gewichte sind 9,48 GB groß, und ein GGUF der Community in Q4_K_M hat 2,716 GB plus einen Vision-Projektor mit 0,353 GB. Dieser Build braucht einen Fork von llama.cpp, weil das reguläre llama.cpp, Ollama und LM Studio seinen Projektor nicht laden können.
Bevor du dich festlegst
- Einrichtung
- Das von Microsoft dokumentierte Docker-Image ziehen (SGLang 0.5.2, PyTorch 2.8.0, Transformers 5.7.0) und die Gewichte einbinden, oder SGLang mit trust_remote_code, einem Kontext von 32.768 Tokens und SGLANG_MAX_PIXELS=4000000 starten. Den hybriden System-Prompt wörtlich aus der Model Card übernehmen.
- Integrationen
- SGLangs nativer Endpunkt /generate mit Screenshots in base64, Transformers mit dem mitgelieferten Modellcode llava_onevision2 und das Harness MAGEHybridAgent für OSWorld. Nicht direkt kompatibel mit den Standardklassen von Qwen3-VL.
- Daten und Datenschutz
- Nur selbst gehostet. Apache 2.0, doch Microsofts Hinweis zu Responsible AI sagt nur Forschung, mit Trainingsdaten aus öffentlichen, lizenzierten und internen Quellen. Die Model Card verlangt isolierte Sandboxes, keine eingebundenen Zugangsdaten und eine Netzwerk-Allowlist gegen Prompt Injection.
- Kosten im großen Maßstab
- Die BF16-Gewichte sind 9,48 GB groß, und eine Berechnung von ModelFit setzt einen vollen Cache für 32K Tokens bei etwa 4,8 GB an, eine GPU mit 24 GB fasst also beides. Microsoft nennt keine Mindesthardware; in den Tests kam jede Aufgabe im Schnitt auf 18,77 Modellaufrufe und 5.499 Ausgabe-Tokens.
- Grenzen
- Arbeitsfenster von 32.768 Tokens mit 3 Screenshots, nach Schätzung von ModelFit je etwa 2.000 Tokens bei 1920 x 1080. Bis zu 15 Tool-Aufrufe pro Schritt; nur Linux und Englisch; das direkte SGLang-Beispiel bindet an 0.0.0.0, das Docker-Beispiel an 127.0.0.1.
Was gut ist
- 66,0% auf OSWorld-Verified mit 4B, über Qwen3.6-27B (selbst gemeldet)
- Wählt in jedem Schritt zwischen GUI-Aktionen und einer bash-Shell
- 18,77 Modellaufrufe und 5.499 Ausgabe-Tokens pro Aufgabe nach RL
- Gewichte unter Apache 2.0 mit ausführlichem Trainingsrezept und OSWorld-Harness
Was nicht
- Laut Microsoft für die Forschung, nicht für den Einsatz in Produkten
- Nur auf englischsprachigen Ubuntu-Desktops getestet
- Auf OSWorld hinter ScaleCUA-Qwen3.5-9B und Frontier-Modellen
- Führt beliebige Shell-Befehle aus; braucht eine Sandbox und eine sorgfältige Netzwerkeinrichtung
Am besten für
Forscher und Teams für Agent-Plattformen, die kleine Computer-Use-Agenten auf Linux untersuchen und sie in Wegwerf-Sandboxes betreiben können.
Alternativen zu Mage-VL-Cowork
Mage-VL-Cowork: häufige Fragen
- Lohnt sich Mage-VL-Cowork?
- Mage-VL-Cowork bringt ein 4B-Modell bis auf wenige Punkte an die besten offenen Desktop-Agenten heran, indem es ihm ein Terminal gibt, doch Microsoft kennzeichnet es als reines Forschungsmodell, und getestet wurde es nur auf Linux. Wir bewerten es mit 3.9 von 5.
- Was kostet Mage-VL-Cowork?
- Kostenlos unter Apache 2.0, wobei Microsofts Repository sagt, die Mage-Modelle seien für die Forschung gedacht und nicht für den Einsatz in Produkten oder Diensten. Keine gehostete API.
- Welche Nachteile hat Mage-VL-Cowork?
- Laut Microsoft für die Forschung, nicht für den Einsatz in Produkten; Nur auf englischsprachigen Ubuntu-Desktops getestet; Auf OSWorld hinter ScaleCUA-Qwen3.5-9B und Frontier-Modellen; Führt beliebige Shell-Befehle aus; braucht eine Sandbox und eine sorgfältige Netzwerkeinrichtung.
- Für wen eignet sich Mage-VL-Cowork?
- Forscher und Teams für Agent-Plattformen, die kleine Computer-Use-Agenten auf Linux untersuchen und sie in Wegwerf-Sandboxes betreiben können.
- Was kostet Mage-VL-Cowork für ein Team oder im Produktivbetrieb?
- Die BF16-Gewichte sind 9,48 GB groß, und eine Berechnung von ModelFit setzt einen vollen Cache für 32K Tokens bei etwa 4,8 GB an, eine GPU mit 24 GB fasst also beides. Microsoft nennt keine Mindesthardware; in den Tests kam jede Aufgabe im Schnitt auf 18,77 Modellaufrufe und 5.499 Ausgabe-Tokens.
- Ist Mage-VL-Cowork sicher für Firmendaten?
- Nur selbst gehostet. Apache 2.0, doch Microsofts Hinweis zu Responsible AI sagt nur Forschung, mit Trainingsdaten aus öffentlichen, lizenzierten und internen Quellen. Die Model Card verlangt isolierte Sandboxes, keine eingebundenen Zugangsdaten und eine Netzwerk-Allowlist gegen Prompt Injection.
- Was sind die besten Alternativen zu Mage-VL-Cowork?
- Die nächsten Alternativen, die wir getestet haben, sind Muse Glimmer, Qwen3.8-27B, MiniCPM-V 4.7 (35B-A3B and 1B) und Nemotron 3.5 Super VL.
Antworten geprüft am 2. Nov. 2026.