Mage-VL-Coworkとは？
Mage-VL-Coworkは、MicrosoftのMageチームによる40億（4 billion）パラメータのコンピューター操作エージェントで、2026年10月30日にApache 2.0で、技術レポートとともにHugging Faceで公開されました。スクリーンショットを見て、2つの経路でLinuxのデスクトップを操作します。マウスとキーボードの11種類の操作を持つcomputer_useのツールと、永続的なシェルとPythonの環境を持つbashのツールです。どちらを使うかは、別のルーターなしにモデルが毎ターン決めます。
ベースはMicrosoftの4Bの視覚言語モデルMage-VLで、社内のMage-ViTのエンコーダーとAlibabaのQwen3-4B-Instruct-2507を組み合わせています。学習は5段階で、画面のグラウンディングから、GUIとコーディングのファインチューニングを経て、1,988の検証可能なタスクでのオンラインの強化学習まで進み、NvidiaのB200 GPUを32基使いました。学習データの多くは、先にツールの組み合わせを絞り込んだGPT-5.4の教師モデルから得たものです。アクセシビリティツリーの経路を取り除いたことで、4Bの生徒モデルはMicrosoftの未公開のタスクで25.1%から37.6%に上がりました。
各ターンは、推論のブロック、1行の操作の要約、ツールの呼び出しを返します。32,768トークンの枠に収めるため、エージェントは直近3枚のスクリーンショットを保持し、それより古い手順は1行の要約にまとめます。MicrosoftのGitHubのリポジトリには、Mageのモデルは研究目的に限って公開すると書かれています。
Mage-VL-Coworkは使う価値があるか？
Mage-VL-Coworkは、クリックだけでなくコードを書くことも許せば、4Bのモデルでも本格的なデスクトップ作業ができることを示しています。OSWorld-Verifiedでは、361のタスクを50手の予算で2回実行した平均で66.0%で、Muse Glimmer-30Bの報告値65.9%、Qwen3.6-27Bの63.9%、ブラウザに特化したFara1.5-4Bの13.9%を上回ります。人間の参考値は72.4%です。最も強いのはオペレーティングシステムのタスクで87.5%、最も弱いのは複数のアプリケーションにまたがるワークフローで62.7%です。
この比較には注意が必要です。Microsoftは自社のモデルを自分で実行しましたが、競合の数字のほとんどは、手数の予算が異なるそれぞれのレポートから転記したもので、モデルは公式のOSWorldのリーダーボードに載っていません。約2倍の大きさのScaleCUA-Qwen3.5-9Bは68.7%と高く、GPT-5.5の78.7%やClaude Opus 4.7の78.0%のようなフロンティアモデルは依然として大きく先を行っています。
効率を生んでいるのはハイブリッドの経路です。MicrosoftのLibreOffice Calcのデモでは、Pythonでワークブックを編集することで、セルの結合、グラフの追加、ファイルの保存を6手、39秒でこなしました。GUIだけのQwen3.6-27Bは39手、9分56秒かかりました。強化学習のあと、タスクあた りの平均はモデルの呼び出し18.77回、出力5,499トークンで、GPT-5.4-miniは12,397トークンです。ウェブのタスクではそれほど優位ではありません。以前のチェックポイントはWebVoyager-Staticで58.6%で、ブラウザ専用のFara1.5-4Bは68.0%でした。
スコアより重要なのは、利用の条件です。Apache 2.0は商用利用を認めていますが、Microsoftのリポジトリにはモデルは製品やサービスでの導入を意図していないと書かれており、エージェントが任意のシェルのコマンドを実行するため、モデルカードは使い捨てのサンドボックスを強く求めています。直接SGLangを使う例も、すべてのネットワークインターフェースで待ち受けます。テストは英語のUbuntuのデスクトップだけを対象としており、唯一の量子化版はコミュニティによるもので、標準のllama.cppではまだ読み込めません。
真価を発揮する場面
デスクトップエージェントを作る大学の研究室の応用研究者
小型のコンピューター操作エージェントをOSWorldで再現し、発展させる
MicrosoftのGitHubのリポジトリにある同梱のMAGEHybridAgentとOSWorldの評価環境を、公開された設定で使います。50手、保持するスクリーンショット3枚、1920×1080の解像度、温度0.7です。学習の手順はすべて文書化されていますが、タスクの生成の仕組み、学習のコード、データは公開されていません。
Linuxのバックオフィスのマシンを持つ従業員300人の金融会社の自動化エンジニア
スプレッドシートと報告書を更新するエージェントを試作する
モデルカードの勧めに従い、認証情報や社内ネットワークにアクセスできない、スナップショットで元に戻すVMで動かし、シェルのPythonで.xlsxと.pptxのファイルを編集させます。Microsoftの研究専用という記載があるので、本番に展開するには先に法務の確認が必要です。
16 GBのノートパソコンのGPUでローカルのエージェントを試す開発者
クラウドのAPIなしにデスクトップエージェントを動かす
公式のBF16の重みは9.48 GBで、コミュニティによるQ4_K_MのGGUFは2.716 GBに、視覚のプロジェクター0.353 GBが加わります。このビルドにはフォークしたllama.cppが必要です。標準のllama.cpp、Ollama、LM Studioではそのプロジェクターを読み込めないからです。
導入前に確認すること
- 導入
- Microsoftが文書化しているDockerイメージ（SGLang 0.5.2、PyTorch 2.8.0、Transformers 5.7.0）を取得して重みをマウントするか、trust_remote_code、32,768トークンのコンテキスト、SGLANG_MAX_PIXELS=4000000を指定してSGLangを起動しま す。モデルカードにあるハイブリッドのシステムプロンプトをそのまま使ってください。
- 連携
- base64のスクリーンショットを受け取るSGLangのネイティブの/generateのエンドポイント、同梱のllava_onevision2のモデルコードを使うTransformers、OSWorld向けのMAGEHybridAgentの評価環境。標準のQwen3-VLのクラスとはそのまま差し替えられる互換性はありません。
- データとプライバシー
- セルフホストのみです。Apache 2.0ですが、MicrosoftのResponsible AIの注記には研究専用とあり、学習データは公開、ライセンス取得済み、社内の情報源によるものです。モデルカードは、隔離したサンドボックス、認証情報をマウントしないこと、プロンプトインジェクションに備えたネットワークの許可リストを求めています。
- 大規模利用時のコスト
- BF16の重みは9.48 GBで、ModelFitの計算では32Kトークンのキャッシュ全体が約4.8 GBなので、24 GBのGPU 1枚に両方が収まります。Microsoftは最低限のハードウェアを公開していません。同社のテストでは、タスクあたり平均でモデルの呼び出し18.77回、出力5,499トークンでした。
- 制限
- 作業用の枠は32,768トークンでスクリーンショット3枚、ModelFitの見積もりでは1920×1080で1枚あたり約2,000 トークンです。1ターンあたりのツールの呼び出しは最大15回です。対応はLinuxと英語のみです。直接SGLangを使う例は0.0.0.0で待ち受け、Dockerの例は127.0.0.1で待ち受けます。
良い点
- 4BでOSWorld-Verifiedが66.0%、Qwen3.6-27Bを上回る（自己申告）
- 毎ターン、GUIの操作とbashのシェルのどちらを使うかを選ぶ
- 強化学習後、タスクあたりモデルの呼び出し18.77回、出力5,499トークン
- Apache 2.0の重みで、詳しい学習の手順とOSWorldの評価環境がある
気になる点
- Microsoftは研究用であり、製品での導入用ではないとしている
- テストされたのは英語のUbuntuのデスクトップだけ
- OSWorldではScaleCUA-Qwen3.5-9Bとフロンティアモデルに及ばない
- 任意のシェルのコマンドを実行するので、サンドボックスと慎重なネットワークの設定が必要
おすすめの人
Linux上の小型のコンピューター操作エージェントを研究し、使い捨てのサンドボックスで動かせる研究者やエージェント基盤のチーム。
Mage-VL-Coworkの代替
Mage-VL-Cowork：よくある質問
- Mage-VL-Coworkは使う価値があるか？
- Mage-VL-Coworkは、ターミナルを使えるようにすることで、4Bのモデルを最良のオープンなデスクトップエージェントから数ポイント以内に近づけています。ただしMicrosoftは研究専用と位置づけており、テストされたのはLinuxだけです。 評価は5点満点中3.9点です。
- Mage-VL-Coworkの料金は？
- Apache 2.0で無料です。ただしMicrosoftのリポジトリには、Mageのモデルは研究用で、製品やサービスでの導入を意図したものではないと書かれています。ホスト版のAPIはありません。
- Mage-VL-Coworkの欠点は？
- Microsoftは研究用であり、製品での導入用ではないとしている; テストされたのは英語のUbuntuのデスクトップだけ; OSWorldではScaleCUA-Qwen3.5-9Bとフロンティアモデルに及ばない; 任意のシェルのコマンドを実行するので、サンドボックスと慎重なネットワークの設定が必要.
- Mage-VL-Coworkは誰に向いているか？
- Linux上の小型のコンピューター操作エージェントを研究し、使い捨てのサンドボックスで動かせる研究者やエージェント基盤のチーム。
- チームや本番環境でMage-VL-Coworkを使うと費用はいくらか？
- BF16の重みは9.48 GBで、ModelFitの計算では32Kトークンのキャッシュ全体が約4.8 GBなので、24 GBのGPU 1枚に両方が収まります。Microsoftは最低限のハードウェアを公開していません。同社のテストでは、タスクあたり平均でモデルの呼び出し18.77回、出力5,499トークンでした。
- Mage-VL-Coworkは企業データを扱っても安全か？
- セルフホストのみです。Apache 2.0ですが、MicrosoftのResponsible AIの注記には研究専用とあり、学習データは公開、ライセンス取得済み、社内の情報源によるものです。モデルカードは、隔離したサンドボックス、認証情報をマウントしないこと、プロンプトインジェクションに備えたネットワークの許可リストを求めています。
- Mage-VL-Coworkの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はMuse Glimmer, Qwen3.8-27B, MiniCPM-V 4.7 (35B-A3B and 1B) 、 Nemotron 3.5 Super VLです。
回答確認日：2026年11月2日