UFOとは？
UFOは、Microsoft Researchが開発したオープンソースのエージェントフレームワークで、Windowsアプリケーションを代わりに操作します。普段の言葉で依頼すると、スクリーンショットを撮り、WindowsのUI Automationツリーを読み取ったうえで、Office、Edge 、エクスプローラーなど、あなたのマシン上の実際のプログラムでクリックし、文字を入力し、アプリのAPIを呼び出します。サンドボックスではなく、動作しているデスクトップそのものに対して操作します。
リポジトリには2つの層があります。UFO²(2025年4月)はWindowsエージェント本体で、現在は長期サポートの段階にあります。UFO³ Galaxy(2025年11月)はタスクをステップのグラフに分解し、WebSocketプロトコルを通じてWindows、Linux、Androidの各デバイス上のエージェントに割り振ります。Microsoftはこれを活発に開発中と位置づけ、実験や重要でない作業に向くとしています。
Windows 10以降、Python 3.10以降、そしてモデルプロバイダーのAPIキーが必要です。対応するのはOpenAI、Azure OpenAI、Claude、Gemini、Qwen、DeepSeek、またはOllama経由のローカルモデルです。コードはMITライセンスで、GitHubスターは約10,200、v3.0.10は2026年9月22日に公開されました。
UFOは使う価値があるか？
スクリーンショットだけに頼るエージェントに対するUFOの強みは、Windowsそのものを読み取る点です。UFO²はUI Automationのアクセシビリティツリー、Win32およびCOMの呼び出しを画像認識と組み合わせるため、ピクセル位置を推測する代わりに、ボタンを名前で押したりOfficeのAPIを呼んだりできます。Microsoftの論文では、これによって結果がはっきり向上しました。o1を使った場合、Windows Agent Arenaのタスクの30.5%、OSWorld-Wの32.7%を完了し、OpenAIのOperatorの20.8%と14.3%を上回りました。どのエージェントも上限は30ステップです。
それでも失敗率はおよそ70%で、しかもエージェントはあなたが使っているデスクトップ上で動きます。ポインターを動かし、文書やメールに入力し、画面のスクリーンショットを設定したモデルプロバイダーに送ります。Microsoftの免責事項は、機密情報を画面に表示しないこと、管理された環境で実行することを求めています。既定で有効なSAFE_GUARD設定は、モデルが機密と判定した操作の前に確認を求めますが、同じ文書は、この関門がモデルによる判定に依存し、サンドボックスではないことを認めています。専用のWindows仮想マシンで動かすのが妥当です。
セキュリティ対応は着実で、追いかける価値があります。2026年8月と9月のv3.0.8とv3.0.9では、Microsoftのセキュリティレスポンスセンターに報告された複数の問題が修正され、その中にはGalaxyのWeb UIを通じたサーバーサイドリクエストフォージェリも含まれます。9月29日には、機密操作が確認の関門より前に実行されないようにする修正が入りました。これはv3.0.10の1週間後のため、最新のタグ付きリリースには含まれていません。
もう一つの代償はコストです。各ステップはスクリーンショットを添付したモデル呼び出しになります。投機的マルチアクション機能は予測したステップをまとめ、READMEによればLLMの呼び出しを最大51%減らします。Galaxyはデバイスをまたいだ計画を加えますが、より新しく、設定も難しくなります。ブラウザだけで済む作業ならbrowser-useの方が軽く、閉じ込めやすいでしょう。UFOが真価を発揮するのは、APIのないWindowsデスクトップソフトの中に作業がある場合です。
真価を発揮する場面
Windowsの旧来の保険金請求ソフトを使う保険会社のRPA開発者
APIのないデータ入力作業の自動化を試作したい
SAFE_GUARDを有効にした専用のWindows VMでUFO²を動かし、録画したデモを検索用ナレッジベースに追加して、作業を最後までやり遂げる頻度を測ります。ベンチマークの成功率が30%前後である以上、本番データに触れる前に毎回人が確認する体制を見込んでください。
コンピューター操作エージェントを研究するグループ
同じWindowsのタスクでモデルを比較したい
agents.yamlのモデルをGPT-4o、Claude、Gemini、またはOllamaのローカルモデルに切り替え、Microsoftが文書化しているWindows Agent Arenaとの連携を実行します。論文の30ステップの上限とモデルごとの表が、比較用の公開ベースラインになります。
WindowsノートPCとLinuxサーバーを使う従業員300人の企業のITチーム
サーバーからログを取得し、要約をOffice文書に書き込む流れを試したい
Galaxyが依頼をグラフに分解し、LinuxのステップをLinuxデバイスエージェントに、OfficeのステップをWindows上のUFO²に送ります。MicrosoftはGalaxyを実験や重要でない業務向けとしているため、パイロットにとどめてください。
導入前に確認すること
- 導入
- Windows 10以降とPython 3.10以降の環境でpip install -r requirements.txtを実行し、config/ufo/agents.yaml.templateをコピーしてAPIキーを追加し、python -m ufo --task <name>で起動します。Galaxyではさらにdevices.yamlと、各デバイスで動くサーバーとクライアントが必要です。
- 連携
- OpenAI、Azure OpenAI、Claude、Gemini、Qwen、DeepSeek、Ollama、OpenAIのOperatorモデル。デバイスエージェントのツール用にMCPサーバー、Bing検索、文書やデモを対象とした検索。評価用にWindows Agent ArenaとOSWorld。
- データとプライバシー
- デスクトップとアクティブなアプリケーションのスクリーンショットは、ステップごとに設定したモデルプロバイダーへ送られます。Microsoftは収集しないとしていますが、プロバイダーの規約が適用されます。APIキーはconfig/ufo/agents.yamlに保存されます。エージェントは実際のマウスとキーボードを操作するため、専用のVMまたはアカウントで動かしてください。SAFE_GUARDの確認は、モデルが機密操作を判定することに依存します。
- 大規模利用時のコスト
- MITのも とで無料です。費用はモデルAPIの利用料で、1ステップにつき1回以上の画像付き呼び出しが発生します。READMEによると、マルチアクションのまとめ処理で呼び出しを最大51%減らせます。Microsoftはタスクあたりのコストを公開していません。
- 制限
- 公開されている最高の成功率はWindows Agent Arenaで30.5%、OSWorld-Wで32.7%です。UFO²はWindows専用で、Galaxyは活発な開発中です。2026年9月29日の確認関門の修正はv3.0.10より新しいものです。
良い点
- スクリーンショットだけでなく、WindowsのUI Automation、Win32、COMを使う
- o1でWindows Agent Arena 30.5%を記録し、Operatorの20.8%を上回る
- OpenAI、Azure OpenAI、Claude、Gemini、Qwen、DeepSeek、Ollamaに対応
- MITライセンスで、2026年を通じてセキュリティ修正が続いている
気になる点
- 実際のアプリでクリックや入力を行い、サンドボックス化されていない
- デスクトップのスクリーンショットをモデルプロバイダーに送る
- 最良の条件でもベンチマークのタスクのおよそ70%に失敗する
- UFO²はWindows専用で、Galaxyはまだ活発な開発段階
おすすめの人
Windows中心の組織で、APIのないデスクトップソフト向けのエージェントをテスト用仮想マシン内で試作したい自動化エンジニア。
UFOの代替
UFO：よくある質問
- UFOは使う価値があるか？
- UFOはWindowsとの深い統合がデスクトップエージェントをどこまで押し上げられるかを示していますが、実際のマウスとキーボードを操作しながら、ベンチマークのタスクの大半にはまだ失敗します。 評価は5点満点中3.5点です。
- UFOの料金は？
- MITライセンスの無料オープンソースです。各ステップの費用はモデルプロバイダーに支払います。
- UFOの欠点は？
- 実際のアプリでクリックや入力を行い、サンドボックス化されていな い; デスクトップのスクリーンショットをモデルプロバイダーに送る; 最良の条件でもベンチマークのタスクのおよそ70%に失敗する; UFO²はWindows専用で、Galaxyはまだ活発な開発段階.
- UFOは誰に向いているか？
- Windows中心の組織で、APIのないデスクトップソフト向けのエージェントをテスト用仮想マシン内で試作したい自動化エンジニア。
- チームや本番環境でUFOを使うと費用はいくらか？
- MITのもとで無料です。費用はモデルAPIの利用料で、1ステップにつき1回以上の画像付き呼び出しが発生します。READMEによると、マルチアクションのまとめ処理で呼び出しを最大51%減らせます。Microsoftはタスクあたりのコストを公開していません。
- UFOは企業データを扱っても安全か？
- デスクトップとアクティブなアプリケーションのスクリーンショットは、ステップごとに設定したモデルプロバイダーへ送られます。Microsoftは収集しないとしていますが、プロバイダーの規約が適用されます。APIキーはconfig/ufo/agents.yamlに保存されます。エージェントは実際のマウスとキーボードを操作するため、専用のVMまたはアカウントで動かしてください。SAFE_GUARDの確認は、モデルが機密操作を判定することに依存します。
- UFOの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はBrowser Use, CLI-Anything, Magentic-UI (MagenticLite) 、 Agent Zeroです。
回答確認日：2026年11月14日