agent-desktopとは？
agent-desktopは、AIエージェントがスクリーンショットやピクセル照合なしでデスクトップアプリを操作できるようにします。アプリのアクセシビリティツリー、つまりスクリーンリーダーが使うボタン、入力欄、メニューのラベル付き一覧を読み、エージェントが操作できるすべての要素に参照を付けたJSONとして返します。エージェントは参照に対してクリックや入力を行い、UIを読み直して確認し、これを繰り返します。内部にモデルはなく、このループはあなたのエージェント側にあります。
Rustのバイナリで、61のコマンド名（そのうち57が実際に動作）を備え、スナップショット、参照への操作、キーボードとマウス、ウィンドウ、通知、クリップボード、セッションをカバーします。プロセス内で使うためのCライブラリもあります。2026年11月5日のv1.2.0以降、agent-desktop mcpがすべてのコマンドをstdio経由のMCPツールとして提供します。sandboxコマンドはローカルのmacOS仮想マシンを管理し、エージェントがあなたのものではないデスクトップで作業できるようにします。Vercelのagent-browserのデスクトップ版にあたります。
Vercel LabsがApache-2.0で公開しています。リポジトリは2026年2月に作成され、スターは約22,000、リリースは30回です。npmパッケージは11月10日までの1週間で約50,600回ダウンロードされました。
agent-desktopのインストール方法
npm install -g agent-desktop && agent-desktop mcpagent-desktopは使う価値があるか？
agent-desktopは中心となる設計判断を正しく行い、そのうえで限界を珍しいほど詳しく文書化しています。参照はそれを生成したスナップショットに結び付いているので、単独の@e8は拒否され、UIが変わった場合は誤ったコントロールをクリックする代わりにSTALE_REFやAMBIGUOUS_TARGETが返ります。エラーには再試行の可否が含まれ、ドキュメントはsafeと示されたときだけ再試行するようエージェントに指示しています。Slackのような情報量の多いアプリでは、浅いスケルトンのスナップショットを取ってから1つの領域に絞り込むことで、1回の読み取りのトークンコストを抑えられます。
最も近い競合であるMunim Computer Useと比べると、ブラウザーへの到達範囲と引き換えに幅広さを取っています。agent-desktopはコマンドが多く、Cライブラリがあり、エージェントがMCPなしで呼べるCLIがあり、スターはMunimの約37に対して約22,000です。ただし意図的にデスクトップアプリまでで止まっています。Webページはagent-browserの担当で、あなたが起動したChromiumやElectronのアプリでDevToolsのポートを開いて接続します。Munimはログイン済みのChromeを直接操作し、アプリごとのポリシーファイルを持ちますが、agent-desktopのREADMEには同等の許可・ブロックの一覧はありません。
画面を使わない動作はプラットフォームごとに異なり、各プラットフォームのページがその内容を正確に示しています。参照への操作は既定でポインターを動かさずにアクセシビリティAPIを使い、--headedで物理的な入力を許可します。Windowsでは画面を使わないtypeとright-clickは拒否され、管理者として動くアプリは通常のターミナルから読めても操作できません。LinuxではAT-SPIバスが動いているUbuntu 24.04以降が必要です。Windowsのバイナリは署名されていないので、SmartScreenやSmart App Controlにブロックされることがあります。
セキュリティの立場はREADMEに明記されています。スナップショット、クリップボードの読み取り、スクリーンショットにはデスクトップの私的な内容が含まれうるので、公開ログに載せてはいけません。エージェントが画面で読むものは、メールでもチャットのメッセージでも、デスクトップ全体を背にしたプロンプトインジェクションになりえます。エージェントをローカルの仮想マシンで動かすmacOSのサンドボックスが本当の対策ですが、ドキュメントによれば分離されるのはデスクトップで、ネットワークやホストは分離されず、LinuxとWindowsにはローカルのサンドボックス提供元がありません。未解決のissueとプルリクエストが220件ある、これほど急成長したプロジェクトは今後も変わり続けます。MCPサーバーは公開から1週間も経っていません。
真価を発揮する場面
Windows専用の運送アプリを使う30人の物流会社の業務アナリスト
毎朝メールから出荷情報を運送アプリに写す
エージェントはアプリのフォームのスナップショットを取り、Windowsで画面なしでも動くset-valueで入力欄を埋め、フォームを読み直して確認します。モデルのトークン以外は無料です。エージェントは開いているすべてのアプリに届くので、専用のWindowsマシンで動かしてください。
macOSのデスクトップアプリチームのQAエンジニア
変更のたびにコーディングエージェントに新しい設定画面を確認させる
Claude Codeにagent-desktop mcpを追加し、ビルドを起動して設定を開き、各トグルをwait --predicateで確認するようエージェントに頼みます。macOSの仮想マシンのサンドボックスを使えば、テストを自分のデスクトップから切り離せます。
Webコンテンツを含むElectronアプリを作る開発者
ネイティブのメニューとWebビューを1つのエージェントループで試す
agent-desktopがメニューとウィンドウを操作し、DevToolsのポートを開いて、そこにagent-browserがページの内容のために接続します。どちらも無料ですが、エージェントのコンテキストには2つのツールが載ることになります。
導入前に確認すること
- 導入
- npm install -g agent-desktop（macOSとLinuxではbrew install agent-desktopも可）の後、agent-desktop statusを実行し、macOSではアクセシビリティの許可のためにagent-desktop permissions --guideを実行します。MCPクライアントでは、コマンドagent-desktopと引数mcpを追加します。スキルはnpx skills addで入れます。
- 連携
- すべてのコマンドがMCPツール（desktop_snapshot、desktop_click、desktop_session_startなど）で、その多くは書き込み操作です。click、type、set-value、drag、launch、close-app、clipboard-set、通知の操作などです。CLIを実行できるエージェントなら何でも使え、プロセス内ではCライブラリが使えます。
- データとプライバシー
- ローカルで動きます。MCPサーバーはstdioで通信しポートを開きませんが、agent-browserのために、あなたが起動したChromiumやElectronのアプリでDevToolsのポートを開 きます。スナップショット、クリップボード、スクリーンショットには私的な内容が含まれうるうえ、モデル提供元に送られます。セキュリティの報告はGitHubの非公開脆弱性報告で受け付けており、公開されたアドバイザリーはありません。
- 大規模利用時のコスト
- 無料で、コストはモデルのトークンと呼び出しです。アクセシビリティのスナップショットは画像ではなくテキストで、スケルトンからの絞り込みで大きなアプリも安くなりますが、長いデスクトップ作業ではやはり観察と操作の呼び出しが多くなります。ホスト型のVercel Sandboxの仮想マシンはVercelが請求します。
- 制限
- デスクトップアプリのみで、Webページは対象外です。アクセシビリティツリーを公開しないアプリは見えません。Windowsでは未署名のバイナリで、画面なしのtypeはなく、昇格したアプリには昇格したターミナルが必要です。LinuxではUbuntu 24.04以降と動作中のAT-SPIバスが必要です。ローカルのサンドボックスはmacOSのみです。
良い点
- スナップショットに結び付いた参照は誤クリックせずに失敗する
- macOS、Windows、Linuxで同じコマンド群
- CLI、MCPサーバー、Cライブラリが1つのバイナリに
- 画面なしで何が動くかをプラットフォームごとに文書化
- 隔離実行のためのローカルmacOS仮想マシンのサンドボックス
気になる点
- あなたのアカウントで開けるすべてのアプリで操作できる
- アプリごとの許可・ブロックのポリシーがない
- Windowsのバイナリは未署名、管理者権限のアプリは操作不可
- MCPモードは2026年11月5日に公開されたばかり
おすすめの人
APIのないネイティブのデスクトップアプリをエージェントに操作させる必要があり、別のマシンやmacOSの仮想マシンのサンドボックスで動かせる開発者に向いています。
agent-desktopの代替
agent-desktop：よくある質問
- agent-desktopは使う価値があるか？
- エージェントにネイティブのデスクトップアプリを扱わせる、よくできた広く使われている手段で、各OSで画面を使わずに何が動くかを正直に文書化していますが、あなたが開けるあらゆるアプリであなたとして操作できてしまいます。 評価は5点満点中4.1点です。
- agent-desktopの料金は？
- 無料のオープンソース（Apache-2.0）です。モデルの呼び出しは自分のプロバイダーに支払います。ホスト型のVercel Sandboxの仮想マシンはVercelが請求します。
- agent-desktopの欠点は？
- あなたのアカウントで開けるすべてのアプリで操作できる; アプリごとの許可・ブロックのポリシーがない; Windowsのバイナリは未署名、管理者権限のアプリは操作不可; MCPモードは2026年11月5日に公開されたばかり.
- agent-desktopは誰に向いているか？
- APIのないネイティブのデスクトップアプリをエージェントに操作させる必要があり、別のマシンやmacOSの仮想マシンのサンドボックスで動かせる開発者に向いています。
- チームや本番環境でagent-desktopを使うと費用はいくらか？
- 無料で、コストはモデルのトークンと呼び出しです。アクセシビリティのスナップショットは画像ではなくテキストで、スケルトンからの絞り込みで大きなアプリも安くなりますが、長いデスクトップ作業ではやはり観察と操作の呼び出しが多くなります。ホスト型のVercel Sandboxの仮想マシンはVercelが請求します。
- agent-desktopは企業データを扱っても安全か？
- ローカルで動きます。MCPサーバーはstdioで通信しポートを開きませんが、agent-browserのために、あなたが起動したChromiumやElectronのアプリでDevToolsのポートを開きます。スナップショット、クリップボード、スクリーンショットには私的な内容が含まれうるうえ、モデル提供元に送られます。セキュリティの報告はGitHubの非公開脆弱性報告で受け付けており、公開されたアドバイザリーはありません。
- agent-desktopの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はMunim Computer Use 、 Playwright MCPです。
回答確認日：2026年11月11日
agent-desktopの開発元の方へ：この評価をサイトに掲載できます
