agent-desktop의 개요
agent-desktop은 AI 에이전트가 스크린샷이나 픽셀 매칭 없이 데스크톱 앱을 조작하게 해 줍니다. 앱의 접근성 트리, 즉 화면 낭독기가 쓰는 버튼, 입력란, 메뉴의 라벨 목록을 읽어, 에이전트가 조작할 수 있는 모든 요소에 참조를 붙인 JSON으로 돌려줍니다. 에이전트는 참조를 클릭하거나 입력하고, UI를 다시 읽어 확인한 뒤 이를 반복합니다. 안에 모델은 없으며, 이 루프는 사용자의 에이전트에 있습니다.
Rust 바이너리로 61개의 명령 이름(이 중 57개가 실제로 동작)을 갖추고 스냅샷, 참조 조작, 키보드와 마우스, 창, 알림, 클립보드, 세션을 다루며, 프로세스 안에서 쓰는 C 라이브러리도 있습니다. 2026년 11월 5일의 v1.2.0부터 agent-desktop mcp가 모든 명령을 stdio 기반 MCP 도구로 제공합니다. sandbox 명령은 로컬 macOS 가상 머신을 관리해, 에이전트가 사용자의 것이 아닌 데스크톱에서 작업하게 합니다. Vercel의 agent-browser에 대응하는 데스크톱용 도구입니다.
Vercel Labs가 Apache-2.0으로 공개합니다. 저장소는 2026년 2월에 만들어졌고 스타 약 22,000개, 릴리스 30개이며, npm 패키지는 11월 10일까지 한 주 동안 약 50,600회 다운로드되었습니다.
agent-desktop 설치 방법
npm install -g agent-desktop && agent-desktop mcpagent-desktop, 쓸 만한 가치가 있습니까?
agent-desktop은 핵심 설계 선택을 제대로 했고, 그다음 한계를 드물 만큼 자세히 문서화합니다. 참조는 그것을 만든 스냅샷에 묶여 있어서, 단독 @e8은 거부되고 UI가 바뀌면 엉뚱한 컨트롤을 누르는 대신 STALE_REF나 AMBIGUOUS_TARGET을 돌려줍니다. 오류에는 재시도 가능 여부가 담기며, 문서는 safe라고 표시될 때만 재시도하라고 에이전트에게 안내합니다. Slack처럼 복잡한 앱에서는 얕은 스켈레톤 스냅샷을 찍은 뒤 한 영역만 파고들어 한 번 읽을 때의 토큰 비용을 낮춥니다.
가장 가까운 경쟁자인 Munim Computer Use와 비교하면, 브라우저까지의 범위를 내주고 폭을 택했습니다. agent-desktop은 명령이 더 많고, C 라이브러리와 에이전트가 MCP 없이 부를 수 있는 CLI가 있으며, 스타는 Munim의 약 37개에 비해 약 22,000개입니다. 하지만 일부러 데스크톱 앱에서 멈춥니다. 웹 페이지는 agent-browser의 몫이며, 사용자가 실행한 Chromium과 Electron 앱에서 DevTools 포트를 열어 연결합니다. Munim은 로그인된 Chrome을 직접 조작하고 앱별 정책 파일이 있지만, agent-desktop의 README에는 그에 해당하는 허용 및 차단 목록이 없습니다.
화면 없이 동작하는 방식은 플랫폼마다 다르며, 각 플랫폼 페이지가 정확히 설명합니다. 참조 조작은 기본적으로 포인터를 움직이지 않고 접근성 API를 쓰며, --headed를 쓰면 물리적 입력을 허용합니다. Windows에서는 화면 없는 type과 right-click이 거부되고, 관리자 권한으로 실행 중인 앱은 일반 터미널에서 읽을 수는 있어도 조작할 수는 없습니다. Linux에서는 AT-SPI 버스가 실행 중인 Ubuntu 24.04 이상이 필요합니다. Windows 바이너리는 서명되지 않아 SmartScreen과 Smart App Control이 차단할 수 있습니다.
보안 입장은 README에 분명히 적혀 있습니다. 스냅샷, 클립보드 읽기, 스크린샷에는 데스크톱의 사적인 내용이 담길 수 있으므로 공개 로그에 남기지 말아야 합니다. 에이전트가 화면에서 읽는 모든 것, 이메일이든 채팅 메시지든, 데스크톱 전체를 등에 업은 프롬프트 인젝션이 될 수 있습니다. 에이전트를 로컬 가상 머신에서 실행하는 macOS 샌드박스가 실질적인 대책이지만, 문서에 따르면 분리되는 것은 데스크톱이지 네트워크나 호스트가 아니며, Linux와 Windows에는 로컬 샌드박스 제공자가 없습니다. 열린 이슈와 풀 리퀘스트가 220건인, 이렇게 빨리 성장한 프로젝트는 계속 바뀔 것입니다. MCP 서버는 나온 지 일주일도 되지 않았습니다.
제 역할을 하는 곳
Windows 전용 화물 앱을 쓰는 30명 규모 물류 회사의 운영 분석가
매일 아침 이메일의 배송 정보를 화물 앱에 옮겨 적기
에이전트가 앱 양식의 스냅샷을 찍고, Windows에서 화면 없이도 동작하는 set-value로 입력란을 채운 뒤 양식을 다시 읽어 확인합니다. 모델 토큰 외에는 무료입니다. 에이전트가 열려 있는 모든 앱에 닿을 수 있으므로 전용 Windows 머신에서 실행하십시오.
macOS 데스크톱 앱 팀의 QA 엔지니어
변경할 때마다 코딩 에이전트가 새 설정 화면을 점검하게 하기
Claude Code에 agent-desktop mcp를 추가하고, 빌드를 실행해 설정을 열고 각 토글을 wait --predicate로 확인하라고 에이전트에게 요청합니다. macOS 가상 머신 샌드박스를 쓰면 테스트가 엔지니어 본인의 데스크톱과 분리됩니다.
웹 콘텐츠가 들어간 Electron 앱을 만드는 개발자
네이티브 메뉴와 웹 뷰를 하나의 에이전트 루프에서 테스트하기
agent-desktop이 메뉴와 창을 조작하고 DevTools 포트를 열면, agent-browser가 페이지 내용을 위해 그 포트에 연결합니다. 둘 다 무료이며, 에이전트의 컨텍스트에 도구 두 개가 올라간다고 보면 됩니다.
도입 전 확인할 점
- 설정
- npm install -g agent-desktop(macOS와 Linux에서는 brew install agent-desktop도 가능)을 실행한 뒤 agent-desktop status를 실행하고, macOS에서는 손쉬운 사용 권한을 위해 agent-desktop permissions --guide를 실행합니다. MCP 클라이언트에는 명령 agent-desktop과 인수 mcp를 추가합니다. 스킬은 npx skills add로 설치합니다.
- 연동
- 모든 명령이 MCP 도구(desktop_snapshot, desktop_click, desktop_session_start 등)이며, 대부분 쓰기 동작입니다. click, type, set-value, drag, launch, close-app, clipboard-set, 알림 조작 등이 있습니다. CLI를 실행할 수 있는 에이전트라면 어디서나 쓸 수 있고, 프로세스 안에서는 C 라이브러리를 씁니다.
- 데이터와 개인정보
- 로컬에서 실행됩니다. MCP 서버는 stdio로 통신하며 포트를 열지 않지만, agent-browser를 위해 사용자가 실행한 Chromium과 Electron 앱에서 DevTools 포트를 엽니다. 스냅샷, 클립보드, 스크린샷에는 사적인 내용이 담길 수 있으며 모델 제공업체로 전송됩니다. 보안 제보는 GitHub 비공개 취약점 신고로 받으며, 공개된 권고는 없습니다.
- 대규모 사용 시 비용
- 무료이며, 비용은 모델 토큰과 호출입니다. 접근성 스냅샷은 이미지가 아닌 텍스트이고 스켈레톤 스냅샷 후 세부 탐색으로 큰 앱도 비용을 줄일 수 있지만, 긴 데스크톱 작업은 여전히 관찰과 조작 호출이 많습니다. 호스팅되는 Vercel Sandbox 가상 머신은 Vercel이 청구합니다.
- 제한
- 데스크톱 앱 전용이며 웹 페이지는 다루지 않습니다. 접근성 트리를 제공하지 않는 앱은 보이지 않습니다. Windows는 미서명 바이너리, 화면 없는 type 불가, 권한 상승된 앱에는 권한 상승된 터미널이 필요합니다. Linux는 Ubuntu 24.04 이상과 실행 중인 AT-SPI 버스가 필요합니다. 로컬 샌드박스는 macOS 전용입니다.
좋은 점
- 스냅샷에 묶인 참조는 잘못 클릭하는 대신 실패함
- macOS, Windows, Linux에서 같은 명령 세트
- 하나의 바이너리로 CLI, MCP 서버, C 라이브러리 제공
- 화면 없이 되는 기능을 플랫폼별로 문서화
- 격리 실행을 위한 로컬 macOS 가상 머신 샌드박스
아쉬운 점
- 계정으로 열 수 있는 모든 앱에서 조작 가능
- 앱별 허용 또는 차단 정책 없음
- Windows 바이너리 미서명, 관리자 권한 앱은 조작 불가
- MCP 모드는 2026년 11월 5일에 나옴
추천 대상
API가 없는 네이티브 데스크톱 앱을 에이전트가 조작해야 하고, 별도 머신이나 macOS 가상 머신 샌드박스에서 실행할 수 있는 개발자에게 적합합니다.
agent-desktop 대안
agent-desktop: 자주 묻는 질문
- agent-desktop, 쓸 만한 가치가 있습니까?
- 에이전트에게 네이티브 데스크톱 앱을 맡기는 잘 만들어지고 널리 쓰이는 방법이며, 각 OS에서 화면 없이 무엇이 되는지 정직하게 문서화했지만, 사용자가 열 수 있는 모든 앱에서 사용자로서 행동할 수 있습니다. 평점은 5점 만점에 4.1점입니다.
- agent-desktop의 가격은 얼마입니까?
- 무료 오픈소스(Apache-2.0)입니다. 모델 호출 비용은 사용자의 제공업체에 냅니다. 호스팅되는 Vercel Sandbox 가상 머신은 Vercel이 청구합니다.
- agent-desktop의 단점은 무엇입니까?
- 계정으로 열 수 있는 모든 앱에서 조작 가능; 앱별 허용 또는 차단 정책 없음; Windows 바이너리 미서명, 관리자 권한 앱은 조작 불가; MCP 모드는 2026년 11월 5일에 나옴.
- agent-desktop에 적합한 사람은 누구입니까?
- API가 없는 네이티브 데스크톱 앱을 에이전트가 조작해야 하고, 별도 머신이나 macOS 가상 머신 샌드박스에서 실행할 수 있는 개발자에게 적합합니다.
- 팀이나 프로덕션 환경에서 agent-desktop의 비용은 얼마입니까?
- 무료이며, 비용은 모델 토큰과 호출입니다. 접근성 스냅샷은 이미지가 아닌 텍스트이고 스켈레톤 스냅샷 후 세부 탐색으로 큰 앱도 비용을 줄일 수 있지만, 긴 데스크톱 작업은 여전히 관찰과 조작 호출이 많습니다. 호스팅되는 Vercel Sandbox 가상 머신은 Vercel이 청구합니다.
- agent-desktop에 회사 데이터를 맡겨도 안전합니까?
- 로컬에서 실행됩니다. MCP 서버는 stdio로 통신하며 포트를 열지 않지만, agent-browser를 위해 사용자가 실행한 Chromium과 Electron 앱에서 DevTools 포트를 엽니다. 스냅샷, 클립보드, 스크린샷에는 사적인 내용이 담길 수 있으며 모델 제공업체로 전송됩니다. 보안 제보는 GitHub 비공개 취약점 신고로 받으며, 공개된 권고는 없습니다.
- agent-desktop의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Munim Computer Use 및 Playwright MCP입니다.
답변 확인일: 2026년 11월 11일.
agent-desktop 개발사입니까? 이 평점을 사이트에 표시하십시오
