UFO의 개요
UFO는 Microsoft Research가 만든 오픈 소스 에이전트 프레임워크로, Windows 애플리케이션을 대신 조작합니다. 일상 언어로 요청하면 스크린샷을 찍고 Windows UI Automation 트리를 읽은 뒤, Office, Edge, 파일 탐색기 등 내 컴퓨터의 실제 프로그램에서 클릭하고 입력하고 앱 API를 호출합니다. 샌드박스가 아니며, 실행 중인 데스크톱 자체에서 동작합니다.
저장소는 두 계층으로 이뤄져 있습니다. UFO²(2025년 4월)는 Windows 에이전트 자체로, 현재 장기 지원 단계입니다. UFO³ Galaxy(2025년 11월)는 작업을 단계의 그래프로 나눠 WebSocket 프로토콜을 통해 Windows, Linux, Android 기기의 에이전트에 배분합니다. Microsoft는 이를 활발히 개발 중인 단계로 분류하며, 실험과 중요하지 않은 작업에 적합하다고 밝힙니다.
Windows 10 이상, Python 3.10 이상, 그리고 모델 제공업체의 API 키가 필요합니다. 지원 대상은 OpenAI, Azure OpenAI, Claude, Gemini, Qwen, DeepSeek 또는 Ollama를 통한 로컬 모델입니다. 코드는 MIT 라이선스이고 GitHub 스타는 약 10,200개이며, v3.0.10은 2026년 9월 22일에 공개되었습니다.
UFO, 쓸 만한 가치가 있습니까?
스크린샷만 쓰는 에이전트에 비해 UFO가 가진 강점은 Windows 자체를 읽는다는 점입니다. UFO²는 UI Automation 접근성 트리와 Win32 및 COM 호출을 비전과 결합해, 픽셀 위치를 추측하는 대신 이름으로 버튼을 누르거나 Office API를 호출할 수 있습니다. Microsoft 논문에서는 이 덕분에 결과가 확연히 좋아졌습니다. o1을 사용했을 때 Windows Agent Arena 작업의 30.5%, OSWorld-W의 32.7%를 완료해 OpenAI Operator의 20.8%와 14.3%를 앞섰으며, 모든 에이전트는 30단계로 제한되었습니다.
그래도 실패율은 약 70%이고, 에이전트는 지금 쓰고 있는 데스크톱에서 동작합니다. 포인터를 움직이고, 문서와 이메일에 입력하며, 화면 스크린샷을 설정한 모델 제공업체로 보냅니다. Microsoft의 면책 고지는 민감한 정보를 화면에 띄우지 말고 통제된 환경에서 실행하라고 요구합니다. 기본으로 켜져 있는 SAFE_GUARD 설정은 모델이 민감하다고 표시한 작업 전에 확인을 요청하지만, 같은 문서는 이 장치가 모델의 표시에 의존하며 샌드박스가 아니라고 인정합니다. 전용 Windows 가상 머신에서 쓰는 것이 합리적입니다.
보안 작업은 꾸준하며 지켜볼 가치가 있습니다. 2026년 8월과 9월의 v3.0.8과 v3.0.9는 Microsoft 보 안 대응 센터에 보고된 여러 문제를 고쳤으며, 여기에는 Galaxy 웹 UI를 통한 서버 측 요청 위조도 포함됩니다. 9월 29일에는 민감한 작업이 확인 장치보다 먼저 실행되지 않도록 하는 수정이 들어갔습니다. 이 수정은 v3.0.10보다 1주일 늦게 나와, 최신 태그 릴리스에는 포함되어 있지 않습니다.
비용이 또 다른 대가입니다. 각 단계는 스크린샷이 첨부된 모델 호출입니다. 추측 기반 멀티 액션 기능은 예측한 단계를 묶어 README에 따르면 LLM 호출을 최대 51% 줄입니다. Galaxy는 기기 간 계획을 더하지만 더 새롭고 설정이 까다롭습니다. 브라우저만으로 되는 작업이라면 browser-use가 더 가볍고 격리하기 쉽습니다. UFO는 API가 없는 Windows 데스크톱 소프트웨어 안에 작업이 있을 때 제 역할을 합니다.
제 역할을 하는 곳
오래된 Windows 보험금 청구 소프트웨어를 쓰는 보험사의 RPA 개발자
API가 없는 데이터 입력 작업의 자동화를 시제품으로 만들어 보고 싶다
SAFE_GUARD를 켠 전용 Windows VM에서 UFO²를 실행하고, 녹화한 시연을 검색용 지식 베이스에 추가한 뒤, 작업을 끝까지 완료하는 빈도를 측정합니다. 벤치마크 성공률이 30% 안팎이므로, 운영 데이터에 손대기 전에 매번 사람이 확인하도록 계획하세요.
컴퓨터 사용 에이전트를 연구하는 연구 그룹
같은 Windows 작업에서 모델을 비교하고 싶다
agents.yaml에서 모델을 GPT-4o, Claude, Gemini 또는 Ollama 로컬 모델로 바꿔 가며 Microsoft가 문서화한 Windows Agent Arena 연동을 실행합니다. 논문의 30단계 제한과 모델별 표가 비교할 수 있는 공개 기준선이 됩니다.
Windows 노트북과 Linux 서버를 쓰는 직원 300명 규모 기업의 IT 팀
서버에서 로그를 가져와 요약을 Office 문서에 쓰는 흐름을 시험하고 싶다
Galaxy가 요청을 그래프로 나눠 Linux 단계는 Linux 기기 에이전트로, Office 단계는 Windows의 UFO²로 보냅니다. Microsoft는 Galaxy를 실험과 중요하지 않은 업무에 적합하다고 보므로 파일럿 단계에 머무르세요.
도입 전 확인할 점
- 설정
- Windows 10 이상, Python 3.10 이상 환경에서 pip install -r requirements.txt를 실행하고 config/ufo/agents.yaml.template을 복사해 API 키를 넣은 뒤 python -m ufo --task <name>으로 시작합니다. Galaxy는 여기에 devices.yaml과 각 기기에서 실행되는 서버와 클라이언트가 더 필요합니다.
- 연동
- OpenAI, Azure OpenAI, Claude, Gemini, Qwen, DeepSeek, Ollama, OpenAI Operator 모델. 기기 에이전트 도구용 MCP 서버, Bing 검색, 문서와 시연을 대상으로 한 검색. 평가용 Windows Agent Arena와 OSWorld.
- 데이터와 개인정보
- 데스크톱과 활성 애플리케이션의 스크린샷이 단계마다 설정한 모델 제공업체로 전송됩니다. Microsoft는 이를 수집하지 않는다고 하지만, 제공업체의 약관이 적용됩니다. API 키는 config/ufo/agents.yaml에 저장됩니다. 에이전트가 실제 마우스와 키보드를 조작하므로 전용 VM이나 계정에서 실행하세요. SAFE_GUARD 확인은 모델이 민감한 작업을 표시하는 데 의존합니다.
- 대규모 사용 시 비용
- MIT로 무료이며, 비용은 모델 API 사용료로 단계마다 한 번 이상의 비전 호출이 발생합니다. README에 따르면 멀티 액션 묶음 처리로 호출을 최대 51% 줄일 수 있습니다. Microsoft는 작업당 비용을 공개하지 않습니다.
- 제한
- 공개된 최고 성공률은 Windows Agent Arena 30.5%, OSWorld-W 32.7%입니다. UFO²는 Windows 전용이고 Galaxy는 활발히 개발 중입니다. 2026년 9월 29일의 확인 장치 수정은 v3.0.10보다 새것입니다.
좋은 점
- 스크린샷만이 아니라 Windows UI Automation, Win32, COM을 사용
- o1으로 Windows Agent Arena 30.5%를 기록해 Operator의 20.8%를 앞섬
- OpenAI, Azure OpenAI, Claude, Gemini, Qwen, DeepSeek, Ollama와 호환
- MIT 라이선스이며 2026년 내내 보안 수정이 이어짐
아쉬운 점
- 실제 앱에서 클릭하고 입력하며 샌드박스가 없음
- 데스크톱 스크린샷을 모델 제공업체로 보냄
- 최상의 경우에도 벤치마크 작업의 약 70%에 실패
- UFO²는 Windows 전용이고 Galaxy는 아직 활발히 개발 중
추천 대상
Windows 중심 조직에서 API가 없는 데스크톱 소프트웨어용 에이전트를 테스트 가상 머신 안에서 시제품으로 만들어 보려는 자동화 엔지니어.
UFO 대안
UFO: 자주 묻는 질문
- UFO, 쓸 만한 가치가 있습니까?
- UFO는 Windows와의 깊은 통합이 데스크톱 에이전트를 어디까지 끌어올릴 수 있는지 보여 주지만, 실제 마우스와 키보드를 움직이면서도 여전히 벤치마크 작업 대부분에 실패합니다. 평점은 5점 만점에 3.5점입니다.
- UFO의 가격은 얼마입니까?
- MIT 라이선스의 무료 오픈 소스입니다. 각 단계의 비용은 모델 제공업체에 지불합니다.
- UFO의 단점은 무엇입니까?
- 실제 앱에서 클릭하고 입력하며 샌드박스가 없음; 데스크톱 스크린샷을 모델 제공업체로 보냄; 최상의 경우에도 벤치마크 작업의 약 70%에 실패; UFO²는 Windows 전용이고 Galaxy는 아직 활발히 개발 중.
- UFO에 적합한 사람은 누구입니까?
- Windows 중심 조직에서 API가 없는 데스크톱 소프트웨어용 에이전트를 테스트 가상 머신 안에서 시제품으로 만들어 보려는 자동화 엔지니어.
- 팀이나 프로덕션 환경에서 UFO의 비용은 얼마입니까?
- MIT로 무료이며, 비용은 모델 API 사용료로 단계마다 한 번 이상의 비전 호출이 발생합니다. README에 따르면 멀티 액션 묶음 처리로 호출을 최대 51% 줄일 수 있습니다. Microsoft는 작업당 비용을 공개하지 않습니다.
- UFO에 회사 데이터를 맡겨도 안전합니까?
- 데스크톱과 활성 애플리케이션의 스크린샷이 단계마다 설정한 모델 제공업체로 전송됩니다. Microsoft는 이를 수집하지 않는다고 하지만, 제공업체의 약관이 적용됩니다. API 키는 config/ufo/agents.yaml에 저장됩니다. 에이전트가 실제 마우스와 키보드를 조작하므로 전용 VM이나 계정에서 실행하세요. SAFE_GUARD 확인은 모델이 민감한 작업을 표시하는 데 의존합니다.
- UFO의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Browser Use, CLI-Anything, Magentic-UI (MagenticLite) 및 Agent Zero입니다.
답변 확인일: 2026년 11월 14일.