Mage-VL-Cowork의 개요
Mage-VL-Cowork는 Microsoft Mage 팀이 만든 파라미터 4-billion(40억)의 컴퓨터 사용 에이전트로, 2026년 10월 30일 Apache 2.0 라이선스와 기술 보고서와 함께 Hugging Face에 공개됐습니다. 스크린샷을 보고 두 경로로 Linux 데스크톱을 조작합니다. 하나는 마우스와 키보드 동작 11가지를 갖춘 computer_use 도구이고, 다른 하나는 지속되는 셸과 Python 환경을 갖춘 bash 도구입니다. 별도 라우터 없이 모델이 턴마다 어느 쪽을 쓸지 정합니다.
Microsoft의 4B 비전-언어 모델 Mage-VL을 기반으로 하며, 이 모델은 사내 Mage-ViT 인코더와 Alibaba의 Qwen3-4B-Instruct-2507을 결합합니다. 학습은 화면 그라운딩부터 GUI 및 코딩 파인튜닝을 거쳐 검증 가능한 과제 1,988개에 대한 온라인 강화학습까지 5단계로 진행됐고, Nvidia B200 GPU 32장을 썼습니다. 학습 데이터의 상당 부분은 도구 세트를 먼저 줄인 GPT-5.4 교사 모델에서 나왔습니다. 접근성 트리 경로를 없애자 Microsoft의 보류 과제에서 4B 학생 모델의 점수가 25.1%에서 37.6%로 올랐습니다.
각 턴은 추론 블록, 한 줄짜리 동작 요약, 도구 호출을 반환합니다. 에이전트는 가장 최근 스크린샷 3장만 유지하고 이전 단계는 한 줄 요약으로 접어 32,768토큰 창 안에 머뭅니다. Microsoft의 GitHub 저장소는 Mage 모델이 연구 목적으로만 공개된다고 밝힙니다.
Mage-VL-Cowork, 쓸 만한 가치가 있습니까?
Mage-VL-Cowork는 클릭뿐 아니라 코드 작성도 허용하면 4B 모델도 본격적인 데스크톱 작업을 할 수 있음을 보여 줍니다. OSWorld-Verified에서 과제 361개를 50단계 예산으로 두 번 돌린 평균이 66.0%로, Muse Glimmer-30B의 보고치 65.9%, Qwen3.6-27B의 63.9%, 브라우저 중심의 Fara1.5-4B의 13.9%보다 높습니다. 사람 기준치는 72.4%입니다. 운영체제 과제에서 87.5%로 가장 강하고, 여러 애플리케이션을 오가는 워크플로에서 62.7%로 가장 약합니다.
이 비교는 신중하게 봐야 합니다. Microsoft는 자사 모델을 직접 돌렸고, 경쟁 모델 수치 대부분은 단계 예산이 다른 각 보고서에서 옮겨 왔으며, 이 모델은 공식 OSWorld 순위표에 없습니다. 크기가 약 두 배인 ScaleCUA-Qwen3.5-9B는 68.7%로 더 높고, GPT-5.5(78.7%)와 Claude Opus 4.7(78.0%) 같은 최상위 모델은 여전히 크게 앞섭니다.
효율을 만드는 것은 하이브리드 경로입니다. Microsoft의 LibreOffice Calc 시연에서 이 모델은 Python으로 워크북을 편집해 셀 병합, 차트 추가, 파일 저장을 6단계, 39초 만에 끝냈습니다. GUI만 쓰는 Qwen3.6-27B는 39단계, 9분 56초가 걸렸습니다. 강화학습 뒤에는 과제당 평균 모델 호출 18.77회, 출력 토큰 5,499개를 썼고, GPT-5.4-mini는 12,397토큰이었습니다. 웹 과제에서는 우위가 덜합니다. 이전 체크포인트는 WebVoyager-Static에서 58.6%로, 브라우저 전용 Fara1.5-4B의 68.0%보다 낮았습니다.
점수보다 중요한 것은 사용 조건입니다. Apache 2.0은 상업적 이용을 허용하지만, Microsoft 저장소는 이 모델이 제품이나 서비스 배포를 위한 것이 아니라고 밝힙니다. 모델 카드는 에이전트가 임의의 셸 명령을 실행하므로 일회용 샌드박스를 써야 한다고 강조합니다. 직접 실행하는 SGLang 예제는 모든 네트워크 인터페이스에서 수신하기도 합니다. 테스트는 영어 Ubuntu 데스크톱만 다뤘고, 유일한 양자화 빌드는 커뮤니티 작업물로 기본 llama.cpp에서는 아직 불러올 수 없습니다.
제 역할을 하는 곳
데스크톱 에이전트를 만드는 대학 연구실의 응용 연구자
OSWorld에서 소형 컴퓨터 사용 에이전트를 재현하고 확장
Microsoft GitHub 저장소에 포함된 MAGEHybridAgent와 OSWorld 하네스를 공개된 설정으로 씁니다. 50단계, 스크린샷 3장 유지, 1920x1080 해상도, temperature 0.7입니다. 전체 학습 레시피는 문서화돼 있지만, 과제 생성기, 학습 코드, 데이터는 공개되지 않았습니다.
Linux 백오피스 장비를 쓰는 300명 규모 금융 회사의 자동화 엔지니어
스프레드시트와 보고서를 갱신하는 에이전트 프로토타입 제작
모델 카드의 권고대로 자격 증명이나 내부 네트워크에 접근할 수 없는, 스냅샷으로 되돌리는 VM에서 실행하고, 셸의 Python으로 .xlsx와 .pptx 파일을 편집하게 합니다. Microsoft의 연구 전용 방침 때문에 프로덕션 도입 전에는 법무 검토가 필요합니다.
16 GB 노트북 GPU로 로컬 에이전트를 시험하는 개발자
클라우드 API 없이 데스크톱 에이전트 실행
공식 BF16 가중치는 9.48 GB이고, 커뮤니티 Q4_K_M GGUF는 2.716 GB에 비전 프로젝터 0.353 GB가 더해집니다. 이 빌드는 포크한 llama.cpp가 필요합니다. 기본 llama.cpp, Ollama, LM Studio는 프로젝터를 불러올 수 없기 때문입니다.
도입 전 확인할 점
- 설정
- Microsoft가 문서화한 Docker 이미지(SGLang 0.5.2, PyTorch 2.8.0, Transformers 5.7.0)를 받아 가중치를 마운트하거나, trust_remote_code, 32,768토큰 컨텍스트, SGLANG_MAX_PIXELS=4000000으로 SGLang을 실행합니다. 모델 카드의 하이브리드 시스템 프롬프트를 그대로 씁니다.
- 연동
- base64 스크린샷을 받는 SGLang 네이티브 /generate 엔드포인트, 포함된 llava_onevision2 모델 코드를 쓰는 Transformers, OSWorld용 MAGEHybridAgent 하네스. 표준 Qwen3-VL 클래스와 바로 호환되지 않습니다.
- 데이터와 개인정보
- 자체 호스팅 전용입니다. Apache 2.0이지만 Microsoft의 Responsible AI 안내는 연구 전용이라고 밝히며, 학습 데이터는 공개, 라이선스, 내부 출처에서 왔습니다. 모델 카드는 격리된 샌드박스, 자격 증명 마운트 금지, 프롬프트 인젝션에 대비한 네트워크 허용 목록을 요구합니다.
- 대규모 사용 시 비용
- BF16 가중치는 9.48 GB이고, ModelFit 계산 하나는 32K 토큰 전체 캐 시를 약 4.8 GB로 봅니다. 따라서 24 GB GPU 한 장에 둘 다 들어갑니다. Microsoft는 최소 하드웨어를 공개하지 않습니다. 테스트에서 과제당 평균 모델 호출 18.77회, 출력 토큰 5,499개였습니다.
- 제한
- 스크린샷 3장을 포함한 32,768토큰 작업 창이며, ModelFit 추정으로 1920x1080에서 장당 약 2,000토큰입니다. 턴당 최대 15회 도구 호출. Linux와 영어만 지원. 직접 실행하는 SGLang 예제는 0.0.0.0에 바인딩하고, Docker 예제는 127.0.0.1에 바인딩합니다.
좋은 점
- 4B로 OSWorld-Verified 66.0%, Qwen3.6-27B보다 높음(자체 보고)
- 턴마다 GUI 동작과 bash 셸 중에서 선택
- RL 뒤 과제당 모델 호출 18.77회, 출력 토큰 5,499개
- 상세한 학습 레시피와 OSWorld 하네스를 갖춘 Apache 2.0 가중치
아쉬운 점
- Microsoft는 제품 배포가 아닌 연구용이라고 밝힘
- 영어 Ubuntu 데스크톱에서만 테스트됨
- OSWorld에서 ScaleCUA-Qwen3.5-9B와 최상위 모델에 뒤처짐
- 임의의 셸 명령을 실행하므로 샌드박스와 신중한 네트워크 설정이 필요
추천 대상
일회용 샌드박스에서 돌릴 수 있는 조건으로, Linux에서 소형 컴퓨터 사용 에이전트를 연구하는 연구자와 에이전트 플랫폼 팀.
Mage-VL-Cowork 대안
Mage-VL-Cowork: 자주 묻는 질문
- Mage-VL-Cowork, 쓸 만한 가치가 있습니까?
- Mage-VL-Cowork는 터미널을 쓸 수 있게 해서 4B 모델을 최고 수준의 오픈 데스크톱 에이전트와 몇 점 차이까지 끌어올립니다. 다만 Microsoft는 연구 전용으로 규정하고, 테스트한 환경은 Linux뿐입니다. 평점은 5점 만점에 3.9점입니다.
- Mage-VL-Cowork의 가격은 얼마입니까?
- Apache 2.0으로 무료이지만, Microsoft 저장소는 Mage 모델이 연구용이며 제품이나 서비스 배포를 위한 것이 아니라고 밝힙니다. 호스팅 API 없음.
- Mage-VL-Cowork의 단점은 무엇입니까?
- Microsoft는 제품 배포가 아닌 연구용이라고 밝힘; 영어 Ubuntu 데스크톱에서만 테스트됨; OSWorld에서 ScaleCUA-Qwen3.5-9B와 최상위 모델에 뒤처짐; 임의의 셸 명령을 실행하므로 샌드박스와 신중한 네트워크 설정이 필요.
- Mage-VL-Cowork에 적합한 사람은 누구입니까?
- 일회용 샌드박스에서 돌릴 수 있는 조건으로, Linux에서 소형 컴퓨터 사용 에이전트를 연구하는 연구자와 에이전트 플랫폼 팀.
- 팀이나 프로덕션 환경에서 Mage-VL-Cowork의 비용은 얼마입니까?
- BF16 가중치는 9.48 GB이고, ModelFit 계산 하나는 32K 토큰 전체 캐시를 약 4.8 GB로 봅니다. 따라서 24 GB GPU 한 장에 둘 다 들어갑니다. Microsoft는 최소 하드웨어를 공개하지 않습니다. 테스트에서 과제당 평균 모델 호출 18.77회, 출력 토큰 5,499개였습니다.
- Mage-VL-Cowork에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅 전용입니다. Apache 2.0이지만 Microsoft의 Responsible AI 안내는 연구 전용이라고 밝히며, 학습 데이터는 공개, 라이선스, 내부 출처에서 왔습니다. 모델 카드는 격리된 샌드박스, 자격 증명 마운트 금지, 프롬프트 인젝션에 대비한 네트워크 허용 목록을 요구합니다.
- Mage-VL-Cowork의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Muse Glimmer, Qwen3.8-27B, MiniCPM-V 4.7 (35B-A3B and 1B) 및 Nemotron 3.5 Super VL입니다.
답변 확인일: 2026년 11월 2일.