컴퓨터 사용
컴퓨터 사용(computer use)은 AI 모델이 스크린숏을 보고 마우스 클릭과 키 입력을 보내 사람처럼 컴퓨터를 조작하는 능력으로, API가 없는 소프트웨어도 다룰 수 있게 합니다.
다른 이름: computer-use agent, CUA
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
대부분의 에이전트는 자신을 위해 만든 API 와 도구를 통해 행동합니다. 하지만 많은 프로그램에는 그래픽 인터페이스만 있습니다. 컴퓨터 사용은 모델이 그런 프로그램을 직접 다루게 합니다.
작동 방식
애플리케이션은 모델에게 컴퓨터 도구와 화면을 줍니다. 보통 가상 머신이나 컨테이너입니다. 모델은 특정 지점 클릭, 텍스트 입력, 키 누르기 같은 동작을 요청합니다. 애플리케이션이 이를 실행하고 새 스크린숏을 돌려줍니다. 모델은 결과를 보고 다음 동작을 정합니다. 화면이 피드백 역할을 한다는 점만 다를 뿐, 다른 도구 사용과 같은 에이전트 루프입니다. 인터페이스를 읽을 수 있는 비전 언어 모델에 의존합니다.
브라우저 에이전트와 다른 점
브라우저 에이전트는 웹 브라우저만 제어하며, 픽셀보다 페이지 구조를 통해 제어하는 경우가 많습니다. 컴퓨터 사용은 어떤 데스크톱 앱이든 조작할 수 있지만, 더 느리고 덜 정확합니다.
예시
에이전트가 스프레드시트를 보고 오래된 데스크톱 회계 프로그램에 내용을 입력합니다. 사무원이 거치는 것과 같은 화면을 클릭해 나갑니다.
위험과 한계
컴퓨터 사용은 느리고 낯선 화면에서 실수를 합니다. 프롬프트 인젝션에도 노출됩니다. 웹 페이지나 이미지 속 텍스트가 사용자의 지시를 덮어쓸 수 있습니다. Anthropic은 권한을 최소 화한 전용 가상 머신이나 컨테이너에서 실행하고 민감한 데이터와 떨어뜨려 두라고 권합니다. OSWorld 같은 벤치마크가 모델의 성능을 측정합니다.
관련 용어
- 브라우저 에이전트
- 브라우저 에이전트(browser agent)는 웹 브라우저를 제어해 검색, 클릭, 양식 작성, 페이지 읽기 같은 작업을 처리하는 AI 에이전트로, 보이는 창 없이 헤드리스 브라우저로 실행되는 경우가 많습니다.
- AI 에이전트
- AI 에이전트(AI agent)는 언어 모델이 다음 단계를 스스로 정하는 시스템입니다. 고정된 스크립트를 따르는 대신 도구를 호출하고, 결과를 읽고, 작업이 끝날 때까지 이를 반복합니다.
- OSWorld
- OSWorld는 컴퓨터 사용 에이전트를 위한 벤치마크로, Ubuntu, Windows, macOS 같은 실제 운영체제를 실행하고 웹 및 데스크톱 앱에 걸친 369개의 열린 과제로 에이전트를 채점하며, 결과는 스크립트로 확인합니다.
- 비전 언어 모델(Vision-language model)
- 비전 언어 모델(vision-language model, VLM)은 이미지와 텍스트를 입력으로 받아 텍스트를 내놓는 모델로, 그림을 설명하고, 그림에 관한 질문에 답하고, 문서를 읽고, 스크린샷에서 데이터를 추출할 수 있습니다.
- 프롬프트 인젝션(Prompt injection)
- 프롬프트 인젝션(prompt injection)은 사용자가 입력하거나 웹 페이지, 파일, 도구 결과에 숨겨진 텍스트가 언어 모델에 들어가, 개발자가 의도하지 않은 방식으로 모델의 동작을 바꾸는 공격입니다.