본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

OSWorld

OSWorld는 컴퓨터 사용 에이전트를 위한 벤치마크로, Ubuntu, Windows, macOS 같은 실제 운영체제를 실행하고 웹 및 데스크톱 앱에 걸친 369개의 열린 과제로 에이전트를 채점하며, 결과는 스크립트로 확인합니다.

다른 이름: OSWorld-Verified

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

컴퓨터 사용 에이전트는 사람처럼 컴퓨터를 조작합니다. 화면을 보고, 마우스를 움직이고, 클릭하고, 타이핑합니다. 2024년에 발표된 OSWorld는 단순화한 모형이 아니라 실제 가상 머신에서 이런 에이전트를 시험합니다.

작동 방식

벤치마크에는 실제 사용에서 가져온 369개 과제가 있습니다. 웹 및 데스크톱 앱, 파일 처리, 여러 애플리케이션에 걸친 워크플로가 포함됩니다. 과제마다 컴퓨터를 알려진 시작 상태로 만드는 설정 구성과, 최종 결과를 확인하는 맞춤 스크립트가 있습니다. 채점은 컴퓨터에서 실제로 바뀐 것을 보기 때문에, 에이전트는 올바른 단계를 설명하는 것만으로는 통과할 수 없고 실제로 해내야 합니다.

결과가 보여 준 것

공개 당시 사람은 과제의 72.36% 이상을 완료한 반면 최고 모델은 12.24%에 그쳤습니다. 저자들은 에이전트가 GUI 그라운딩, 즉 화면에서 어떤 요소를 조작할지 알아내는 일과 애플리케이션 작동 방식을 아는 일에서 가장 어려움을 겪었다고 밝혔습니다. 공개 당시 수치는 금방 낡으니 현재 리더보드를 확인하십시오.

점수 활용법

OSWorld 결과는 모델과 에이전트 구성 방식, 즉 에이전트가 보는 스크린샷, 가진 도구, 허용된 단계 수에 달려 있습니다. 같은 조건끼리 비교하십시오. 웹 페이지 안에서만 작동하는 에이전트는 브라우저 에이전트를 참고하십시오. 많은 컴퓨터 사용 에이전트가 비전 언어 모델 위에 만들어지므로, OSWorld는 시각적 이해도 시험합니다. 이런 AI 에이전트는 실제 시스템에 작용하므로 격리된 환경에서 실행하십시오.

관련 용어

컴퓨터 사용
컴퓨터 사용(computer use)은 AI 모델이 스크린숏을 보고 마우스 클릭과 키 입력을 보내 사람처럼 컴퓨터를 조작하는 능력으로, API가 없는 소프트웨어도 다룰 수 있게 합니다.
브라우저 에이전트
브라우저 에이전트(browser agent)는 웹 브라우저를 제어해 검색, 클릭, 양식 작성, 페이지 읽기 같은 작업을 처리하는 AI 에이전트로, 보이는 창 없이 헤드리스 브라우저로 실행되는 경우가 많습니다.
AI 벤치마크
AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
비전 언어 모델(Vision-language model)
비전 언어 모델(vision-language model, VLM)은 이미지와 텍스트를 입력으로 받아 텍스트를 내놓는 모델로, 그림을 설명하고, 그림에 관한 질문에 답하고, 문서를 읽고, 스크린샷에서 데이터를 추출할 수 있습니다.
AI 에이전트
AI 에이전트(AI agent)는 언어 모델이 다음 단계를 스스로 정하는 시스템입니다. 고정된 스크립트를 따르는 대신 도구를 호출하고, 결과를 읽고, 작업이 끝날 때까지 이를 반복합니다.

출처