BrowserGym의 개요
BrowserGym은 Playwright로 구동하는 Chromium 브라우저를 Gymnasium 환경으로 감쌉니다. 강화학습 코드가 이미 쓰는 reset과 step 인터페이스입니다. 매 단계마다 에이전트에게 페 이지의 DOM, 접근성 트리, 스크린샷, 열린 탭, 채팅 기록을 넘기고, id로 요소 클릭하기, 필드 채우기, 뒤로 가기 같은 짧은 함수 호출 형태의 액션을 돌려받습니다. 액션 세트는 벤치마크별로 제한할 수 있고, 작업은 Python 클래스일 뿐이어서 새 벤치마크는 기본 클래스 하나를 상속하면 연결됩니다.
이 프로젝트는 ServiceNow Research의 Apache 2.0 라이선스 Python 프로젝트로, GitHub 스타는 약 1,400개이며 Transactions on Machine Learning Research(2025)에 논문이 실렸습니다. MiniWoB, WebArena, WebArenaVerified, VisualWebArena, WorkArena, AssistantBench, WebLINX, OpenApps, TimeWarp, Knows의 10개 벤치마크가 연결되어 있습니다. 마지막 PyPI 릴리스 0.14.3은 2026년 1월에 나왔지만 메인 브랜치는 활발합니다. Google Workspace 벤치마크인 Knows가 2026년 10월에 추가되었고, 10월 28일에는 WebArena 리셋이 조용히 건너뛰어지던 문제가 수정되었습니다. 동반 저장소인 AgentLab은 이 벤치마크들에서 에이전트를 병렬로 실행하고 공유 리더보드에 결과를 보냅니다.
BrowserGym, 쓸 만한 가치가 있습니까?
BrowserGym의 가장 큰 기여는 합의입니다. 이전에는 웹 벤치마크마다 자체 브라우저 하네스, 관측 형식, 액션 문법이 있어서 WebArena와 MiniWoB에서 에이전트를 비교하려면 연결 코드를 두 번 써야 했습니다. BrowserGym은 이들을 하나의 Gymnasium 인터페이스 뒤에 모았고, 그래서 기본 토대가 되었습니다. pypistats 집계로 지난 한 달 browsergym-core 다운로드는 약 447,000건이며, 대부분 개인 사용자가 아니라 평가 파이프라인에서 나온 것입니다.
관측 설계는 합리적입니다. 에이전트는 원시 DOM과 스크린샷 외에 요소 id가 붙은 접근성 트리를 받으므로, 텍스트 전용 모델과 비전 모델 이 같은 작업을 실행할 수 있습니다. 액션은 그 id에 대한 고수준 호출이며, 비전 에이전트를 위한 좌표 클릭도 있고, 각 벤치마크는 허용할 액션을 선언할 수 있습니다.
주의할 점: 라이브러리는 쉬운 부분입니다. WebArena는 쇼핑, 포럼, GitLab, 지도, Wikipedia 사이트를 직접 호스팅하고 사이트별 URL을 환경 변수로 지정해야 하며, 퍼지 매칭 채점기가 OpenAI 모델을 호출해 비용이 늘어납니다. WorkArena는 Hugging Face의 제한된 신청서로 받는 ServiceNow 인스턴스가, Knows는 Google Cloud 서비스 계정이 필요합니다. README 스스로 이것이 소비자용 제품이 아닌 연구용 소프트웨어라고 경고합니다. 또한 PyPI가 1월 이후 저장소보다 뒤처져 있어 최근 수정 사항은 소스에서 설치해야 하고, 개방형 작업은 에이전트가 조종하는 실제 브라우저를 실제 웹사이트로 보냅니다.
결론: 브라우저 에이전트를 만들면서 다른 사람이 믿을 수치를 원한다면 BrowserGym을 거치십시오. 다만 평가 인프라도 에이전트만큼 신중하게 계획해야 합니다.
제 역할을 하는 곳
웹 에이전트를 훈련하는 ML 연구자
심사자가 받아들일 WebArena와 MiniWoB 결과 보고하기
browsergym과 Playwright의 Chromium을 설치하고 제공된 설정 스크립트로 WebArena 사이트를 띄운 뒤 등록된 작업 id에 대해 reset과 step을 반복합니다. AgentLab으로 작업을 병렬 실행하고 트레이스를 기록할 수 있습니다.
ServiceNow 워크플로용 에이전트를 평가하는 기업 자동화 팀
실제 화면에서 에이전트가 양식, 목록, 카탈로그 주문을 얼마나 자주 완료하는지 측정하기
WorkArena 인스턴스 접근을 신청하고 단일 작업과 복합 작업 세트를 BrowserGym으로 실행합니다. 파일럿이 운영 환경에 닿기 전에 에이전트가 어디서 실패하는지 드러납니다.
벤치마크 작성자
브라우저 하네스를 쓰지 않고 새 웹 작업 스위트 공개하기
준비와 검증 로직을 담은 AbstractBrowserTask 서브클래스를 만들고 작업을 Gymnasium 환경으로 등록합니다. 다른 BrowserGym 벤치마크용 에이전트가 그대로 실행됩니다.
도입 전 확인할 점
- 설정
- `pip install browsergym` 후 `playwright install chromium`. 개방형 작업은 몇 분이면 돌아가지만 WebArena, VisualWebArena, WorkArena는 각각 서버나 계정 설정이 먼저 필요합니다.
- 연동
- Gymnasium, Playwright, AgentLab, Hugging Face의 BrowserGym 리더보드, 페이지에 공격을 주입하는 DoomArena. 데모 에이전트는 OpenAI 모델을 씁니다.
- 데이터와 개인정보
- 로컬에서 실행됩니다. 페이지 내용은 에이전트가 호출하는 모델로 전송됩니다. 벤치마크 사이트는 직접 호스팅하거나 직접 관리하는 계정에서 실행됩니다. Apache 2.0 라이선스.
- 대규모 사용 시 비용
- 소프트웨어는 무료입니다. 비용은 자체 호스팅 사이트용 서버, 에이전트의 모델 호출, 그리고 WebArena에서는 퍼지 매칭 채점을 위한 OpenAI 호출입니다. 총액은 공개되지 않았습니다.
- 제한
- 벤치마크마다 설정이 다름. WebArena는 사이트의 주기적인 전체 리셋이 필요. 최신 PyPI 릴리스 0.14.3은 메인 브랜치보다 뒤처짐. 마지막 확인 시 열린 이슈 약 26개, 풀 리퀘스트 약 29개.
좋은 점
- 웹 에이전트 벤치마크 10개를 하나의 Gymnasium API로 다룸
- 모든 관측에 접근성 트리, DOM, 스크린샷 포함
- 새 벤치마크는 서브클래스 하나면 충분
- ServiceNow Research가 뒷받침하며 AgentLab과 공유 리더보드 제공
아쉬운 점
- WebArena와 WorkArena는 무겁고 별도의 서버 구축이 필요
- WebArena 채점은 유료 OpenAI 모델을 호출
- PyPI 릴리스가 2026년 1월부터 메인 브랜치보다 뒤처짐
- 연구용 도구로, 실서비스 브라우징용으로 강화되지 않음
추천 대상
표준 웹 벤치마크에서 브라우저 에이전트의 재현 가능하고 비교 가능한 점수가 필요한 연구자와 에이전트 팀.
BrowserGym 대안
BrowserGym: 자주 묻는 질문
- BrowserGym, 쓸 만한 가치가 있습니까?
- BrowserGym은 오늘날 웹 에이전트 연구 대부분이 올라가 있는 배관이니, 공통 인터페이스를 위해 도입하고 벤치마크마다 서버 준비에 하루를 잡아 두십시오. 평점은 5점 만점에 4.2점입니다.
- BrowserGym의 가격은 얼마입니까?
- 무료 오픈 소스(Apache 2.0)입니다. 모델 호출과 벤치마크 사이트 호스팅 비용은 직접 부담합니다.
- BrowserGym의 단점은 무엇입니까?
- WebArena와 WorkArena는 무겁고 별도의 서버 구축이 필요; WebArena 채점은 유료 OpenAI 모델을 호출; PyPI 릴리스가 2026년 1월부터 메인 브랜치보다 뒤처짐; 연구용 도구로, 실서비스 브라우징용으로 강화되지 않음.
- BrowserGym에 적합한 사람은 누구입니까?
- 표준 웹 벤치마크에서 브라우저 에이전트의 재현 가능하고 비교 가능한 점수가 필요한 연구자와 에이전트 팀.
- 팀이나 프로덕션 환경에서 BrowserGym의 비용은 얼마입니까?
- 소프트웨어는 무료입니다. 비용은 자체 호스팅 사이트용 서버, 에이전트의 모델 호출, 그리고 WebArena에서는 퍼지 매칭 채점을 위한 OpenAI 호출입니다. 총액은 공개되지 않았습니다.
- BrowserGym에 회사 데이터를 맡겨도 안전합니까?
- 로컬에서 실행됩니다. 페이지 내용은 에이전트가 호출하는 모델로 전송됩니다. 벤치마크 사이트는 직접 호스팅하거나 직접 관리하는 계정에서 실행됩니다. Apache 2.0 라이선스.
- BrowserGym의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Browser Use, Stagehand 및 Inspect입니다.
답변 확인일: 2026년 11월 13일.
BrowserGym 개발사입니까? 이 평점을 사이트에 표시하십시오
