BrowserGymとは？
BrowserGym は、Playwright で操作する Chromium ブラウザーを Gymnasium 環境として包みます。強化学習のコードがすでに使っている reset と step のインターフェースです。各ステップでエージェントにページの DOM、アクセシビリティツリー、スクリーンショット、開いているタブ、チャット履歴を渡し、要素を id でクリックする、フィールドに入力する、戻るといった短い関数呼び出しとして書かれたアクションを受け取ります。アクションセットはベンチマークごとに制限でき、タスクは Python のクラスにすぎないため、新しいベンチマークは基底クラスを 1 つ継承するだけで組み込めます。
このプロジェクトは ServiceNow Research による Apache 2.0 ライセンスの Python で、GitHub のスターは約 1,400、論文は Transactions on Machine Learning Research（2025）に掲載されています。組み込まれているベンチマークは MiniWoB、WebArena、WebArenaVerified、VisualWebArena、WorkArena、AssistantBench、WebLINX、OpenApps、TimeWarp、Knows の 10 種類です。PyPI の最新リリース 0.14.3 は 2026 年 1 月のものですが、メインブランチは活発です。Google Workspace のベンチマーク Knows が 2026 年 10 月に加わり、10 月 28 日には WebArena のリセットが黙って飛ばされる不具合が修正されました。関連リポジトリの AgentLab は、これらのベンチマークでエージェントを並列に実行し、共有リーダーボードに結果を送ります。
BrowserGymは使う価値があるか？
BrowserGym の最大の貢献は合意です。以前は各ウェブベンチマークが独自のブラウザーハーネ ス、観測形式、アクション構文を持っていたため、WebArena と MiniWoB でエージェントを比べるには接続コードを 2 回書く必要がありました。BrowserGym はそれらを 1 つの Gymnasium インターフェースの裏にまとめ、だからこそ標準の土台になりました。pypistats によると直近 1 か月の browsergym-core のダウンロードは約 447,000 件で、その多くは個人ではなく評価パイプラインからのものです。
観測の設計は理にかなっています。エージェントは生の DOM とスクリーンショットに加え、要素 id 付きのアクセシビリティツリーを受け取るため、テキストのみのモデルとビジョンモデルが同じタスクを実行できます。アクションはその id に対する高水準の呼び出しで、ビジョンエージェント向けに座標クリックも使え、各ベンチマークは許可するアクションを宣言できます。
注意点：ライブラリは簡単な部分です。WebArena はショップ、フォーラム、GitLab、地図、Wikipedia のサイトを自前でホストし、サイトごとの URL を環境変数に設定する必要があり、あいまい一致の採点器は OpenAI のモデルを呼ぶため請求が増えます。WorkArena には Hugging Face の制限付きフォームで入手する ServiceNow インスタンスが、Knows には Google Cloud のサービスアカウントが必要です。README 自体が、これは消費者向け製品ではなく研究用ソフトウェアだと警告しています。さらに PyPI は 1 月以来リポジトリに遅れており、最近の修正にはソースからのインストールが必要です。また、オープンエンドのタスクでは本物のブラウザーがエージェントの操作で本物のウェブサイトにアクセスします。
結論：ブラウザーエージェントを作っていて、他人が信じ る数字が欲しいなら、BrowserGym を通すべきです。ただし評価インフラはエージェントと同じくらい丁寧に計画してください。
真価を発揮する場面
ウェブエージェントを訓練する ML 研究者
査読者が受け入れる WebArena と MiniWoB の結果を報告したい
browsergym と Playwright の Chromium をインストールし、提供されたセットアップスクリプトで WebArena のサイトを立ち上げ、登録済みのタスク id に対して reset と step を繰り返します。AgentLab を使えばタスクを並列に実行してトレースを記録できます。
ServiceNow のワークフロー向けにエージェントを評価する企業の自動化チーム
実際の画面でフォーム、リスト、カタログ注文をエージェントがどれだけ完了できるか測りたい
WorkArena のインスタンスへのアクセスを申請し、単純タスクと複合タスクのセットを BrowserGym で実行します。パイロットが本番に触れる前に、エージェントがどこで失敗するかがわかります。
ベンチマークの作者
ブラウザーハーネスを書かずに新しいウェブタスクのスイートを 公開したい
準備と検証のロジックを持つ AbstractBrowserTask のサブクラスを作り、タスクを Gymnasium 環境として登録します。他の BrowserGym ベンチマーク向けのエージェントがそのまま動きます。
導入前に確認すること
- 導入
- `pip install browsergym` の後に `playwright install chromium`。オープンエンドのタスクは数分で動きますが、WebArena、VisualWebArena、WorkArena はそれぞれ事前にサーバーやアカウントの準備が必要です。
- 連携
- Gymnasium、Playwright、AgentLab、Hugging Face 上の BrowserGym リーダーボード、ページに攻撃を注入する DoomArena。デモエージェントは OpenAI のモデルを使います。
- データとプライバシー
- ローカルで動きます。ページの内容はエージェントが呼ぶモデルに送られます。ベンチマーク用サイトは自前でホストするか、自分が管理するアカウント上で動きます。Apache 2.0 ライセンス。
- 大規模利用時のコスト
- ソフトウェアは無料です。費用は自前ホストのサイト用サーバー、エージェントのモデル呼び出し、WebArena ではあいまい一致採点のための OpenAI 呼び出し です。総額は公開されていません。
- 制限
- ベンチマークごとにセットアップが異なります。WebArena はサイトの定期的な完全リセットが必要です。PyPI の最新リリース 0.14.3 はメインブランチに遅れています。最終確認時点で未解決の issue が約 26 件、プルリクエストが約 29 件。
良い点
- 10 のウェブエージェント用ベンチマークを 1 つの Gymnasium API で扱える
- すべての観測にアクセシビリティツリー、DOM、スクリーンショットが含まれる
- 新しいベンチマークはサブクラス 1 つで済む
- ServiceNow Research が支え、AgentLab と共有リーダーボードがある
気になる点
- WebArena と WorkArena は重い別途のサーバー準備が必要
- WebArena の採点は有料の OpenAI モデルを呼ぶ
- PyPI のリリースが 2026 年 1 月からメインブランチに遅れている
- 研究用ツールで、本番のブラウジング向けには堅牢化されていない
おすすめの人
標準的なウェブベンチマークで、ブラウザーエージェントの再現可能で比較できるスコアを必要とする研究者とエージェント開発チーム。
BrowserGymの代替
BrowserGym：よくある質問
- BrowserGymは使う価値があるか？
- BrowserGym は今のウェブエージェント研究の大半が乗っている配管です。共通インターフェースのために採用し、ベンチマークごとにサーバー準備の 1 日を見込んでください。 評価は5点満点中4.2点です。
- BrowserGymの料金は？
- 無料のオープンソース（Apache 2.0）です。モデル呼び出しとベンチマーク用サイトのホスティング費用は自己負担です。
- BrowserGymの欠点は？
- WebArena と WorkArena は重い別途のサーバー準備が必要; WebArena の採点は有料の OpenAI モデルを呼ぶ; PyPI のリリースが 2026 年 1 月からメインブランチに遅れている; 研究用ツールで、本番のブラウジング向けには堅牢化されていない.
- BrowserGymは誰に向いているか？
- 標準的なウェブベンチマークで、ブラウザーエージェントの再現可能で比較できるスコアを必要とする研究者とエージェント開発チーム。
- チームや本番環境でBrowserGymを使うと費用はいくらか？
- ソフトウェアは無料です。費用は自前ホストのサイト用サーバー、エージェントのモデル呼び出 し、WebArena ではあいまい一致採点のための OpenAI 呼び出しです。総額は公開されていません。
- BrowserGymは企業データを扱っても安全か？
- ローカルで動きます。ページの内容はエージェントが呼ぶモデルに送られます。ベンチマーク用サイトは自前でホストするか、自分が管理するアカウント上で動きます。Apache 2.0 ライセンス。
- BrowserGymの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はBrowser Use, Stagehand 、 Inspectです。
回答確認日：2026年11月13日
BrowserGymの開発元の方へ：この評価をサイトに掲載できます
