O que é BrowserGym?
O BrowserGym empacota um navegador Chromium controlado pelo Playwright como ambiente Gymnasium, a interface de reset e step que o código de aprendizado por reforço já fala. A cada passo, entrega ao agente o DOM da página, sua árvore de acessibilidade, uma captura de tela, as abas abertas e um histórico de chat, e recebe uma ação escrita como uma chamada de função curta, como clicar em um elemento pelo id, preencher um campo ou voltar. Os conjuntos de ações podem ser restritos por benchmark, e uma tarefa é só uma classe Python, então novos benchmarks se conectam herdando de uma classe base.
O projeto é Python com licença Apache 2.0 da ServiceNow Research, com cerca de 1.400 estrelas no GitHub e um artigo na Transactions on Machine Learning Research (2025). Dez benchmarks vêm integrados: MiniWoB, WebArena, WebArenaVerified, VisualWebArena, WorkArena, AssistantBench, WebLINX, OpenApps, TimeWarp e Knows. A última versão no PyPI, a 0.14.3, é de janeiro de 2026, mas o branch principal está ativo: o Knows, um benchmark de Google Workspace, chegou em outubro de 2026, e em 28 de outubro veio uma correção para resets do WebArena pulados em silêncio. O AgentLab, um repositório complementar, roda agentes nesses benchmarks em paralelo e alimenta um ranking compartilhado.
BrowserGym vale a pena?
A principal contribuição do BrowserGym é o consenso. Antes, cada benchmark web trazia seu próprio harness de navegador, formato de observação e sintaxe de ações, então comparar um agente entre WebArena e MiniWoB exigia escrever o código de integração duas vezes. O BrowserGym coloca todos atrás de uma única interface Gymnasium, e por isso virou a base padrão: o pypistats conta cerca de 447.000 downloads do browsergym-core no último mês, a maioria vinda de pipelines de avaliação, e não de usuários individuais.
O desenho da observação é sensato. Os agentes recebem a árvore de acessibilidade com ids de elementos, além do DOM bruto e de uma captura, de modo que um modelo só de texto e um modelo de visão podem rodar a mesma tarefa. As ações são chamadas de alto nível sobre esses ids, com cliques por coordenadas para agentes de visão, e cada benchmark pode declarar quais ações permite.
O porém: a biblioteca é a parte fácil. O WebArena precisa dos seus sites de loja, fórum, GitLab, mapas e Wikipedia hospedados por você, com uma URL por site em variáveis de ambiente, e seu avaliador de correspondência aproximada chama um modelo da OpenAI, o que aumenta a conta. O WorkArena precisa de instâncias ServiceNow obtidas por um formulário restrito no Hugging Face, e o Knows precisa de uma conta de serviço do Google Cloud. O próprio README avisa que é software de pesquisa, não um produto de consumo. O PyPI também está atrás do repositório desde janeiro, então correções recentes exigem instalação a partir do código-fonte, e a tarefa aberta aponta um navegador real, sob controle do agente, para sites reais.
Nossa opinião: se você está construindo um agente de navegador e quer números em que outros acreditem, passe-os pelo BrowserGym. Só planeje a infraestrutura de avaliação com o mesmo cuidado que o agente.
Onde ele se destaca
Um pesquisador de ML treinando um agente web
Publicar resultados no WebArena e no MiniWoB que os revisores aceitem
Instalar o browsergym e o Chromium do Playwright, subir os sites do WebArena com os scripts fornecidos e percorrer com reset e step os ids de tarefas registrados. O AgentLab pode rodar as tarefas em paralelo e registrar traces.
Uma equipe de automação corporativa avaliando agentes para fluxos do ServiceNow
Medir com que frequência um agente conclui formulários, listas e pedidos de catálogo na interface real
Pedir acesso às instâncias do WorkArena e rodar os conjuntos de tarefas atômicas e compostas pelo BrowserGym. Os resultados mostram onde os agentes falham antes que um piloto toque a produção.
Uma autora de benchmarks
Publicar uma nova suíte de tarefas web sem escrever um harness de navegador
Herdar de AbstractBrowserTask com a lógica de preparação e validação e registrar as tarefas como ambientes Gymnasium; agentes feitos para outros benchmarks do BrowserGym rodam nela sem mudanças.
Antes de decidir
- Configuração
- `pip install browsergym` e depois `playwright install chromium`; a tarefa aberta roda em minutos, enquanto WebArena, VisualWebArena e WorkArena precisam antes de configuração própria de servidor ou de conta.
- Integrações
- Gymnasium, Playwright, AgentLab, o ranking do BrowserGym no Hugging Face e o DoomArena para injetar ataques em páginas; o agente de demonstração usa modelos da OpenAI.
- Dados e privacidade
- Roda localmente; o conteúdo das páginas vai para o modelo que seu agente chamar. Os sites do benchmark são hospedados por você ou rodam em contas que você controla. Licença Apache 2.0.
- Custo em escala
- Software gratuito; os custos são servidores para os sites hospedados, chamadas ao modelo do agente e, no WebArena, chamadas à OpenAI para a avaliação por correspondência aproximada. Os totais não são publicados.
- Limites
- Cada benchmark tem sua própria configuração; o WebArena precisa de resets completos periódicos dos sites; a última versão do PyPI, 0.14.3, está atrás do branch principal; cerca de 26 issues e 29 pull requests abertos na última verifica ção.
O que é bom
- Uma única API Gymnasium para dez benchmarks de agentes web
- Árvore de acessibilidade, DOM e capturas em toda observação
- Novos benchmarks precisam só de uma subclasse
- Mantido pela ServiceNow Research, com AgentLab e ranking compartilhado
O que não é
- WebArena e WorkArena exigem configuração de servidores pesada e separada
- A avaliação do WebArena chama um modelo pago da OpenAI
- A versão do PyPI está atrás do branch principal desde janeiro de 2026
- Ferramenta de pesquisa; não está reforçada para navegação em produção
Ideal para
Pesquisadores e equipes de agentes que precisam de pontuações reproduzíveis e comparáveis para agentes de navegador nos benchmarks web de referência.
Alternativas ao BrowserGym
BrowserGym: perguntas frequentes
- BrowserGym vale a pena?
- O BrowserGym é o encanamento sobre o qual roda hoje a maior parte da pesquisa em agentes web; adote-o pela interface comum e reserve um dia para os servidores de cada benchmark. Damos nota 4.2 de 5.
- Quanto custa BrowserGym?
- Gratuito e open source (Apache 2.0); você paga pelas chamadas ao modelo e pela hospedagem dos sites do benchmark.
- Quais são as desvantagens de BrowserGym?
- WebArena e WorkArena exigem configuração de servidores pesada e separada; a avaliação do WebArena chama um modelo pago da OpenAI; a versão do PyPI está atrás do branch principal desde janeiro de 2026; ferramenta de pesquisa; não está reforçada para navegação em produção.
- Para quem BrowserGym é indicado?
- Pesquisadores e equipes de agentes que precisam de pontuações reproduzíveis e comparáveis para agentes de navegador nos benchmarks web de referência.
- Quanto custa BrowserGym para uma equipe ou em produção?
- Software gratuito; os custos são servidores para os sites hospedados, chamadas ao modelo do agente e, no WebArena, chamadas à OpenAI para a avaliação por correspondência aproximada. Os totais não são publicados.
- BrowserGym é seguro para dados da empresa?
- Roda localmente; o conteúdo das páginas vai para o modelo que seu agente chamar. Os sites do benchmark são hospedados por você ou rodam em contas que você controla. Licença Apache 2.0.
- Quais são as melhores alternativas ao BrowserGym?
- As alternativas mais próximas que analisamos são Browser Use, Stagehand e Inspect.
Respostas verificadas em 13 de nov. de 2026.
Você faz o BrowserGym? Mostre esta nota no seu site
