¿Qué es BrowserGym?
BrowserGym envuelve un navegador Chromium controlado por Playwright como entorno de Gymnasium, la interfaz de reset y step que ya habla el código de aprendizaje por refuerzo. En cada paso entrega al agente el DOM de la página, su árbol de accesibilidad, una captura de pantalla, las pestañas abiertas y el historial de chat, y recibe una acción escrita como una breve llamada a función, como hacer clic en un elemento por su id, rellenar un campo o volver atrás. Los conjuntos de acciones se pueden restringir por benchmark, y una tarea es solo una clase de Python, así que los benchmarks nuevos se conectan heredando de una clase base.
El proyecto es Python con licencia Apache 2.0 de ServiceNow Research, con unas 1.400 estrellas en GitHub y un artículo en Transactions on Machine Learning Research (2025). Trae diez benchmarks integrados: MiniWoB, WebArena, WebArenaVerified, VisualWebArena, WorkArena, AssistantBench, WebLINX, OpenApps, TimeWarp y Knows. La última versión en PyPI, la 0.14.3, es de enero de 2026, pero la rama principal está activa: Knows, un benchmark de Google Workspace, llegó en octubre de 2026, y el 28 de octubre se corrigió un fallo que saltaba en silencio los reinicios de WebArena. AgentLab, un repositorio complementario, ejecuta agentes en estos benchmarks en paralelo y alimenta una clasificación compartida.
¿Merece la pena BrowserGym?
La principal aportación de BrowserGym es el acuerdo. Antes, cada benchmark web traía su propio arnés de navegador, su formato de observación y su sintaxis de acciones, así que comparar un agente entre WebArena y MiniWoB obligaba a escribir el código de unión dos veces. BrowserGym los pone tras una única interfaz de Gymnasium, y por eso se ha convertido en la base por defecto: pypistats cuenta unas 447.000 descargas de browsergym-core en el último mes, la mayoría desde pipelines de evaluación más que de usuarios individuales.
El diseño de la observación es sensato. Los agentes reciben el árbol de accesibilidad con ids de elementos además del DOM en bruto y una captura, de modo que un modelo solo de texto y un modelo de visión pueden ejecutar la misma tarea. Las acciones son llamadas de alto nivel sobre esos ids, con clics por coordenadas disponibles para agentes de visión, y cada benchmark puede declarar qué acciones permite.
La pega: la biblioteca es la parte fácil. WebArena necesita sus sitios de tienda, foro, GitLab, mapas y Wikipedia autoalojados, con una URL por sitio en variables de entorno, y su evaluador de coincidencia aproximada llama a un modelo de OpenAI, lo que engorda la factura. WorkArena necesita instancias de ServiceNow que se obtienen con un formulario restringido en Hugging Face, y Knows necesita una cuenta de servicio de Google Cloud. El propio README avisa de que es software de investigación, no un producto de consumo. PyPI además va por detrás del repositorio desde enero, así que las correcciones recientes exigen instalar desde el código fuente, y la tarea abierta pone un navegador real frente a sitios web reales bajo el control del agente.
Nuestra opinión: si estás creando un agente de navegador y quieres cifras que otros crean, pásalas por BrowserGym. Eso sí, planifica la infraestructura de evaluación con tanto cuidado como el agente.
Dónde se gana su sitio
Un investigador de ML que entrena un agente web
Publicar resultados en WebArena y MiniWoB que acepten los revisores
Instalar browsergym y el Chromium de Playwright, levantar los sitios de WebArena con los scripts de configuración y recorrer con reset y step los ids de tareas registrados. AgentLab puede ejecutar las tareas en paralelo y guardar trazas.
Un equipo de automatización empresarial que evalúa agentes para flujos de ServiceNow
Medir con qué frecuencia un agente completa formularios, listas y pedidos de catálogo en la interfaz real
Solicitar acceso a las instancias de WorkArena y ejecutar los conjuntos de tareas atómicas y compuestas con BrowserGym. Los resultados muestran dónde fallan los agentes antes de que un piloto toque producción.
Una autora de benchmarks
Publicar una nueva suite de tareas web sin escribir un arnés de navegador
Heredar de AbstractBrowserTask con la lógica de preparación y validación y registrar las tareas como entornos de Gymnasium; los agentes creados para otros benchmarks de BrowserGym funcionan en ella sin cambios.
Antes de decidirte
- Puesta en marcha
- `pip install browsergym` y después `playwright install chromium`; la tarea abierta funciona en minutos, mientras que WebArena, VisualWebArena y WorkArena necesitan antes su propia configuración de servidor o de cuenta.
- Integraciones
- Gymnasium, Playwright, AgentLab, la clasificación de BrowserGym en Hugging Face y DoomArena para inyectar ataques en páginas; el agente de demostración usa modelos de OpenAI.
- Datos y privacidad
- Se ejecuta en local; el contenido de las páginas va al modelo que llame tu agente. Los sitios del benchmark se autoalojan o corren en cuentas que controlas. Licencia Apache 2.0.
- Coste a escala
- Software gratuito; los costes son los servidores de los sitios autoalojados, las llamadas al modelo del agente y, en WebArena, las llamadas a OpenAI para la evaluación por coincidencia aproximada. Los totales no están publicados.
- Límites
- Cada benchmark tiene su propia configuración; WebArena necesita reinicios completos periódicos de sus sitios; la última versión de PyPI, la 0.14.3, va por detrás de la rama principal; unas 26 issues y 29 pull requests abiertas en la última revisión.
Lo bueno
- Una sola API de Gymnasium para diez benchmarks de agentes web
- Árbol de accesibilidad, DOM y capturas en cada observación
- Los benchmarks nuevos solo necesitan una subclase
- Respaldado por ServiceNow Research, con AgentLab y una clasificación compartida
Lo malo
- WebArena y WorkArena exigen una configuración de servidores pesada y aparte
- La evaluación de WebArena llama a un modelo de pago de OpenAI
- La versión de PyPI va por detrás de la rama principal desde enero de 2026
- Herramienta de investigación; no está reforzada para navegación en producción
Ideal para
Investigadores y equipos de agentes que necesitan puntuaciones reproducibles y comparables para agentes de navegador en los benchmarks web habituales.
Alternativas a BrowserGym
BrowserGym: preguntas frecuentes
- ¿Merece la pena BrowserGym?
- BrowserGym es la fontanería sobre la que corre hoy casi toda la investigación en agentes web; adóptalo por la interfaz común y reserva un día para los servidores de cada benchmark. Le damos un 4.2 sobre 5.
- ¿Cuánto cuesta BrowserGym?
- Gratuito y de código abierto (Apache 2.0); pagas las llamadas al modelo y el alojamiento de los sitios del benchmark.
- ¿Qué inconvenientes tiene BrowserGym?
- WebArena y WorkArena exigen una configuración de servidores pesada y aparte; la evaluación de WebArena llama a un modelo de pago de OpenAI; la versión de PyPI va por detrás de la rama principal desde enero de 2026; herramienta de investigación; no está reforzada para navegación en producción.
- ¿Para quién es BrowserGym?
- Investigadores y equipos de agentes que necesitan puntuaciones reproducibles y comparables para agentes de navegador en los benchmarks web habituales.
- ¿Cuánto cuesta BrowserGym para un equipo o en producción?
- Software gratuito; los costes son los servidores de los sitios autoalojados, las llamadas al modelo del agente y, en WebArena, las llamadas a OpenAI para la evaluación por coincidencia aproximada. Los totales no están publicados.
- ¿Es BrowserGym seguro para los datos de la empresa?
- Se ejecuta en local; el contenido de las páginas va al modelo que llame tu agente. Los sitios del benchmark se autoalojan o corren en cuentas que controlas. Licencia Apache 2.0.
- ¿Cuáles son las mejores alternativas a BrowserGym?
- Las alternativas más cercanas que hemos analizado son Browser Use, Stagehand y Inspect.
Respuestas comprobadas el 13 nov 2026.
¿Desarrollas BrowserGym? Muestra esta nota en tu web
