Qu’est-ce que BrowserGym ?
BrowserGym enveloppe un navigateur Chromium piloté par Playwright dans un environnement Gymnasium, l'interface reset et step que le code d'apprentissage par renforcement parle déjà. À chaque étape, il fournit à l'agent le DOM de la page, son arbre d'accessibilité, une capture d'écran, les onglets ouverts et un historique de chat, et reçoit une action écrite sous forme de court appel de fonction, comme cliquer sur un élément par son id, remplir un champ ou revenir en arrière. Les jeux d'actions peuvent être restreints par benchmark, et une tâche n'est qu'une classe Python : les nouveaux benchmarks se branchent en héritant d'une classe de base.
Le projet est du Python sous licence Apache 2.0 publié par ServiceNow Research, avec environ 1 400 étoiles sur GitHub et un article dans Transactions on Machine Learning Research (2025). Dix benchmarks sont intégrés : MiniWoB, WebArena, WebArenaVerified, VisualWebArena, WorkArena, AssistantBench, WebLINX, OpenApps, TimeWarp et Knows. La dernière version PyPI, la 0.14.3, date de janvier 2026, mais la branche principale reste active : Knows, un benchmark Google Workspace, est arrivé en octobre 2026, suivi le 28 octobre d'un correctif pour des réinitialisations WebArena sautées en silence. AgentLab, un dépôt compagnon, exécute des agents sur ces benchmarks en parallèle et alimente un classement commun.
BrowserGym vaut-il le coup ?
La principale contribution de BrowserGym est l'accord. Auparavant, chaque benchmark web livrait son propre harnais de navigateur, son format d'observation et sa syntaxe d'actions, si bien que comparer un agent entre WebArena et MiniWoB obligeait à écrire deux fois le code de liaison. BrowserGym les place derrière une seule interface Gymnasium, et c'est pourquoi il est devenu le socle par défaut : pypistats compte environ 447 000 téléchargements de browsergym-core le mois dernier, surtout depuis des pipelines d'évaluation plutôt que par des utilisateurs isolés.
La conception des observations est judicieuse. Les agents reçoivent l'arbre d'accessibilité avec des ids d'éléments en plus du DOM brut et d'une capture, de sorte qu'un modèle texte seul et un modèle de vision peuvent traiter la même tâche. Les actions sont des appels de haut niveau sur ces ids, avec des clics par coordonnées pour les agents de vision, et chaque benchmark peut déclarer les actions qu'il autorise.
Le hic : la bibliothèque est la partie facile. WebArena exige d'auto-héberger ses sites de boutique, de forum, GitLab, de cartes et Wikipédia, avec une URL par site dans des variables d'environnement, et son évaluateur à correspondance approximative appelle un modèle OpenAI, ce qui alourdit la facture. WorkArena demande des instances ServiceNow obtenues via un formulaire Hugging Face à accès restreint, et Knows un compte de service Google Cloud. Le README avertit lui-même qu'il s'agit d'un logiciel de recherche, pas d'un produit grand public. PyPI accuse en outre un retard sur le dépôt depuis janvier, donc les correctifs récents imposent une installation depuis les sources, et la tâche ouverte lâche un vrai navigateur, contrôlé par l'agent, sur de vrais sites.
Notre avis : si vous construisez un agent de navigateur et voulez des chiffres que d'autres croiront, faites-les passer par BrowserGym. Prévoyez seulement l'infrastructure d'évaluation avec autant de soin que l'agent.
Là où il fait la différence
Un chercheur en ML qui entraîne un agent web
Publier sur WebArena et MiniWoB des résultats que les relecteurs accepteront
Installer browsergym et le Chromium de Playwright, monter les sites WebArena avec les scripts fournis, puis boucler reset et step sur les ids de tâches enregistrés. AgentLab peut exécuter les tâches en parallèle et journaliser les traces.
Une équipe d'automatisation en entreprise qui évalue des agents pour des flux ServiceNow
Mesurer la fréquence à laquelle un agent remplit formulaires, listes et commandes de catalogue dans la vraie interface
Demander l'accès aux instances WorkArena, puis lancer les jeux de tâches atomiques et composées via BrowserGym. Les résultats montrent où les agents échouent avant qu'un pilote ne touche la production.
Une autrice de benchmark
Publier une nouvelle suite de tâches web sans écrire de harnais de navigateur
Hériter d'AbstractBrowserTask avec la logique de préparation et de validation, puis enregistrer les tâches comme environnements Gymnasium ; les agents conçus pour d'autres benchmarks BrowserGym y tournent sans modification.
Avant de vous engager
- Mise en route
- `pip install browsergym` puis `playwright install chromium` ; la tâche ouverte tourne en quelques minutes, tandis que WebArena, VisualWebArena et WorkArena demandent d'abord chacun leur propre configuration de serveur ou de compte.
- Intégrations
- Gymnasium, Playwright, AgentLab, le classement BrowserGym sur Hugging Face et DoomArena pour injecter des attaques dans les pages ; l'agent de démonstration utilise des modèles OpenAI.
- Données et confidentialité
- S'exécute en local ; le contenu des pages part vers le modèle qu'appelle votre agent. Les sites du benchmark sont auto-hébergés ou tournent sur des comptes que vous contrôlez. Licence Apache 2.0.
- Coût à grande échelle
- Logiciel gratuit ; les coûts sont les serveurs des sites auto-hébergés, les appels au modèle de l'agent et, sur WebArena, les appels OpenAI de l'évaluation par correspondance approximative. Les totaux ne sont pas publiés.
- Limites
- Chaque benchmark a sa propre configuration ; WebArena exige des réinitialisations complètes périodiques de ses sites ; la dernière version PyPI, 0.14.3, est en retard sur la branche principale ; environ 26 issues et 29 pull requests ouvertes au dernier contrôle.
Les points forts
- Une seule API Gymnasium pour dix benchmarks d'agents web
- Arbre d'accessibilité, DOM et captures dans chaque observation
- Un nouveau benchmark ne demande qu'une sous-classe
- Porté par ServiceNow Research, avec AgentLab et un classement commun
Les points faibles
- WebArena et WorkArena exigent une installation de serveurs lourde et séparée
- L'évaluation WebArena appelle un modèle OpenAI payant
- La version PyPI est en retard sur la branche principale depuis janvier 2026
- Outil de recherche, non durci pour une navigation en production
Idéal pour
Les chercheurs et équipes d'agents qui ont besoin de scores reproductibles et comparables pour des agents de navigateur sur les benchmarks web de référence.
Alternatives à BrowserGym
BrowserGym : questions fréquentes
- BrowserGym vaut-il le coup ?
- BrowserGym est la tuyauterie sur laquelle tourne d ésormais l'essentiel de la recherche sur les agents web ; adoptez-le pour l'interface commune et prévoyez une journée pour les serveurs de chaque benchmark. Nous lui donnons 4.2 sur 5.
- Combien coûte BrowserGym ?
- Gratuit et open source (Apache 2.0) ; vous payez les appels au modèle et l'hébergement des sites du benchmark.
- Quels sont les inconvénients de BrowserGym ?
- WebArena et WorkArena exigent une installation de serveurs lourde et séparée; l'évaluation WebArena appelle un modèle OpenAI payant; la version PyPI est en retard sur la branche principale depuis janvier 2026; outil de recherche, non durci pour une navigation en production.
- À qui s’adresse BrowserGym ?
- Les chercheurs et équipes d'agents qui ont besoin de scores reproductibles et comparables pour des agents de navigateur sur les benchmarks web de référence.
- Combien coûte BrowserGym pour une équipe ou en production ?
- Logiciel gratuit ; les coûts sont les serveurs des sites auto-hébergés, les appels au modèle de l'agent et, sur WebArena, les appels OpenAI de l'évaluation par correspondance approximative. Les totaux ne sont pas publiés.
- BrowserGym est-il sûr pour les données de l’entreprise ?
- S'exécute en local ; le contenu des pages part vers le modèle qu'appelle votre agent. Les sites du benchmark sont auto-hébergés ou tournent sur des comptes que vous contrôlez. Licence Apache 2.0.
- Quelles sont les meilleures alternatives à BrowserGym ?
- Les alternatives les plus proches que nous avons testées sont Browser Use, Stagehand et Inspect.
Réponses vérifiées le 13 nov. 2026.
Vous éditez BrowserGym ? Affichez cette note sur votre site
