Was ist BrowserGym?
BrowserGym verpackt einen von Playwright gesteuerten Chromium-Browser als Gymnasium-Umgebung, also als die Reset-und-Step-Schnittstelle, die Code für Reinforcement Learning ohnehin spricht. Bei jedem Schritt erhält der Agent das DOM der Seite, ihren Accessibility-Baum, einen Screenshot, die offenen Tabs und einen Chatverlauf und gibt eine Aktion als kurzen Funktionsaufruf zurück, etwa ein Element per id anklicken, ein Feld ausfüllen oder zurückgehen. Aktionssets lassen sich pro Benchmark einschränken, und eine Aufgabe ist nur eine Python-Klasse, neue Benchmarks werden also durch Ableiten von einer Basisklasse eingebunden.
Das Projekt ist Apache-2.0-lizenziertes Python von ServiceNow Research mit rund 1.400 GitHub-Sternen und einem Paper in Transactions on Machine Learning Research (2025). Zehn Benchmarks sind angebunden: MiniWoB, WebArena, WebArenaVerified, VisualWebArena, WorkArena, AssistantBench, WebLINX, OpenApps, TimeWarp und Knows. Das letzte PyPI-Release, 0.14.3, stammt vom Januar 2026, doch der Hauptzweig ist aktiv: Knows, ein Google-Workspace-Benchmark, kam im Oktober 2026 hinzu, und am 28. Oktober folgte ein Fix für still übersprungene WebArena-Resets. AgentLab, ein Begleit-Repo, lässt Agenten parallel über diese Benchmarks laufen und speist eine gemeinsame Rangliste.
Lohnt sich BrowserGym?
BrowserGyms wichtigster Beitrag ist Einigung. Vorher brachte jeder Web-Benchmark sein eigenes Browser-Gerüst, Beobachtungsformat und seine eigene Aktionssyntax mit, sodass man für einen Vergleich zwischen WebArena und MiniWoB den Verbindungscode zweimal schreiben musste. BrowserGym stellt sie hinter eine Gymnasium-Schnittstelle, und deshalb ist es zur Standardbasis geworden: pypistats zählt rund 447.000 Downloads von browsergym-core im letzten Monat, die meisten aus Evaluations-Pipelines statt von einzelnen Nutzern.
Das Beobachtungsdesign ist durchdacht. Agenten bekommen neben dem rohen DOM und einem Screenshot den Accessibility-Baum mit Element-ids, sodass ein reines Textmodell und ein Vision-Modell dieselbe Aufgabe bearbeiten können. Aktionen sind High-Level-Aufrufe auf diese ids, Koordinaten-Klicks stehen für Vision-Agenten bereit, und jeder Benchmark kann festlegen, welche Aktionen erlaubt sind.
Der Haken: Die Bibliothek ist der einfache Teil. WebArena braucht seine Shop-, Forum-, GitLab-, Karten- und Wikipedia-Seiten selbst gehostet, mit einer URL pro Seite in Umgebungsvariablen, und sein Fuzzy-Match-Bewerter ruft ein OpenAI-Modell auf, was die Rechnung erhöht. WorkArena braucht ServiceNow-Instanzen, die man über ein zugangsbeschränktes Hugging-Face-Formular erhält, und Knows ein Google-Cloud-Dienstkonto. Das README warnt selbst, dass dies Forschungssoftware und kein Verbraucherprodukt ist. PyPI hinkt dem Repo zudem seit Januar hinterher, neuere Fixes erfordern also eine Installation aus dem Quellcode, und die offene Aufgabe richtet einen echten Browser unter Kontrolle des Agenten auf echte Websites.
Unser Fazit: Wer einen Browser-Agenten baut und Zahlen will, die andere glauben, schickt sie durch BrowserGym. Die Evaluationsinfrastruktur verdient dabei so viel Planung wie der Agent selbst.
Wo es sich lohnt
Ein ML-Forscher, der einen Web-Agenten trainiert
Ergebnisse auf WebArena und MiniWoB berichten, die Gutachter akzeptieren
browsergym und Playwrights Chromium installieren, die WebArena-Seiten mit den bereitgestellten Setup-Skripten aufsetzen und dann reset und step über die registrierten Aufgaben-ids laufen lassen. AgentLab kann die Aufgaben parallel ausführen und Traces protokollieren.
Ein Automatisierungsteam im Unternehmen, das Agenten für ServiceNow-Abläufe bewertet
Messen, wie oft ein Agent Formulare, Listen und Katalogbestellungen in der echten Oberfläche erledigt
Zugang zu WorkArena-Instanzen beantragen und die atomaren und zusammengesetzten Aufgabensets über BrowserGym laufen lassen. Die Ergebnisse zeigen, wo Agenten scheitern, bevor ein Pilot die Produktion berührt.
Eine Benchmark-Autorin
Eine neue Web-Aufgaben-Suite veröffentlichen, ohne ein Browser-Gerüst zu schreiben
Von AbstractBrowserTask mit Setup- und Validierungslogik ableiten und die Aufgaben als Gymnasium-Umgebungen registrieren; Agenten für andere BrowserGym-Benchmarks laufen darauf unverändert.
Bevor du dich festlegst
- Einrichtung
- `pip install browsergym`, dann `playwright install chromium`; die offene Aufgabe läuft in Minuten, während WebArena, VisualWebArena und WorkArena vorher jeweils eigene Server- oder Konto-Einrichtung brauchen.
- Integrationen
- Gymnasium, Playwright, AgentLab, die BrowserGym-Rangliste auf Hugging Face und DoomArena zum Einschleusen von Angriffen in Seiten; der Demo-Agent nutzt OpenAI-Modelle.
- Daten und Datenschutz
- Läuft lokal; Seiteninhalte gehen an das Modell, das dein Agent aufruft. Benchmark-Seiten werden selbst gehostet oder laufen auf Konten, die du kontrollierst. Apache-2.0-Lizenz.
- Kosten im großen Maßstab
- Freie Software; Kosten entstehen für Server der selbst gehosteten Seiten, Modellaufrufe des Agenten und bei WebArena für OpenAI-Aufrufe der Fuzzy-Match-Bewertung. Gesamtsummen sind nicht veröffentlicht.
- Grenzen
- Jeder Benchmark hat sein eigenes Setup; WebArena braucht regelmäßige vollständige Resets seiner Seiten; das neueste PyPI-Release 0.14.3 liegt hinter dem Hauptzweig; bei der letzten Prüfung rund 26 offene Issues und 29 offene Pull Requests.
Was gut ist
- Eine Gymnasium-API über zehn Web-Agenten-Benchmarks
- Accessibility-Baum, DOM und Screenshots in jeder Beobachtung
- Neue Benchmarks brauchen nur eine Unterklasse
- Getragen von ServiceNow Research, mit AgentLab und gemeinsamer Rangliste
Was nicht
- WebArena und WorkArena verlangen aufwendige, separate Server
- WebArena-Bewertung ruft ein kostenpflichtiges OpenAI-Modell auf
- PyPI-Release hinkt dem Hauptzweig seit Januar 2026 hinterher
- Forschungswerkzeug; nicht für produktives Browsen gehärtet
Am besten für
Forscher und Agenten-Teams, die reproduzierbare, vergleichbare Werte für Browser-Agenten über die gängigen Web-Benchmarks brauchen.
Alternativen zu BrowserGym
BrowserGym: häufige Fragen
- Lohnt sich BrowserGym?
- BrowserGym ist die Infrastruktur, auf der heute die meiste Forschung zu Web-Agenten läuft; nimm es wegen der gemeinsamen Schnittstelle und plane pro Benchmark einen Tag für die Server ein. Wir bewerten es mit 4.2 von 5.
- Was kostet BrowserGym?
- Kostenlos und Open Source (Apache 2.0); du zahlst für Modellaufrufe und das Hosting der Benchmark-Websites.
- Welche Nachteile hat BrowserGym?
- WebArena und WorkArena verlangen aufwendige, separate Server; WebArena-Bewertung ruft ein kostenpflichtiges OpenAI-Modell auf; PyPI-Release hinkt dem Hauptzweig seit Januar 2026 hinterher; Forschungswerkzeug; nicht für produktives Browsen gehärtet.
- Für wen eignet sich BrowserGym?
- Forscher und Agenten-Teams, die reproduzierbare, vergleichbare Werte für Browser-Agenten über die gängigen Web-Benchmarks brauchen.
- Was kostet BrowserGym für ein Team oder im Produktivbetrieb?
- Freie Software; Kosten entstehen für Server der selbst gehosteten Seiten, Modellaufrufe des Agenten und bei WebArena für OpenAI-Aufrufe der Fuzzy-Match-Bewertung. Gesamtsummen sind nicht veröffentlicht.
- Ist BrowserGym sicher für Firmendaten?
- Läuft lokal; Seiteninhalte gehen an das Modell, das dein Agent aufruft. Benchmark-Seiten werden selbst gehostet oder laufen auf Konten, die du kontrollierst. Apache-2.0-Lizenz.
- Was sind die besten Alternativen zu BrowserGym?
- Die nächsten Alternativen, die wir getestet haben, sind Browser Use, Stagehand und Inspect.
Antworten geprüft am 13. Nov. 2026.
Du entwickelst BrowserGym? Zeig diese Bewertung auf deiner Website
