BrowseComp
BrowseComp ist ein Benchmark von OpenAI mit 1.266 schweren Fragen, der prüft, ob ein Browsing-Agent beharrlich im Web nach verworrenen, schwer auffindbaren Fakten suchen kann, mit kurzen Antworten, die leicht zu prüfen sind.
Auch: BrowseComp benchmark
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Viele Such-Benchmarks stellen Fragen, die sich mit einer einzigen Anfrage beantworten lassen. BrowseComp, 2025 von Forschern bei OpenAI veröffentlicht, stellt Fragen, deren Antworten verschüttet sind: Um sie zu finden, muss man womöglich vielen Spuren über viele Seiten folgen. Die Antwort selbst ist kurz, etwa ein Name oder ein Datum, die Bewertung ist also einfach, obwohl die Suche schwer ist.
Was er misst
Die Autoren vergleichen ihn mit Programmierwettbewerben für Coding-Agenten: unvollständig, aber nützlich. Er testet Beharrlichkeit und Kreativität beim Finden von Informationen, die Kernfähigkeit hinter Tools für Deep Research und KI-Suchmaschinen. Er testet nicht, lange Antworten zu schreiben oder mit vagen Nutzerfragen umzugehen, was echte Rechercheaufgaben ebenfalls verlangen.
Warum er für Entwickler wichtig ist
Wenn dein Produkt auf einen browsenden Agenten setzt, zeigen dir BrowseComp-Ergebnisse, wie gut ein Modell weitermacht, wenn die ersten Suchen scheitern. Das Paper zeigt auch, dass die Genauigkeit mit dem Browsing-Aufwand steigt, was ihn mit Test-Time Compute verbindet: Mehr Schritte und mehr Suchen helfen meist. Die Ergebnisse hängen von den Tools des Agenten ab, vergleiche also Ergebnisse, die mit demselben Such- und Browser-Agent-Setup entstanden sind.
Grenzen
Die Fragen sind so gestaltet, dass sich Antworten leicht prüfen lassen, sobald man sie gefunden hat, und so funktionieren die meisten echten Anfragen nicht. Nach der Veröffentlichung online gestellte Antworten könnten zudem ins Modelltraining gelangen, prüf also, welche Version und welches Datum ein berichtetes Ergebnis nutzt.
Verwandte Begriffe
- Deep Research (KI)
- Deep Research (Tiefenrecherche) ist eine Funktion von KI-Agenten, die eine Recherchefrage plant, viele Websuchen ausführt, die gefundenen Quellen liest und einen langen Bericht mit Quellenangaben schreibt, was Minuten statt Sekunden dauert.
- KI-Benchmark
- Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
- Browser-Agent
- Ein Browser-Agent ist ein KI-Agent, der einen Webbrowser steuert, um Aufgaben zu erledigen, etwa suchen, klicken, Formulare ausfüllen und Seiten lesen, oft mit einem Headless-Browser ohne sichtbares Fenster.
- KI-Suchmaschine
- Eine KI-Suchmaschine (AI Search Engine) ist ein Suchdienst, der zu einer Anfrage Websuchen ausführt, die Ergebnisse mit einem Sprachmodell liest und eine geschriebene Antwort mit Links zu ihren Quellen liefert, statt nur einer Liste von Links.
- Test-Time Compute
- Test-Time Compute (Rechenaufwand zur Antwortzeit) ist die Menge an Berechnung, die ein Modell beim Beantworten einer Anfrage aufwendet, statt im Training. Wenn ein Modell länger nachdenken oder mehrere Antworten ausprobieren darf, kann das die Ergebnisse bei schwierigen Problemen verbessern.