OSWorld
OSWorld ist ein Benchmark für Computer-Use-Agenten, der echte Betriebssysteme wie Ubuntu, Windows und macOS ausführt und Agenten an 369 offenen Aufgaben in Web- und Desktop-Apps bewertet, geprüft durch Skripte.
Auch: OSWorld-Verified
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Ein Computer-Use-Agent bedient einen Computer wie ein Mensch: Er sieht auf den Bildschirm, bewegt die Maus, klickt und tippt. OSWorld, 2024 veröffentlicht, testet diese Agenten in echten virtuellen Maschinen statt in einer vereinfachten Attrappe.
So funktioniert es
Der Benchmark hat 369 Aufgaben aus der echten Nutzung. Sie umfassen Web- und Desktop-Apps, Dateiverwaltung und Abläufe über mehrere Anwendungen hinweg. Jede Aufgabe hat eine Setup-Konfiguration, die die Maschine in einen bekannten Ausgangszustand versetzt, und ein eigenes Skript, das das Endergebnis prüft. Weil die Bewertung darauf schaut, was sich auf der Maschine tatsächlich geändert hat, kann ein Agent nicht bestehen, indem er die richtigen Schritte beschreibt; er muss sie ausführen.
Was die Ergebnisse zeigten
Zum Start erledigten Menschen über 72,36% der Aufgaben, während das beste Modell 12,24% schaffte. Die Autoren stellten fest, dass Agenten am meisten mit GUI-Grounding kämpften, also herauszufinden, auf welches Element auf dem Bildschirm sie einwirken sollen, und mit dem Wissen, wie Anwendungen funktionieren. Startwerte veralten schnell, also sieh dir das aktuelle Leaderboard an.
Die Werte nutzen
OSWorld-Ergebnisse hängen vom Modell ab und davon, wie der Agent gebaut ist: welche Screenshots er sieht, welche Tools er hat und wie viele Schritte er machen darf. Vergleiche Gleiches mit Gleichem. Für Agenten, die nur in einer Webseite arbeiten, siehe Browser-Agenten. Viele Computer-Use-Agenten bauen auf Vision-Language-Modellen auf, daher testet OSWorld auch visuelles Verständnis. Lass jeden solchen KI-Agenten in einer isolierten Umgebung laufen, da er auf einem echten System handelt.
Verwandte Begriffe
- Computer Use
- Computer Use (Computersteuerung) ist die Fähigkeit eines KI-Modells, einen Computer so zu bedienen wie ein Mensch, indem es Screenshots betrachtet und Mausklicks und Tastatureingaben sendet, damit es mit Software arbeiten kann, die keine API hat.
- Browser-Agent
- Ein Browser-Agent ist ein KI-Agent, der einen Webbrowser steuert, um Aufgaben zu erledigen, etwa suchen, klicken, Formulare ausfüllen und Seiten lesen, oft mit einem Headless-Browser ohne sichtbares Fenster.
- KI-Benchmark
- Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
- Vision-Language-Modell
- Ein Vision-Language-Modell (VLM, Bild-Sprach-Modell) ist ein Modell, das Bilder und Text als Eingabe nimmt und Text erzeugt. Es kann also Bilder beschreiben, Fragen zu ihnen beantworten, Dokumente lesen und Daten aus Screenshots extrahieren.
- KI-Agent
- Ein KI-Agent (AI Agent) ist ein System, in dem ein Sprachmodell seine nächsten Schritte selbst bestimmt: Es ruft Tools auf, liest die Ergebnisse und wiederholt das, bis die Aufgabe erledigt ist, statt einem festen Skript zu folgen.