Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

OSWorld

OSWorld ist ein Benchmark für Computer-Use-Agenten, der echte Betriebssysteme wie Ubuntu, Windows und macOS ausführt und Agenten an 369 offenen Aufgaben in Web- und Desktop-Apps bewertet, geprüft durch Skripte.

Auch: OSWorld-Verified

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Ein Computer-Use-Agent bedient einen Computer wie ein Mensch: Er sieht auf den Bildschirm, bewegt die Maus, klickt und tippt. OSWorld, 2024 veröffentlicht, testet diese Agenten in echten virtuellen Maschinen statt in einer vereinfachten Attrappe.

So funktioniert es

Der Benchmark hat 369 Aufgaben aus der echten Nutzung. Sie umfassen Web- und Desktop-Apps, Dateiverwaltung und Abläufe über mehrere Anwendungen hinweg. Jede Aufgabe hat eine Setup-Konfiguration, die die Maschine in einen bekannten Ausgangszustand versetzt, und ein eigenes Skript, das das Endergebnis prüft. Weil die Bewertung darauf schaut, was sich auf der Maschine tatsächlich geändert hat, kann ein Agent nicht bestehen, indem er die richtigen Schritte beschreibt; er muss sie ausführen.

Was die Ergebnisse zeigten

Zum Start erledigten Menschen über 72,36% der Aufgaben, während das beste Modell 12,24% schaffte. Die Autoren stellten fest, dass Agenten am meisten mit GUI-Grounding kämpften, also herauszufinden, auf welches Element auf dem Bildschirm sie einwirken sollen, und mit dem Wissen, wie Anwendungen funktionieren. Startwerte veralten schnell, also sieh dir das aktuelle Leaderboard an.

Die Werte nutzen

OSWorld-Ergebnisse hängen vom Modell ab und davon, wie der Agent gebaut ist: welche Screenshots er sieht, welche Tools er hat und wie viele Schritte er machen darf. Vergleiche Gleiches mit Gleichem. Für Agenten, die nur in einer Webseite arbeiten, siehe Browser-Agenten. Viele Computer-Use-Agenten bauen auf Vision-Language-Modellen auf, daher testet OSWorld auch visuelles Verständnis. Lass jeden solchen KI-Agenten in einer isolierten Umgebung laufen, da er auf einem echten System handelt.

Verwandte Begriffe

Computer Use
Computer Use (Computersteuerung) ist die Fähigkeit eines KI-Modells, einen Computer so zu bedienen wie ein Mensch, indem es Screenshots betrachtet und Mausklicks und Tastatureingaben sendet, damit es mit Software arbeiten kann, die keine API hat.
Browser-Agent
Ein Browser-Agent ist ein KI-Agent, der einen Webbrowser steuert, um Aufgaben zu erledigen, etwa suchen, klicken, Formulare ausfüllen und Seiten lesen, oft mit einem Headless-Browser ohne sichtbares Fenster.
KI-Benchmark
Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
Vision-Language-Modell
Ein Vision-Language-Modell (VLM, Bild-Sprach-Modell) ist ein Modell, das Bilder und Text als Eingabe nimmt und Text erzeugt. Es kann also Bilder beschreiben, Fragen zu ihnen beantworten, Dokumente lesen und Daten aus Screenshots extrahieren.
KI-Agent
Ein KI-Agent (AI Agent) ist ein System, in dem ein Sprachmodell seine nächsten Schritte selbst bestimmt: Es ruft Tools auf, liest die Ergebnisse und wiederholt das, bis die Aufgabe erledigt ist, statt einem festen Skript zu folgen.

Quellen