Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Computer Use

Computer Use (Computersteuerung) ist die Fähigkeit eines KI-Modells, einen Computer so zu bedienen wie ein Mensch, indem es Screenshots betrachtet und Mausklicks und Tastatureingaben sendet, damit es mit Software arbeiten kann, die keine API hat.

Auch: computer-use agent, CUA

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Die meisten Agenten handeln über APIs und Tools, die für sie gebaut sind. Viele Programme haben aber nur eine grafische Oberfläche. Computer Use lässt ein Modell diese Programme direkt bedienen.

So funktioniert es

Die Anwendung gibt dem Modell ein Computer-Tool und einen Bildschirm, meist eine virtuelle Maschine oder einen Container. Das Modell fordert eine Aktion an, etwa an eine Stelle klicken, Text tippen oder eine Taste drücken. Die Anwendung führt sie aus und gibt einen neuen Screenshot zurück. Das Modell betrachtet das Ergebnis und entscheidet über die nächste Aktion. Das ist dieselbe Agenten-Schleife wie bei anderer Tool-Nutzung, mit dem Bildschirm als Rückmeldung. Sie setzt ein Vision-Language-Modell voraus, das Oberflächen lesen kann.

Der Unterschied zu einem Browser-Agenten

Ein Browser-Agent steuert nur einen Webbrowser, oft über die Seitenstruktur statt über Pixel. Computer Use kann jede Desktop-App bedienen, ist dafür aber langsamer und ungenauer.

Beispiel

Ein Agent füllt ein altes Buchhaltungsprogramm auf dem Desktop aus einer Tabelle aus und klickt sich durch dieselben Bildschirme wie ein Sachbearbeiter.

Risiken und Grenzen

Computer Use ist langsam und macht bei unbekannten Bildschirmen Fehler. Es ist außerdem anfällig für Prompt Injection: Text auf einer Webseite oder in einem Bild kann die Anweisungen des Nutzers übersteuern. Anthropic empfiehlt, es in einer eigenen virtuellen Maschine oder einem Container mit minimalen Rechten laufen zu lassen und von sensiblen Daten fernzuhalten. Benchmarks wie OSWorld messen, wie gut Modelle abschneiden.

Verwandte Begriffe

Browser-Agent
Ein Browser-Agent ist ein KI-Agent, der einen Webbrowser steuert, um Aufgaben zu erledigen, etwa suchen, klicken, Formulare ausfüllen und Seiten lesen, oft mit einem Headless-Browser ohne sichtbares Fenster.
KI-Agent
Ein KI-Agent (AI Agent) ist ein System, in dem ein Sprachmodell seine nächsten Schritte selbst bestimmt: Es ruft Tools auf, liest die Ergebnisse und wiederholt das, bis die Aufgabe erledigt ist, statt einem festen Skript zu folgen.
OSWorld
OSWorld ist ein Benchmark für Computer-Use-Agenten, der echte Betriebssysteme wie Ubuntu, Windows und macOS ausführt und Agenten an 369 offenen Aufgaben in Web- und Desktop-Apps bewertet, geprüft durch Skripte.
Vision-Language-Modell
Ein Vision-Language-Modell (VLM, Bild-Sprach-Modell) ist ein Modell, das Bilder und Text als Eingabe nimmt und Text erzeugt. Es kann also Bilder beschreiben, Fragen zu ihnen beantworten, Dokumente lesen und Daten aus Screenshots extrahieren.
Prompt Injection
Prompt Injection ist ein Angriff, bei dem Text, der einem Sprachmodell zugeführt wird, von einem Nutzer eingetippt oder in einer Webseite, Datei oder einem Tool-Ergebnis versteckt, das Verhalten des Modells auf eine Weise ändert, die sein Entwickler nicht vorgesehen hat.

Quellen