Computer Use
Computer Use (Computersteuerung) ist die Fähigkeit eines KI-Modells, einen Computer so zu bedienen wie ein Mensch, indem es Screenshots betrachtet und Mausklicks und Tastatureingaben sendet, damit es mit Software arbeiten kann, die keine API hat.
Auch: computer-use agent, CUA
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Die meisten Agenten handeln über APIs und Tools, die für sie gebaut sind. Viele Programme haben aber nur eine grafische Oberfläche. Computer Use lässt ein Modell diese Programme direkt bedienen.
So funktioniert es
Die Anwendung gibt dem Modell ein Computer-Tool und einen Bildschirm, meist eine virtuelle Maschine oder einen Container. Das Modell fordert eine Aktion an, etwa an eine Stelle klicken, Text tippen oder eine Taste drücken. Die Anwendung führt sie aus und gibt einen neuen Screenshot zurück. Das Modell betrachtet das Ergebnis und entscheidet über die nächste Aktion. Das ist dieselbe Agenten-Schleife wie bei anderer Tool-Nutzung, mit dem Bildschirm als Rückmeldung. Sie setzt ein Vision-Language-Modell voraus, das Oberflächen lesen kann.
Der Unterschied zu einem Browser-Agenten
Ein Browser-Agent steuert nur einen Webbrowser, oft über die Seitenstruktur statt über Pixel. Computer Use kann jede Desktop-App bedienen, ist dafür aber langsamer und ungenauer.
Beispiel
Ein Agent füllt ein altes Buchhaltungsprogramm auf dem Desktop aus einer Tabelle aus und klickt sich durch dieselben Bildschirme wie ein Sachbearbeiter.
Risiken und Grenzen
Computer Use ist langsam und macht bei unbekannten Bildschirmen Fehler. Es ist außerdem anfällig für Prompt Injection: Text auf einer Webseite oder in einem Bild kann die Anweisungen des Nutzers übersteuern. Anthropic empfiehlt, es in einer eigenen virtuellen Maschine oder einem Container mit minimalen Rechten laufen zu lassen und von sensiblen Daten fernzuhalten. Benchmarks wie OSWorld messen, wie gut Modelle abschneiden.
Verwandte Begriffe
- Browser-Agent
- Ein Browser-Agent ist ein KI-Agent, der einen Webbrowser steuert, um Aufgaben zu erledigen, etwa suchen, klicken, Formulare ausfüllen und Seiten lesen, oft mit einem Headless-Browser ohne sichtbares Fenster.
- KI-Agent
- Ein KI-Agent (AI Agent) ist ein System, in dem ein Sprachmodell seine nächsten Schritte selbst bestimmt: Es ruft Tools auf, liest die Ergebnisse und wiederholt das, bis die Aufgabe erledigt ist, statt einem festen Skript zu folgen.
- OSWorld
- OSWorld ist ein Benchmark für Computer-Use-Agenten, der echte Betriebssysteme wie Ubuntu, Windows und macOS ausführt und Agenten an 369 offenen Aufgaben in Web- und Desktop-Apps bewertet, geprüft durch Skripte.
- Vision-Language-Modell
- Ein Vision-Language-Modell (VLM, Bild-Sprach-Modell) ist ein Modell, das Bilder und Text als Eingabe nimmt und Text erzeugt. Es kann also Bilder beschreiben, Fragen zu ihnen beantworten, Dokumente lesen und Daten aus Screenshots extrahieren.
- Prompt Injection
- Prompt Injection ist ein Angriff, bei dem Text, der einem Sprachmodell zugeführt wird, von einem Nutzer eingetippt oder in einer Webseite, Datei oder einem Tool-Ergebnis versteckt, das Verhalten des Modells auf eine Weise ändert, die sein Entwickler nicht vorgesehen hat.