Was ist CUA Agent Kit?
CUA Agent Kit stammt von CVS Health und teilt Bildschirmautomatisierung in zwei Aufgaben. In der Erkundung folgt ein Computer-Use-Agent von OpenAI (Standardmodell gpt-6-sol, mit 40 Zügen) einem in Alltagssprache beschriebenen Ablauf in einem Browser oder auf einem entfernten Windows-Desktop und zeichnet Screenshots, Aktionen, Ziele und im Browser einen Playwright-Trace auf. In der Kodifizierung liest ein Codex-Skill die erfolgreichen Aufzeichnungen und schreibt gewöhnlichen Code: Playwright mit semantischen Locators für Websites, pywinauto mit UI-Automation- und Win32-Steuerelementen für Windows-Apps. Wiederholte Läufe nutzen diesen Code ohne Modellaufrufe und ohne API-Schlüssel.
Es ist ein Python-3.12-Projekt, verwaltet mit uv, mit einer lokalen Beispiel-App für die Patientenaufnahme, optionalen Audit-Einträgen in PostgreSQL, Azure Blob Storage für Artefakte und Docker-Compose-Dateien. Das Repository wurde am 30. Oktober 2026 angelegt und hat 19 Sterne, eine Apache-2.0-Lizenz, 11 Commits und keine Releases; der jüngste Commit stammt vom 12. November 2026.
Lohnt sich CUA Agent Kit?
Computer-Use-Agenten können eine klicklastige Backoffice-Aufgabe aus einem Absatz Anweisungen erschließen, doch ein Modell jeden Morgen dieselben Klicks durchdenken zu lassen, bringt Kosten und Schwankung in Arbeit, die ein Skript erledigen kann. Dieses Kit behandelt den Agenten als Erkundungswerkzeug. Du wiederholst die Erkundung, bis der Ablauf zuverlässig gelingt, lässt Codex diese Läufe kodifizieren, und ab dann spielt `cua-agent-run` deterministischen Playwright- oder pywinauto-Code ab. Das Projekt nennt Kelsey Hightowers Vortrag Zero Token Architecture auf der PlatformCon 2026 als Ideengeber.
Die Doku ist ungewöhnlich ehrlich darüber, wo die Methode endet. Laut ihrem Leitfaden zur Wahl des Ansatzes haben über Citrix ausgelieferte Apps, die nur Pixel zeigen, keine Steuerelemente zum Kodifizieren und bleiben bei jedem Lauf KI-gesteuert; ein hybrider Runner, der Code mit Modellschritten mischt, ist nicht enthalten. Sie warnt auch, dass ein Agent, der einen Lauf beendet, nicht beweist, dass die Aufgabe gelungen ist. Ändert sich eine Website, bricht das kodifizierte Skript wie jedes RPA-Skript; die Antwort des Kits ist, Codex die neuen Traces lesen und den Code anpassen zu lassen, geprüft von einem Engineer.
Der Haken: Die Erkundung schickt deinen Ablauf-Prompt an den Modell-Endpoint, einschließlich der aus `WORKFLOW_ACCOUNT_JSON` eingesetzten Zugangsdaten, dazu Screenshots von allem, was auf dem Bildschirm ist. Aufzeichnungen können Cookies, Session-Tokens, Netzwerkantworten und DOM-Snapshots enthalten, und die Schwärzung wird als Best Effort beschrieben. Wer das Speicher-Backend aktiviert, lädt den kompletten Laufordner ungeschwärzt hoch. Unter Windows kann der Host-Server den Desktop steuern und Befehle ausführen, und die Setup-Skripte richten weder Authentifizierung noch Firewall-Regeln ein, er gehört also nur in ein gut abgeschottetes privates Netz.
Unser Fazit: Das ist eher ein durchdachter Bauplan eines großen Arbeitgebers als ein fertiges Produkt, mit 19 Sternen und 11 Commits; ein Team mit Python-Entwicklern kann das Muster übernehmen, wer ein RPA-Werkzeug mit Support sucht, sollte sich anderswo umsehen.
Wo es sich lohnt
Ein Operations Engineer bei einem Gesundheitsdienstleister
Eine tägliche Überweisungserfassung in einem Webportal ohne API automatisieren
Die Schritte in `prompt.py` beschreiben, `cua-agent-discover` gegen ein Testkonto laufen lassen, bis es zuverlässig klappt, dann von Codex kodifizieren lassen; der tägliche Lauf ist ein Playwright-Skript ohne API-Kosten. Nimm einen Test-Login, denn Zugangsdaten erreichen in der Erkundung das Modell.
Ein IT-Automatisierungsteam, das eine alte Windows-Desktop-App betreut
Ein fragiles koordinatenbasiertes Makro durch steuerelementbewussten Code ersetzen
Den Host-Server mit `install.ps1` auf einer Windows-VM installieren, den Ablauf erkunden und in pywinauto-Schritte mit UI-Automation-Steuerelementen kodifizieren. Vorher typische Bildschirme prüfen: Ein zugängliches Hauptfenster heißt nicht, dass jeder Dialog es ist.
Ein Plattformteam, das Computer-Use-Agenten bewertet
KI-Automatisierung pro Lauf mit einmal erkundeten, kodifizierten Skripten vergleichen
Die mitgelieferte Beispiel-App Care Intake in beiden Modi laufen lassen und Kosten und Fehler festhalten. Laut der Anleitung des Kits müssen Apps, die nur Pixel zeigen, etwa manche Citrix-Apps, bei jedem Lauf KI-gesteuert bleiben.
Bevor du dich festlegst
- Einrichtung
- Repository klonen, `uv sync`, `OPENAI_API_KEY` setzen und `uv run playwright install chromium` ausführen; die Beispiel-App startet mit `uv run python sample_app/app.py`. Windows braucht eine mit `windows-host/install.ps1` und `start.ps1` vorbereitete VM, die während der Läufe entsperrt bleibt.
- Integrationen
- Computer-Use-Modelle von OpenAI (oder ein kompatibler Endpoint über `OPENAI_BASE_URL`), OpenAI Agents SDK, Codex-Skills, Playwright, pywinauto, PostgreSQL mit Flyway-Migrationen, Azure Blob Storage und Docker Compose.
- Daten und Datenschutz
- Die Erkundung schickt Prompts, eingesetzte Zugangsdaten, Screenshots und Aktionsverlauf an den Modell-Endpoint. Artefakte bleiben standardmäßig lokal unter `artifacts/`; Aufzeichnungen können Zugangsdaten, Cookies, Tokens und Netzwerkdaten enthalten, und Uploads in den Speicher werden nicht geschwärzt. Der Windows-Server hat keine Authentifizierung.
- Kosten im großen Maßstab
- Modellkosten fallen bei der Erkundung an und bei erneuter Erkundung, wenn sich ein Ablauf ändert; kodifizierte Läufe machen keine Modellaufrufe. Kostenangaben pro Lauf sind nicht veröffentlicht.
- Grenzen
- Die Erkundung ist standardmäßig auf 40 Züge begrenzt. Kein fertiger hybrider Runner. Apps ohne zugängliche Steuerelemente lassen sich nicht kodifizieren. Kodifizierte Skripte brechen, wenn sich die Oberfläche ändert, und müssen neu kodifiziert werden.
Was gut ist
- Kodifizierte Läufe brauchen weder Modellaufrufe noch API-Schlüssel
- Playwright-Locators und pywinauto-Steuerelemente statt Bildschirmkoordinaten
- Klare Dokumentation der Sicherheitsrisiken und Grenzen der Methode
- Optionaler Audit-Trail in PostgreSQL und Artefaktspeicher in Azure Blob
Was nicht
- Die Erkundung schickt Zugangsdaten und Screenshots an das Modell
- Aufzeichnungen können Cookies und Session-Tokens enthalten
- Windows-Host-Server ohne Authentifizierung
- Sehr jung: 19 Sterne, 11 Commits, keine Releases
Am besten für
Engineering-Teams in Organisationen mit viel operativer Arbeit, die wiederkehrende Bildschirmarbeit im Browser oder unter Windows automatisieren und die Wiederholungsläufe frei von Modellkosten halten wollen.
Alternativen zu CUA Agent Kit
CUA Agent Kit: häufige Fragen
- Lohnt sich CUA Agent Kit?
- CUA Agent Kit trifft die Ökonomie der Bildschirmautomatisierung, indem es einmal für KI zahlt und danach Code laufen lässt, ist aber ein frühes Starter-Kit mit scharfen Kanten bei Zugangsdaten und einem Windows-Server ohne Authentifizierung. Wir bewerten es mit 3.5 von 5.
- Was kostet CUA Agent Kit?
- Kostenlos und Open Source (Apache-2.0). Erkundungsläufe gehen auf deinen OpenAI-API-Schlüssel; kodifizierte Läufe machen keine Modellaufrufe.
- Welche Nachteile hat CUA Agent Kit?
- Die Erkundung schickt Zugangsdaten und Screenshots an das Modell; Aufzeichnungen können Cookies und Session-Tokens enthalten; Windows-Host-Server ohne Authentifizierung; Sehr jung: 19 Sterne, 11 Commits, keine Releases.
- Für wen eignet sich CUA Agent Kit?
- Engineering-Teams in Organisationen mit viel operativer Arbeit, die wiederkehrende Bildschirmarbeit im Browser oder unter Windows automatisieren und die Wiederholungsläufe frei von Modellkosten halten wollen.
- Was kostet CUA Agent Kit für ein Team oder im Produktivbetrieb?
- Modellkosten fallen bei der Erkundung an und bei erneuter Erkundung, wenn sich ein Ablauf ändert; kodifizierte Läufe machen keine Modellaufrufe. Kostenangaben pro Lauf sind nicht veröffentlicht.
- Ist CUA Agent Kit sicher für Firmendaten?
- Die Erkundung schickt Prompts, eingesetzte Zugangsdaten, Screenshots und Aktionsverlauf an den Modell-Endpoint. Artefakte bleiben standardmäßig lokal unter `artifacts/`; Aufzeichnungen können Zugangsdaten, Cookies, Tokens und Netzwerkdaten enthalten, und Uploads in den Speicher werden nicht geschwärzt. Der Windows-Server hat keine Authentifizierung.
- Was sind die besten Alternativen zu CUA Agent Kit?
- Die nächsten Alternativen, die wir getestet haben, sind Skyvern, Browser Use, Stagehand und UFO.
Antworten geprüft am 20. Nov. 2026.