Was ist agent-desktop?
agent-desktop lässt einen KI-Agenten Desktop-Apps bedienen, ohne Screenshots oder Pixelvergleich. Es liest den Accessibility-Baum einer App, die beschriftete Liste von Schaltflächen, Feldern und Menüs, die Screenreader nutzen, und gibt ihn als JSON zurück, mit einer Referenz für jedes Element, auf das der Agent einwirken kann. Der Agent klickt oder tippt auf eine Referenz, liest die Oberfläche zur Kontrolle erneut und wiederholt das. Ein Modell steckt nicht darin; die Schleife lebt in deinem Agenten.
Es ist ein Rust-Binary mit 61 Befehlsnamen (57 davon funktionsfähig) für Snapshots, Aktionen auf Referenzen, Tastatur und Maus, Fenster, Benachrichtigungen, die Zwischenablage und Sitzungen, dazu eine C-Bibliothek für den Einsatz im eigenen Prozess. Seit v1.2.0 vom 5. November 2026 stellt agent-desktop mcp jeden Befehl als MCP-Tool über stdio bereit. Ein sandbox-Befehl verwaltet lokale macOS-VMs, damit der Agent auf einem Desktop arbeiten kann, der nicht deiner ist. Es ist das Desktop-Gegenstück zu Vercels agent-browser.
Vercel Labs veröffentlicht es unter Apache-2.0. Das Repository wurde im Februar 2026 angelegt, hat etwa 22.000 Sterne und 30 Releases, und das npm-Paket kam in der Woche bis zum 10. November auf etwa 50.600 Downloads.
agent-desktop installieren
npm install -g agent-desktop && agent-desktop mcpLohnt sich agent-desktop?
agent-desktop trifft die wichtigste Designentscheidung richtig und dokumentiert seine Grenzen dann ungewöhnlich genau. Referenzen gehören zu dem Snapshot, der sie erzeugt hat; ein bloßes @e8 wird abgelehnt, und eine veränderte Oberfläche liefert STALE_REF oder AMBIGUOUS_TARGET statt eines Klicks auf das falsche Element. Fehler tragen eine Angabe zur Wiederholbarkeit, und die Doku weist Agenten an, nur dann erneut zu versuchen, wenn dort safe steht. Bei dichten Apps wie Slack hält ein flacher Skelett-Snapshot mit anschließendem Drill-down in eine Region die Token-Kosten pro Lesevorgang niedrig.
Im Vergleich mit Munim Computer Use, dem nächsten Konkurrenten, tauscht es Reichweite im Browser gegen Breite. agent-desktop hat mehr Befehle, eine C-Bibliothek, eine CLI, die Agenten ohne MCP aufrufen können, und etwa 22.000 Sterne gegenüber Munims rund 37, hört aber bewusst bei Desktop-Apps auf: Webseiten sind Sache von agent-browser, mit dem es sich verbindet, indem es bei Chromium- und Electron-Apps, die du startest, einen DevTools-Port öffnet. Munim steuert dein angemeldetes Chrome direkt und hat eine Richtliniendatei pro App; agent-desktop hat laut README keine vergleichbare Erlauben-und-Sperren-Liste.
Das Verhalten ohne sichtbare Bedienung unterscheidet sich je nach Plattform, und jede Plattformseite sagt genau, wie. Aktionen auf Referenzen nutzen standardmäßig die Accessibility-API, ohne den Mauszeiger zu bewegen, und --headed erlaubt physische Eingaben. Unter Windows werden type und right-click ohne sichtbare Bedienung abgelehnt, und eine App, die als Administrator läuft, lässt sich aus einem normalen Terminal lesen, aber nicht steuern. Unter Linux braucht es Ubuntu 24.04 oder neuer mit laufendem AT-SPI-Bus. Das Windows-Binary ist nicht signiert, daher können SmartScreen und Smart App Control es blockieren.
Die Sicherheitslage beschreibt das README offen: Snapshots, Zugriffe auf die Zwischenablage und Screenshots können private Desktop-Inhalte enthalten und gehören nicht in öffentliche Logs. Alles, was der Agent auf dem Bildschirm liest, eine E-Mail oder eine Chatnachricht, kann eine Prompt-Injection mitbringen, hinter der dein ganzer Desktop liegt. Die macOS-Sandbox, die den Agenten in einer lokalen VM laufen lässt, ist der eigentliche Schutz, wobei die Doku sagt, dass sie den Desktop trennt, nicht das Netzwerk oder den Host, und Linux und Windows keinen lokalen Sandbox-Anbieter haben. Ein so schnell gewachsenes Projekt mit 220 offenen Issues und Pull Requests wird sich weiter verändern; der MCP-Server ist weniger als eine Woche alt.
Wo es sich lohnt
Ein Operations-Analyst in einer Logistikfirma mit 30 Leuten und einer Fracht-App nur für Windows
Jeden Morgen Sendungsdaten aus E-Mails in die Fracht-App übertragen
Der Agent erstellt einen Snapshot des Formulars, füllt Felder mit set-value, das unter Windows ohne sichtbare Bedienung funktioniert, und liest das Formular zur Bestätigung erneut. Bis auf die Modell-Tokens kostenlos; auf einem eigenen Windows-Rechner laufen lassen, weil der Agent jede offene App erreichen kann.
Eine QA-Ingenieurin in einem Team für eine macOS-Desktop-App
Einen Coding-Agenten nach jeder Änderung einen neuen Einstellungsbildschirm prüfen lassen
agent-desktop mcp zu Claude Code hinzufügen und den Agenten bitten, den Build zu starten, die Einstellungen zu öffnen und jeden Schalter mit wait --predicate zu prüfen. Die macOS-VM-Sandbox hält die Testläufe vom eigenen Desktop fern.
Ein Entwickler, der eine Electron-App mit Webinhalten baut
Native Menüs und Web-Ansicht in einer einzigen Agentenschleife testen
agent-desktop bedient Menüs und Fenster und öffnet einen DevTools-Port, an den sich agent-browser für den Seiteninhalt hängt. Beide sind kostenlos; im Kontext des Agenten stehen dann zwei Tools.
Bevor du dich festlegst
- Einrichtung
- npm install -g agent-desktop (oder brew install agent-desktop unter macOS und Linux), dann agent-desktop status und unter macOS agent-desktop permissions --guide für die Bedienungshilfen-Freigabe. In MCP-Clients den Befehl agent-desktop mit dem Argument mcp eintragen; Skills installiert npx skills add.
- Integrationen
- Jeder Befehl ist ein MCP-Tool (desktop_snapshot, desktop_click, desktop_session_start und so weiter), die meisten davon schreibend: click, type, set-value, drag, launch, close-app, clipboard-set, Aktionen auf Benachrichtigungen. Funktioniert mit jedem Agenten, der eine CLI ausführen kann; eine C-Bibliothek deckt den Einsatz im Prozess ab.
- Daten und Datenschutz
- Läuft lokal; der MCP-Server spricht stdio und öffnet keinen Port, öffnet aber bei Chromium- und Electron-Apps, die du startest, einen DevTools-Port für agent-browser. Snapshots, Zwischenablage und Screenshots können private Inhalte enthalten und gehen an deinen Modellanbieter. Sicherheitsmeldungen laufen über GitHubs private Schwachstellenmeldung; Advisories sind keine veröffentlicht.
- Kosten im großen Maßstab
- Kostenlos; die Kosten sind Modell-Tokens und -Aufrufe. Accessibility-Snapshots sind Text statt Bilder, und Skelett-Snapshots mit Drill-down machen große Apps günstiger, doch eine lange Desktop-Aufgabe bedeutet trotzdem viele Beobachten-und-Handeln-Aufrufe. Gehostete Vercel-Sandbox-VMs rechnet Vercel ab.
- Grenzen
- Nur Desktop-Apps, keine Webseiten. Apps ohne Accessibility-Baum sind unsichtbar. Windows: unsigniertes Binary, kein type ohne sichtbare Bedienung, und Apps mit erhöhten Rechten brauchen ein Terminal mit erhöhten Rechten. Linux: Ubuntu 24.04+ und ein laufender AT-SPI-Bus. Lokale Sandboxes gibt es nur für macOS.
Was gut ist
- An Snapshots gebundene Referenzen scheitern, statt danebenzuklicken
- Derselbe Befehlssatz unter macOS, Windows und Linux
- CLI, MCP-Server und C-Bibliothek aus einem Binary
- Doku pro Plattform dazu, was ohne sichtbare Bedienung geht
- Lokale macOS-VM-Sandbox für isolierte Läufe
Was nicht
- Kann in jeder App handeln, die dein Konto öffnen kann
- Keine Erlauben-oder-Sperren-Richtlinie pro App
- Windows-Binary unsigniert; Admin-Apps nicht steuerbar
- MCP-Modus erst am 5. November 2026 erschienen
Am besten für
Entwicklerinnen und Entwickler, deren Agenten native Desktop-Apps ohne API bedienen müssen und die sie auf einem separaten Rechner oder in der macOS-VM-Sandbox laufen lassen können.
Alternativen zu agent-desktop
agent-desktop: häufige Fragen
- Lohnt sich agent-desktop?
- Ein gut gebauter, verbreiteter Weg, einem Agenten native Desktop-Apps zugänglich zu machen, mit ehrlicher Doku dazu, was auf welchem System ohne sichtbare Bedienung funktioniert, auch wenn er in jeder App, die du öffnen kannst, als du handeln kann. Wir bewerten es mit 4.1 von 5.
- Was kostet agent-desktop?
- Kostenlos und quelloffen (Apache-2.0). Modellaufrufe zahlst du bei deinem eigenen Anbieter; gehostete Vercel-Sandbox-VMs rechnet Vercel ab.
- Welche Nachteile hat agent-desktop?
- Kann in jeder App handeln, die dein Konto öffnen kann; Keine Erlauben-oder-Sperren-Richtlinie pro App; Windows-Binary unsigniert; Admin-Apps nicht steuerbar; MCP-Modus erst am 5. November 2026 erschienen.
- Für wen eignet sich agent-desktop?
- Entwicklerinnen und Entwickler, deren Agenten native Desktop-Apps ohne API bedienen müssen und die sie auf einem separaten Rechner oder in der macOS-VM-Sandbox laufen lassen können.
- Was kostet agent-desktop für ein Team oder im Produktivbetrieb?
- Kostenlos; die Kosten sind Modell-Tokens und -Aufrufe. Accessibility-Snapshots sind Text statt Bilder, und Skelett-Snapshots mit Drill-down machen große Apps günstiger, doch eine lange Desktop-Aufgabe bedeutet trotzdem viele Beobachten-und-Handeln-Aufrufe. Gehostete Vercel-Sandbox-VMs rechnet Vercel ab.
- Ist agent-desktop sicher für Firmendaten?
- Läuft lokal; der MCP-Server spricht stdio und öffnet keinen Port, öffnet aber bei Chromium- und Electron-Apps, die du startest, einen DevTools-Port für agent-browser. Snapshots, Zwischenablage und Screenshots können private Inhalte enthalten und gehen an deinen Modellanbieter. Sicherheitsmeldungen laufen über GitHubs private Schwachstellenmeldung; Advisories sind keine veröffentlicht.
- Was sind die besten Alternativen zu agent-desktop?
- Die nächsten Alternativen, die wir getestet haben, sind Munim Computer Use und Playwright MCP.
Antworten geprüft am 11. Nov. 2026.
Du entwickelst agent-desktop? Zeig diese Bewertung auf deiner Website
