Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

agent-device

CLI, MCP-Server und Node.js-API von Callstack, mit denen Coding-Agenten die Mobile-, TV-, Web- und Desktop-Apps bedienen, die sie bauen.

Getestet von Sheela · Aktualisiert

Auf GitHub ansehen Open Source

Unsere Bewertung

4.3/5

Wenn deine Agenten Mobile-Code schreiben, prüfen sie mit agent-device, ob er läuft, und es bringt schon die Geräteverwaltung und CI-Wiederholung mit, die einzelnen Mobile-MCP-Servern fehlen.

Was ist agent-device?

agent-device gibt einem Coding-Agenten Hände und Augen für eine laufende App. Der Agent nimmt einen Snapshot des Accessibility-Baums der App auf, bekommt für jeden Button und jedes Feld kurze Referenzen wie @e2 zurück und tippt, füllt aus, scrollt und prüft dagegen. Wenn die Accessibility-Daten einer App dürftig sind, weicht er auf Screenshots und Koordinaten aus. Abgedeckt sind iOS- und Android-Simulatoren, Emulatoren und echte Geräte, HarmonyOS, tvOS, Android TV, Fire TV, Amazon Vega OS, Web, macOS und Linux, mit unterschiedlicher Tiefe je nach Ziel.

Dieselbe Laufzeit gibt es auf drei Wegen: als CLI, als stdio-MCP-Server, gestartet mit agent-device mcp, und als typisierten Node.js-Client. Läufe lassen sich als .ad-Skripte speichern, im CI wiederholen und als Maestro-YAML exportieren, und Sitzungen sind an das Git-Worktree des Aufrufers gebunden, damit parallele Agenten sich nicht gegenseitig die Simulatoren wegnehmen. Gehostete Geräte bei BrowserStack, AWS Device Farm, TestMu AI und Limrun nutzen dieselben Befehle.

Gebaut wird es von Callstack, der React-Native-Beratung, unter der MIT-Lizenz. Das Repository wurde im Januar 2026 angelegt; v0.21.36 erschien am 2. November 2026.

Lohnt sich agent-device?

agent-device schließt die Lücke, die Coding-Agenten bei Mobile offenlassen: Sie können einen Screen schreiben, ihn aber nicht sehen. Es macht das so wie Vercels agent-browser im Web, indem es dem Agenten einen kompakten Accessibility-Snapshot mit stabilen Referenzen gibt, statt ein Modell über Screenshots grübeln zu lassen. So bleibt jeder Schritt billig an Tokens und deterministisch genug, um ihn aufzuzeichnen, und im Tool selbst steckt kein Modell.

Von den vielen kleinen Mobile-MCP-Servern unterscheidet es sich durch die Infrastruktur um den Snapshot herum. Sitzungen gelten pro Git-Worktree, und Geräte werden pro Host beansprucht, sodass zwei Agenten in zwei Worktrees nicht um einen Simulator streiten, und agent-device device release --stale räumt Ansprüche ab, deren Besitzer gestorben ist. Einen Ablauf, den der Agent einmal herausgefunden hat, kann man als .ad-Skript speichern und im CI wiederholen oder nach Maestro exportieren. Der Bericht von Expensify zeigt das Ergebnis: Ein interner Skill liest die Reproduktionsschritte eines Bugs, arbeitet sie einmal durch und spielt das Skript dann ab, um für den Pull Request Vorher-nachher-Videos auf jeder Plattform aufzunehmen. Von Hand schätzte das Team dafür fünf Minuten pro Plattform, über Hunderte Issues.

Das Sicherheitsmodell ist sorgfältig dokumentiert. Der Daemon lauscht nur auf 127.0.0.1 auf flüchtigen Ports, jede Anfrage braucht ein frisches 24-Byte-Token aus einer Datei mit Rechten 0600, und der MCP-Server bietet nie eine allgemeine Shell an. Ebenso offen ist die Dokumentation über die Risiken: Das Tool kann jedes Gerät und jede Desktop-App steuern, die dein Benutzerkonto erreicht, Screenshots, Logs und Netzwerkmitschnitte können Zugangsdaten enthalten, und getippter Text kann unter iOS in XCTest-Logs landen. Links zu Cloud-Artefakten sollte man wie Geheimnisse behandeln.

Der Preis sind Breite und ständige Veränderung. 108 offene Issues und Pull Requests, eine 0.x-Versionsnummer und häufige Releases bedeuten, dass Befehle sich noch verschieben, und auf HarmonyOS und Vega OS, die nur einen Teil der Befehle abdecken, wird die Unterstützung dünner. Über MCP fehlen außerdem einige CLI-Abläufe, darunter die Verbindung zu Geräte-Clouds und die Web-Einrichtung, und die Dokumentation empfiehlt für lange oder manuelle Läufe in Claude Code weiterhin die CLI. Für eine stabile Regressionssuite verweist Callstack selbst auf ein klassisches Test-Framework; agent-device ist für die explorativen Prüfungen gedacht, die ein Agent beim Arbeiten macht, und lässt dich diese dann behalten.

Wo es sich lohnt

  • Ein React-Native-Entwickler in einem zehnköpfigen Produktteam, das Claude Code nutzt

    Den Agenten einen Screen bauen und auf beiden Plattformen beweisen lassen, dass er funktioniert

    Die CLI installieren, agent-device doctor ausführen und dann den Agenten bitten, den Screen umzusetzen, ihn im iOS-Simulator und Android-Emulator zu öffnen und Screenshots anzuhängen. Kostenlos; der erste iOS-Lauf ist langsamer, während der Apple-Runner gebaut wird.

  • Eine QA-Leitung in einer Firma mit Hunderten offener Mobile-Bugs, etwa Expensify

    Jedem Bugfix-Pull-Request Vorher-nachher-Aufnahmen anhängen

    Ein Agent arbeitet die Reproduktionsschritte einmal durch, speichert sie als .ad-Skript und spielt es auf jeder Plattform ab, um MP4s aufzunehmen. Laut Schätzung von Expensify ersetzt das etwa fünf Minuten manuelle Aufnahme pro Plattform.

  • Ein Platform Engineer, der Mobile-Checks im CI auf Linux-Runnern ausführt

    Von Agenten aufgezeichnete Abläufe auf echten Geräten wiederholen, ohne Gerätelabor

    Zugangsdaten für BrowserStack, AWS Device Farm oder Limrun als CI-Secrets hinterlegen und die gespeicherten Skripte gegen gehostete Geräte laufen lassen; der Anbieter rechnet die Gerätezeit ab, und Artefakt-Links sollte man wie Geheimnisse behandeln.

Bevor du dich festlegst

Einrichtung
npm install -g agent-device@latest auf Node.js 22.12 oder neuer (24 für Web), dann agent-device doctor. iOS braucht Xcode, Android das SDK und ADB; echte iOS-Geräte brauchen den Developer Mode und einen signierten Runner. Den MCP-Server mit dem Befehl agent-device und dem Argument mcp hinzufügen.
Integrationen
CLI, ein stdio-MCP-Server, der die installierten Befehle plus ein Hilfe-Tool spiegelt, und ein typisierter Node.js-Client mit Anleitungen für AI SDK und Eve. Geräte-Clouds: BrowserStack, AWS Device Farm und Limrun eingebaut, TestMu AI und Revyl als Plugins. Exportiert Maestro-YAML; eine EAS-Workflow-Vorlage deckt Expo-CI ab.
Daten und Datenschutz
Läuft lokal; der Daemon bindet sich an 127.0.0.1 mit einem 24-Byte-Token pro Start. Der einzige ausgehende Aufruf ist standardmäßig eine npm-Update-Prüfung, abschaltbar mit AGENT_DEVICE_NO_UPDATE_NOTIFIER=1. Screenshots, Logs und Netzwerkmitschnitte können Geheimnisse enthalten; Cloud-Anbieter behalten ihre eigenen Artefakte.
Kosten im großen Maßstab
Das Tool ist kostenlos; lokal kostet es nur einen Mac für iOS. Gehostete Geräte rechnen BrowserStack, AWS Device Farm, TestMu AI oder Limrun zu eigenen Preisen ab, die die Dokumentation nicht nennt; Callstack bietet QA-Dienste für Teams auf Anfrage an, Preis nicht veröffentlicht.
Grenzen
Remote-Sitzungen brauchen einen Sitzungsnamen; nur Limrun unterstützt Port-Reverse und Live-Netzwerkmitschnitte; Limrun und Revyl behalten nach dem Schließen keine Artefakte; MCP kann Cloud-Anbieter weder verbinden noch trennen.

Was gut ist

  • Accessibility-Snapshots mit Referenzen statt Schlussfolgern aus Screenshots
  • Sitzungen pro Worktree verhindern, dass parallele Agenten sich einen Simulator teilen
  • Einmal als .ad-Skript aufnehmen, im CI wiederholen oder nach Maestro exportieren
  • Daemon nur auf Loopback mit Tokens pro Start; keine Shell über MCP

Was nicht

  • 0.x-Releases mit 108 offenen Issues und Pull Requests
  • HarmonyOS und Vega OS decken nur einen Teil der Befehle ab
  • Manche Abläufe, darunter die Cloud-Verbindung, gibt es nur in der CLI
  • Schwache Accessibility-Labels in einer App machen Läufe wackliger

Am besten für

Mobile- und React-Native-Teams, die Coding-Agenten ihre eigenen Änderungen auf Simulatoren, Geräten oder in einer Geräte-Cloud prüfen und die Belege an Pull Requests hängen lassen wollen.

agent-device: häufige Fragen

Lohnt sich agent-device?
Wenn deine Agenten Mobile-Code schreiben, prüfen sie mit agent-device, ob er läuft, und es bringt schon die Geräteverwaltung und CI-Wiederholung mit, die einzelnen Mobile-MCP-Servern fehlen. Wir bewerten es mit 4.3 von 5.
Was kostet agent-device?
Kostenlos unter der MIT-Lizenz; Geräte-Clouds rechnen ihre Anbieter ab, und Callstack verkauft QA-Dienste für Teams auf Anfrage.
Welche Nachteile hat agent-device?
0.x-Releases mit 108 offenen Issues und Pull Requests; HarmonyOS und Vega OS decken nur einen Teil der Befehle ab; Manche Abläufe, darunter die Cloud-Verbindung, gibt es nur in der CLI; Schwache Accessibility-Labels in einer App machen Läufe wackliger.
Für wen eignet sich agent-device?
Mobile- und React-Native-Teams, die Coding-Agenten ihre eigenen Änderungen auf Simulatoren, Geräten oder in einer Geräte-Cloud prüfen und die Belege an Pull Requests hängen lassen wollen.
Was kostet agent-device für ein Team oder im Produktivbetrieb?
Das Tool ist kostenlos; lokal kostet es nur einen Mac für iOS. Gehostete Geräte rechnen BrowserStack, AWS Device Farm, TestMu AI oder Limrun zu eigenen Preisen ab, die die Dokumentation nicht nennt; Callstack bietet QA-Dienste für Teams auf Anfrage an, Preis nicht veröffentlicht.
Ist agent-device sicher für Firmendaten?
Läuft lokal; der Daemon bindet sich an 127.0.0.1 mit einem 24-Byte-Token pro Start. Der einzige ausgehende Aufruf ist standardmäßig eine npm-Update-Prüfung, abschaltbar mit AGENT_DEVICE_NO_UPDATE_NOTIFIER=1. Screenshots, Logs und Netzwerkmitschnitte können Geheimnisse enthalten; Cloud-Anbieter behalten ihre eigenen Artefakte.

Antworten geprüft am 5. Nov. 2026.

Du entwickelst agent-device? Zeig diese Bewertung auf deiner Websiteagent-device mit 4.3 von 5 bewertet auf ReviewRamble