Was ist ARTEMIS?
ARTEMIS ist ein Android-Automatisierungsagent aus Googles Pixel-Test-Engineering-Team. Du beschreibst eine Aufgabe in Alltagssprache, etwa "öffne die Einstellungen, suche Akku und melde den Ladestand", und er bedient Handy oder Emulator über ADB: Er liest den Bildschirm über einen Bedienungshilfen-Dienst, den er auf dem Gerät installiert, greift bei eigenen Oberflächen auf OCR und Bildmodelle zurück, tippt und schreibt und zeichnet Logs, Screenshots und eine Wiedergabe auf.
Es gibt vier Zugänge: eine Webkonsole unter localhost:8000 mit Live-Bildschirmspiegelung, eine CLI, ein Python-SDK für pytest und CI sowie einen MCP-Server, den das Setup-Skript in Claude Code, Codex, Cursor, Windsurf, VS Code, Antigravity und anderen eintragen kann, zusammen mit einer Regeldatei, die dem Coding-Agenten erklärt, wie er testen soll. Zwei Profile tauschen Tempo gegen Sorgfalt: Flash, eine Beobachten-und-Handeln-Schleife mit einem Modell bei etwa 3 bis 5 Sekunden pro Schritt, und Pro, ein Graph aus Planer, Ausführer und Prüfer bei etwa 15 bis 40 Sekunden pro Schritt.
Es steht unter Apache-2.0 und ist in Python 3.12 geschrieben. Das Modell bringst du mit: Schlüssel von Gemini, OpenAI, Anthropic, OpenRouter oder xAI werden akzeptiert.
Lohnt sich ARTEMIS?
ARTEMIS gibt Coding-Agenten etwas, das ihnen fehlte: Hände an einem echten Handy. Verbinde Claude Code oder Codex per MCP, und der Agent kann ein APK bauen, installieren, einen Login durchklicken und mit Screenshots und Logcat-Ausgabe zurückkommen. Das ist das meiste von dem, was ein menschlicher Tester beim Nachstellen eines Fehlers tut.
Die Schlagzeilenzahl ist eine Erfolgsquote von über 99% bei AndroidWorld, dem Benchmark von Google Research mit 100+ mehrstufigen Aufgaben in 20+ Apps. Diese Zahl stammt vom Projekt selbst und wurde nicht unabhängig nachvollzogen, und die Apps von AndroidWorld sind freundlicher als ein Flutter- oder Compose-Bildschirm mit eigenen Widgets. An der Verbreitung gibt es keinen Zweifel: Das Repository überschritt innerhalb von drei Monaten nach dem Start im August 2026 16.401 Sterne und 1.802 Forks, hat aber nur sechs Mitwirkende und keine getaggten Releases.
Die Maintainer sagen offen, wofür es taugt. Auf die Frage in den Projektdiskussionen, wie man Tausende Regressionstests damit fährt, rieten sie davon ab, Agentenläufe zu Tests zu kompilieren: Ein Ablauf, der einen geänderten Bildschirm umgeht, kann genau den Fehler verdecken, den ein Test finden soll. Ihr empfohlener Kreislauf: mit ARTEMIS erkunden, einen Coding-Agenten aus dem Gelernten gewöhnlichen Testcode schreiben lassen und diesen im vorhandenen Framework ausführen, ARTEMIS über das SDK nur für knifflige Schritte wie die Bluetooth-Kopplung aufrufen.
Die Kosten sind praktischer Art. Jeder Schritt ist ein Modellaufruf, also dauert ein Pro-Lauf mit 40 Schritten bei 15 bis 40 Sekunden pro Schritt 10 bis 27 Minuten und wird entsprechend abgerechnet. Die erste Aufgabe installiert einen Bedienungshilfen-Dienst auf dem Handy, was auf einem Testgerät in Ordnung ist und auf einem privaten Überlegung verdient; die .env-Datei hat Schalter, um das zu verhindern und den Bildschirm ausgehen zu lassen. iOS steht auf der Roadmap, nicht im Code. Ein Teil des Codes stammt aus Minitaps Projekt mobile-use und ist unter third_party/ ausgewiesen.
Wo es sich lohnt
Ein Android-Entwickler in einem App-Studio mit fünf Leuten
Einen Absturzbericht nachstellen, ohne mich selbst durch die App zu klicken
Führe artemis mcp --install claude aus und bitte Claude Code, das APK zu bauen, zu installieren und den Schritten des Berichts zu folgen; ARTEMIS liefert Screenshots, Logcat und eine Wiedergabe. Kosten sind die Modellaufrufe, im Flash-Modus je ein paar Sekunden.
Eine QA-Leiterin bei einem Fintech mit einer pytest-Suite
Die wackeligen Schritte automatisieren, die sich mit jedem OS-Update ändern
Rufe ArtemisClient.run() aus dem SDK nur für die Bluetooth-Kopplung oder Berechtigungsdialoge auf, prüfe das typisierte Ergebnis und halte den Rest des Tests deterministisch, wie die Maintainer empfehlen.
Ein Release-Manager bei einem Hersteller von Handyzubehör
Einen neuen Build vor der Auslieferung app-übergreifend kurz prüfen
Stelle Prüfungen in Alltagssprache in der Webkonsole im Pro-Modus in die Warteschlange; er plant Meilensteine und prüft jeden. Bei 15 bis 40 Sekunden pro Schritt dauert eine lange Checkliste einen Nachmittag, nicht Minuten.
Bevor du dich festlegst
- Einrichtung
- Repository klonen und ./start.sh (oder .\start.bat) ausführen, das ADB, scrcpy, FFmpeg und die Python-Abhängigkeiten mit uv installiert; dann mindestens einen Modell-API-Schlüssel in .env eintragen und ein Handy mit USB-Debugging oder einen Emulator verbinden.
- Integrationen
- MCP für Claude Code, Codex, Cursor, Windsurf, VS Code, Cline, Antigravity und OpenClaw; Python-SDK (artemis-client); Modelle von Gemini, OpenAI, Anthropic, OpenRouter und xAI; optional Google Cloud Vision OCR.
- Daten und Datenschutz
- Apache-2.0 und selbst gehostet. Screenshots und Prompts gehen an den Modellanbieter, den du einrichtest; laut README lauscht der Dienst auf dem Gerät nur auf dem Handy selbst.
- Kosten im großen Maßstab
- Nichts für die Software; die Modellkosten wachsen mit den Schritten, und Planung und Prüfung in Pro fügen pro Schritt Aufrufe hinzu. Die Maintainer raten, Erkundungen in gewöhnlichen Testcode zu überführen, damit Wiederholungen kein Modell brauchen.
- Grenzen
- Nur Android; keine getaggten Releases; 183 offene Issues und Pull Requests; Verläufe werden nicht zu wiederverwendbaren Tests kompiliert; die Genauigkeit auf eigenen Canvas-, Compose- oder Flutter-Bildschirmen hängt vom Bildmodell ab.
Was gut ist
- MCP-Server und Regeldatei lassen sich in einem Schritt in die meisten Coding-Agenten installieren
- Webkonsole mit Live-Spiegelung, Wiedergaben und Begründungsverläufen
- Python-SDK mit typisierten Ergebnissen für pytest und CI
- Funktioniert mit Modellen von Gemini, Claude, GPT, OpenRouter oder xAI
Was nicht
- Nur Android; iOS steht auf der Roadmap
- Der AndroidWorld-Wert von über 99% ist selbst gemeldet
- Jeder Schritt ist ein bezahlter Modellaufruf, im Pro-Modus langsam
- Installiert standardmäßig einen Bedienungshilfen-Dienst auf dem Gerät
Am besten für
Android-Teams, die ihren Coding-Agenten Fehler nachstellen und neue Builds auf einem echten Gerät erkunden lassen wollen, bevor jemand den Regressionstest schreibt.
Alternativen zu ARTEMIS
ARTEMIS: häufige Fragen
- Lohnt sich ARTEMIS?
- ARTEMIS ist der kostenlose Weg, einen Coding-Agenten ein echtes Android-Handy bedienen zu lassen, solange du es als Erkunder behandelst und nicht als deine Regressionstest-Suite. Wir bewerten es mit 4.1 von 5.
- Was kostet ARTEMIS?
- Kostenlos unter Apache-2.0. Du zahlst die Aufrufe des Bild-Sprach-Modells (Gemini, OpenAI, Anthropic, OpenRouter oder xAI), die dein Anbieter pro Schritt abrechnet, plus optional einen Google-Cloud-Vision-OCR-Schlüssel.
- Welche Nachteile hat ARTEMIS?
- Nur Android; iOS steht auf der Roadmap; Der AndroidWorld-Wert von über 99% ist selbst gemeldet; Jeder Schritt ist ein bezahlter Modellaufruf, im Pro-Modus langsam; Installiert standardmäßig einen Bedienungshilfen-Dienst auf dem Gerät.
- Für wen eignet sich ARTEMIS?
- Android-Teams, die ihren Coding-Agenten Fehler nachstellen und neue Builds auf einem echten Gerät erkunden lassen wollen, bevor jemand den Regressionstest schreibt.
- Was kostet ARTEMIS für ein Team oder im Produktivbetrieb?
- Nichts für die Software; die Modellkosten wachsen mit den Schritten, und Planung und Prüfung in Pro fügen pro Schritt Aufrufe hinzu. Die Maintainer raten, Erkundungen in gewöhnlichen Testcode zu überführen, damit Wiederholungen kein Modell brauchen.
- Ist ARTEMIS sicher für Firmendaten?
- Apache-2.0 und selbst gehostet. Screenshots und Prompts gehen an den Modellanbieter, den du einrichtest; laut README lauscht der Dienst auf dem Gerät nur auf dem Handy selbst.
- Was sind die besten Alternativen zu ARTEMIS?
- Die nächsten Alternativen, die wir getestet haben, sind Stagehand.
Antworten geprüft am 3. Nov. 2026.
Du entwickelst ARTEMIS? Zeig diese Bewertung auf deiner Website
