Was ist agent-qa?
agent-qa von vostride führt in einfachem Englisch als YAML geschriebene Nutzerabläufe gegen einen echten Browser (Playwright) oder eine mobile App aus (Appium auf Emulatoren, Simulatoren und Telefonen). Ein Modell liest jeden Bildschirm, handelt und prüft das erwartete Ergebnis, während der Lauf Screenshots, Konsolen- und Netzwerkprotokolle, den Barrierefreiheitsbaum und auf Web und Android ein Video aufzeichnet.
Das Besondere ist memidex: Nach jedem Lauf speichert es Fakten, Warnhinweise und wiederholbare Abläufe in einem Ordner agent-qa-knowledge/, den du committest, und gibt sie späteren Läufen als Hinweise mit. Ein Cache validierter Aktionen spielt Schritte ab, ohne das Modell planen zu lassen, solange der Bildschirm noch passt. Es läuft über die CLI, ein lokales Dashboard, CI oder einen Coding-Agenten über einen MCP-Server mit 20 Tools und Ressourcen und vier Skills.
Das Repository wurde im Mai 2026 angelegt, ist in TypeScript unter der quelloffen einsehbaren Functional Source License geschrieben (FSL-1.1-ALv2, die später zu Apache 2.0 wird), hat rund 860 GitHub-Sterne und steht bei v0.3.5 (11. November 2026). Es braucht Node.js 24 oder neuer.
Lohnt sich agent-qa?
agent-qa lohnt einen Blick für Teams, die Klartext-Tests für Web und beide Mobilplattformen aus einem Werkzeug wollen und die Sicherheitsseite lesen, bevor sie es auf etwas Echtes richten. Wenige Konkurrenten decken neben dem Browser auch Android und iOS ab, und noch weniger dokumentieren ihre eigenen Schwachstellen so offen.
An seinem Gedächtnis muss man es messen. Was memidex lernt, landet als Dateien in deinem Repository, sodass ein Reviewer es wie Code lesen, vergleichen und zurücknehmen kann; laut Dokumentation werden vorgeschlagene Lektionen vor dem Übernehmen geprüft und veraltete ausgemustert. Das ist ein solideres Design als ein versteckter Vektorspeicher. Der Aktions-Cache übernimmt die Kostenarbeit: Schritte, die schon funktioniert haben, werden ohne Planungsaufruf wiederholt, solange der Bildschirm passt.
Die Benchmark-Angaben brauchen die Vorbehalte, die der Hersteller selbst nennt. Er meldet 100% pass@1 bei AndroidWorld (116 von 116 Aufgaben) und 99.6% bei AppControlBench (114.5 von 115 Punkten), mit abgeschaltetem Gedächtnis und abgeschalteter Selbstverbesserung. Die Ergebnisse sind selbst veröffentlicht, stehen nicht in der offiziellen AppControlBench-Rangliste und messen, ob Aufgaben erledigt werden, nicht ob ein QA-Urteil stimmte. Sein eigener Evaluationsleitfaden rät, stattdessen falsche Bestanden-Urteile in deiner App zu zählen, und das ist der richtige Rat.
Die Voreinstellungen verdienen Aufmerksamkeit. Veröffentlichte Versionen senden anonyme Nutzungsereignisse an PostHog und Fehlerberichte an Sentry; Fehlerberichte können eine URL oder den Text eines Schritts zitieren, und beides endet erst, wenn agent-qa.config.yaml analytics: privacy: true setzt. Es gibt keine Bestätigungsabfragen, der MCP-Server ist also so mächtig wie eine Shell in deinem Projekt. Der Ordner .agent-qa/ speichert deine .env-Werte in den Laufergebnissen und muss aus git und CI-Uploads herausbleiben.
Gegenüber e2e, dem engsten Konkurrenten, bietet agent-qa mehr Plattformen und ein prüfbares Gedächtnis; e2e hat eine freizügige Apache-2.0-Lizenz und etwa 14-mal so viele Sterne. Mit drei Mitwirkenden und einer README, die vor Fehlern warnt, ist das ein Werkzeug, das man an fünf bis zehn Abläufen erprobt, bevor man ihm ein Release-Gate anvertraut.
Wo es sich lohnt
Ein Startup mit vier Leuten, einer React-Web-App und einer begleitenden Android-App
Regressionen bei Checkout und Registrierung vor jedem Release finden, ohne Selektoren zu schreiben
Fünf bis zehn Abläufe als YAML mit exakten Erwartungswerten schreiben, sie auf Playwright und einem Android-Emulator laufen lassen und den Aktions-Cache auf dem Hauptzweig speichern, damit spätere Läufe ohne Planungsaufrufe abspielen. Kosten sind die Tokens des angebundenen Modells; eine Gebühr pro Platz gibt es nicht.
Ein Entwickler, der in Claude Code an einem Next.js-Shop arbeitet
Den Agenten im Browser beweisen lassen, dass eine Änderung funktioniert, bevor ein Pull Request aufgeht
npx agent-qa@latest init --agents claude-code installiert den MCP-Eintrag und die Skills; der Agent schreibt mit agent_qa_write_test einen Test, führt ihn aus und liest die Belege. Weil nichts um Bestätigung bittet, bleibt er auf einem lokalen oder Staging-Ziel mit Testkonten.
Eine QA-Leitung, die über einen KI-Testläufer entscheidet
Falsche Bestanden-Urteile und Kosten in der eigenen App messen, bevor man sich festlegt
Dem Evaluationsleitfaden des Herstellers folgen: einen absichtlich kaputten Build hinzufügen, jeden Test drei- bis fünfmal laufen lassen, falsche Urteile mit agent-qa runs mark markieren und den Token-Verbrauch auf der Insights-Seite des Dashboards ablesen.
Bevor du dich festlegst
- Einrichtung
- Node.js 24 oder neuer, dann npm install -D agent-qa und npx agent-qa init, das Konfiguration und Beispieltests schreibt, Chromium herunterlädt und das Dashboard startet; ein Modell bindest du mit npx agent-qa auth login oder einem API-Schlüssel an. Der Schnellstart nennt etwa zehn Minuten. Mobil braucht Appium und npx agent-qa install-mobile-drivers; Hooks brauchen Docker.
- Integrationen
- Claude-Code- und Codex-Abos, APIs von Anthropic, OpenAI und Gemini, OpenAI- oder Anthropic-kompatible Endpunkte einschließlich lokaler Modelle; MCP-Server über stdio oder HTTP mit 20 Tools und Ressourcen; vier Skills; JUnit-Berichte für CI; Plugins für BrowserStack, Hyperbrowser, Kernel und Steel.
- Daten und Datenschutz
- Tests, Konfiguration und gelerntes Wissen sind Dateien in deinem Repository; Zugangsdaten liegen in ~/.agent-qa/auth.json. Deklarierte Secrets werden in Modellanfragen, Protokollen und Berichten als [secret:NAME] maskiert, .env-Werte, Screenshots und Videos jedoch nicht. Anonyme PostHog-Ereignisse und Sentry-Fehlerberichte sind standardmäßig aktiv; analytics: privacy: true schaltet beides ab. Dashboard und HTTP-MCP lauschen nur auf 127.0.0.1, ohne Tokens.
- Kosten im großen Maßstab
- Keine Produktgebühr. Ausgaben sind Modell-Tokens pro Lauf, dazu bis zu eine Minute Nachanalyse pro Lauf und deine CI- und Geräteinfrastruktur; Schritte aus dem Cache sparen Planungsaufrufe. Kosten pro Lauf sind nicht veröffentlicht.
- Grenzen
- Keine Bestätigungsabfragen bei Befehlen oder MCP-Tools; keine Erkennung von Prompt-Injection im App-Text; Video nur auf Web und Android; Hooks laufen in Docker, begrenzt auf 512 MB und eine CPU; Software in früher Phase mit häufigen Releases.
Was gut ist
- Web, Android und iOS mit einem Testformat
- Gelerntes Wissen als vergleichbare Dateien im Repository
- Cache validierter Aktionen spart wiederholte Modellaufrufe
- Ungewöhnlich offene Doku zu Secrets, Telemetrie und Grenzen
Was nicht
- Nutzungsanalyse und Sentry-Fehlerberichte standardmäßig aktiv
- FSL-Lizenz verbietet konkurrierende kommerzielle Nutzung; nicht Open Source
- Keine Bestätigungsabfragen; MCP-Zugriff entspricht Shell-Zugriff
- Frühe Phase: v0.3, drei Mitwirkende, selbst veröffentlichte Benchmarks
Am besten für
Kleine Produktteams, die eine Web-App und native Mobil-Apps ausliefern und Regressionstests in Klartext wollen, die sie aus einem Coding-Agenten oder CI mit dem eigenen Modell starten.
Alternativen zu agent-qa
agent-qa: häufige Fragen
- Lohnt sich agent-qa?
- agent-qa gehört zu den sorgfältigeren agentischen Testläufern, mit ehrlicher Dokumentation und einem nützlichen Gedächtnis, aber das erste GitHub-Release kam erst im Oktober 2026, es sendet standardmäßig Telemetrie und ist nicht Open Source. Wir bewerten es mit 3.7 von 5.
- Was kostet agent-qa?
- $0: kein bezahlter Tarif, keine Gebühr pro Platz und keine gehostete Plattform. Du zahlst für das angebundene Modell (ein Claude- oder ChatGPT-Abo, einen API-Schlüssel oder ein lokales Modell) und deine eigene CI, Browser und Geräte.
- Welche Nachteile hat agent-qa?
- Nutzungsanalyse und Sentry-Fehlerberichte standardmäßig aktiv; FSL-Lizenz verbietet konkurrierende kommerzielle Nutzung; nicht Open Source; Keine Bestätigungsabfragen; MCP-Zugriff entspricht Shell-Zugriff; Frühe Phase: v0.3, drei Mitwirkende, selbst veröffentlichte Benchmarks.
- Für wen eignet sich agent-qa?
- Kleine Produktteams, die eine Web-App und native Mobil-Apps ausliefern und Regressionstests in Klartext wollen, die sie aus einem Coding-Agenten oder CI mit dem eigenen Modell starten.
- Was kostet agent-qa für ein Team oder im Produktivbetrieb?
- Keine Produktgebühr. Ausgaben sind Modell-Tokens pro Lauf, dazu bis zu eine Minute Nachanalyse pro Lauf und deine CI- und Geräteinfrastruktur; Schritte aus dem Cache sparen Planungsaufrufe. Kosten pro Lauf sind nicht veröffentlicht.
- Ist agent-qa sicher für Firmendaten?
- Tests, Konfiguration und gelerntes Wissen sind Dateien in deinem Repository; Zugangsdaten liegen in ~/.agent-qa/auth.json. Deklarierte Secrets werden in Modellanfragen, Protokollen und Berichten als [secret:NAME] maskiert, .env-Werte, Screenshots und Videos jedoch nicht. Anonyme PostHog-Ereignisse und Sentry-Fehlerberichte sind standardmäßig aktiv; analytics: privacy: true schaltet beides ab. Dashboard und HTTP-MCP lauschen nur auf 127.0.0.1, ohne Tokens.
- Was sind die besten Alternativen zu agent-qa?
- Die nächsten Alternativen, die wir getestet haben, sind e2e, Magnitude, Playwright Test Agents und Stagehand.
Antworten geprüft am 13. Nov. 2026.