Qu’est-ce que agent-qa ?
agent-qa, de vostride, exécute des parcours utilisateur rédigés en anglais simple au format YAML sur un vrai navigateur (Playwright) ou une app mobile (Appium sur émulateurs, simulateurs et téléphones). Un modèle lit chaque écran, agit et vérifie le résultat attendu, tandis que l'exécution enregistre captures d'écran, journaux de console et de réseau, l'arbre d'accessibilité et, sur le web et Android, une vidéo.
Sa particularité est memidex : après chaque exécution, il enregistre des faits, des mises en garde et des procédures reproductibles dans un dossier agent-qa-knowledge/ que vous committez, puis les fournit aux exécutions suivantes comme indices. Un cache d'actions validées rejoue des étapes sans demander au modèle de planifier tant que l'écran correspond. Il fonctionne depuis la CLI, un tableau de bord local, la CI ou un agent de code via un serveur MCP doté de 20 outils et ressources et de quatre skills.
Le dépôt a été créé en mai 2026, il est écrit en TypeScript sous la Functional Source License à source disponible (FSL-1.1-ALv2, qui devient Apache 2.0 plus tard), compte environ 860 étoiles sur GitHub et en est à la v0.3.5 (11 novembre 2026). Il exige Node.js 24 ou plus récent.
agent-qa vaut-il le coup ?
agent-qa mérite l'attention des équipes qui veulent des tests en langage courant pour le web et les deux plateformes mobiles avec un seul outil, et qui liront sa page de sécurité avant de le pointer sur quoi que ce soit de réel. Peu de concurrents couvrent Android et iOS en plus du navigateur, et moins encore documentent aussi clairement leurs propres défaillances.
C'est sur la mémoire qu'il faut le juger. Ce qu'apprend memidex est écrit sous forme de fichiers dans votre dépôt, si bien qu'un relecteur peut le lire, le comparer et l'annuler comme du code, et la documentation indique que les leçons proposées sont vérifiées avant d'être appliquées et que les obsolètes sont retirées. C'est une conception plus saine qu'un magasin vectoriel caché. Le cache d'actions s'occupe du coût : les étapes déjà réussies sont rejouées sans appel de planification tant que l'écran correspond.
Les chiffres de benchmark appellent les réserves que l'éditeur imprime lui-même. Il annonce 100% pass@1 sur AndroidWorld (116 tâches sur 116) et 99.6% sur AppControlBench (114.5 points sur 115), mémoire et auto-amélioration désactivées. Les résultats sont autopubliés, absents du classement officiel d'AppControlBench, et mesurent l'accomplissement des tâches, non la justesse d'un verdict de QA. Son propre guide d'évaluation vous demande plutôt de compter les faux succès sur votre app, et c'est le bon conseil.
Les réglages par défaut méritent l'attention. Les versions publiées envoient des événements d'usage anonymes à PostHog et des rapports d'erreur à Sentry ; ces rapports peuvent citer une URL ou le texte d'une étape, et les deux ne s'arrêtent que si agent-qa.config.yaml définit analytics: privacy: true. Il n'y a aucune demande de confirmation, donc le serveur MCP est aussi puissant qu'un shell dans votre projet. Le dossier .agent-qa/ stocke vos valeurs .env dans les résultats d'exécution et doit rester hors de git et des envois de CI.
Face à e2e, le concurrent le plus proche, agent-qa offre plus de plateformes et une mémoire relisible ; e2e a une licence permissive Apache-2.0 et environ 14 fois plus d'étoiles. Avec trois contributeurs et un README qui prévient des bugs, c'est un outil à essayer sur cinq à dix parcours avant de lui confier une barrière de mise en production.
Là où il fait la différence
Une start-up de quatre personnes avec une app web React et une app Android associée
Repérer les régressions du paiement et de l'inscription avant chaque version sans écrire de sélecteurs
Rédigez cinq à dix parcours en YAML avec des valeurs attendues exactes, exécutez-les sur Playwright et un émulateur Android, et enregistrez le cache d'actions sur la branche principale pour que les exécutions suivantes rejouent sans appels de planification. Le coût correspond aux tokens du modèle connecté ; il n'y a pas de frais par siège.
Un développeur qui travaille dans Claude Code sur une boutique Next.js
Faire prouver à l'agent dans le navigateur qu'un changement fonctionne avant d'ouvrir une pull request
npx agent-qa@latest init --agents claude-code installe l'entrée MCP et les skills ; l'agent écrit un test avec agent_qa_write_test, l'exécute et lit les preuves. Comme rien ne demande de confirmation, gardez-le sur une cible locale ou de préproduction avec des comptes de test.
Un responsable QA qui doit décider d'adopter un exécuteur de tests IA
Mesurer les faux succès et le coût sur l'app de l'équipe avant de s'engager
Suivez le guide d'évaluation de l'éditeur : ajoutez une build volontairement cassée, lancez chaque test trois à cinq fois, marquez les verdicts erronés avec agent-qa runs mark et lisez la consommation de tokens sur la page Insights du tableau de bord.
Avant de vous engager
- Mise en route
- Node.js 24 ou plus récent, puis npm install -D agent-qa et npx agent-qa init, qui écrit la configuration et des tests d'exemple, télécharge Chromium et lance le tableau de bord ; connectez un modèle avec npx agent-qa auth login ou une clé d'API. Le démarrage rapide l'estime à une dizaine de minutes. Le mobile exige Appium et npx agent-qa install-mobile-drivers ; les hooks exigent Docker.
- Intégrations
- Abonnements Claude Code et Codex, API Anthropic, OpenAI et Gemini, points d'accès compatibles OpenAI ou Anthropic, modèles locaux compris ; serveur MCP en stdio ou HTTP avec 20 outils et ressources ; quatre skills ; rapports JUnit pour la CI ; plugins pour BrowserStack, Hyperbrowser, Kernel et Steel.
- Données et confidentialité
- Tests, configuration et connaissances apprises sont des fichiers dans votre dépôt ; les identifiants sont dans ~/.agent-qa/auth.json. Les secrets déclarés sont masqués en [secret:NAME] dans les requêtes au modèle, les journaux et les rapports, mais pas les valeurs .env, les captures ni les vidéos. Les événements anonymes PostHog et les rapports d'erreur Sentry sont actifs par défaut ; analytics: privacy: true désactive les deux. Le tableau de bord et le MCP HTTP n'écoutent que sur 127.0.0.1, sans jetons.
- Coût à grande échelle
- Aucun frais de produit. La dépense correspond aux tokens du modèle par exécution, plus jusqu'à une minute d'analyse après chaque exécution, et à votre infrastructure de CI et d'appareils ; les étapes en cache évitent les appels de planification. Le coût par exécution n'est pas publié.
- Limites
- Aucune demande de confirmation pour les commandes ou les outils MCP ; aucune détection d'injection de prompt dans le texte de l'app ; vidéo seulement sur le web et Android ; les hooks tournent dans Docker, limités à 512 MB et un CPU ; logiciel à un stade précoce aux versions fréquentes.
Les points forts
- Web, Android et iOS avec un seul format de test
- Connaissances apprises stockées en fichiers comparables dans le dépôt
- Le cache d'actions validées réduit les appels répétés au modèle
- Documentation d'une franchise rare sur les secrets, la télémétrie et les limites
Les points faibles
- Statistiques d'usage et rapports d'erreur Sentry actifs par défaut
- La licence FSL interdit l'usage commercial concurrent ; pas open source
- Aucune demande de confirmation ; l'accès MCP équivaut à un accès shell
- Stade précoce : v0.3, trois contributeurs, benchmarks autopubliés
Idéal pour
Les petites équipes produit qui livrent une app web et des apps mobiles natives et veulent des tests de régression en langage courant, lancés depuis un agent de code ou la CI avec leur propre modèle.
Alternatives à agent-qa
agent-qa : questions fréquentes
- agent-qa vaut-il le coup ?
- agent-qa compte parmi les exécuteurs de tests agentiques les plus soigneux, avec une documentation honnête et une mémoire utile, mais sa première version sur GitHub ne date que d'octobre 2026, il envoie de la télémétrie par défaut et il n'est pas open source. Nous lui donnons 3.7 sur 5.
- Combien coûte agent-qa ?
- $0 : pas d'offre payante, de frais par siège ni de plateforme hébergée. Vous payez le modèle que vous connectez (un abonnement Claude ou ChatGPT, une clé d'API ou un modèle local) ainsi que votre CI, vos navigateurs et vos appareils.
- Quels sont les inconvénients de agent-qa ?
- Statistiques d'usage et rapports d'erreur Sentry actifs par défaut; la licence FSL interdit l'usage commercial concurrent ; pas open source; aucune demande de confirmation ; l'accès MCP équivaut à un accès shell; stade précoce : v0.3, trois contributeurs, benchmarks autopubliés.
- À qui s’adresse agent-qa ?
- Les petites équipes produit qui livrent une app web et des apps mobiles natives et veulent des tests de régression en langage courant, lancés depuis un agent de code ou la CI avec leur propre modèle.
- Combien coûte agent-qa pour une équipe ou en production ?
- Aucun frais de produit. La dépense correspond aux tokens du modèle par exécution, plus jusqu'à une minute d'analyse après chaque exécution, et à votre infrastructure de CI et d'appareils ; les étapes en cache évitent les appels de planification. Le coût par exécution n'est pas publié.
- agent-qa est-il sûr pour les données de l’entreprise ?
- Tests, configuration et connaissances apprises sont des fichiers dans votre dépôt ; les identifiants sont dans ~/.agent-qa/auth.json. Les secrets déclarés sont masqués en [secret:NAME] dans les requêtes au modèle, les journaux et les rapports, mais pas les valeurs .env, les captures ni les vidéos. Les événements anonymes PostHog et les rapports d'erreur Sentry sont actifs par défaut ; analytics: privacy: true désactive les deux. Le tableau de bord et le MCP HTTP n'écoutent que sur 127.0.0.1, sans jetons.
- Quelles sont les meilleures alternatives à agent-qa ?
- Les alternatives les plus proches que nous avons testées sont e2e, Magnitude, Playwright Test Agents et Stagehand.
Réponses vérifiées le 13 nov. 2026.