¿Qué es agent-qa?
agent-qa, de vostride, ejecuta recorridos de usuario escritos en inglés llano como YAML contra un navegador real (Playwright) o una app móvil (Appium en emuladores, simuladores y teléfonos). Un modelo lee cada pantalla, actúa y comprueba el resultado esperado, mientras la ejecución registra capturas de pantalla, registros de consola y de red, el árbol de accesibilidad y, en web y Android, un vídeo.
Su parte distintiva es memidex: tras cada ejecución guarda hechos, advertencias y procedimientos repetibles en una carpeta agent-qa-knowledge/ que tú confirmas en el repositorio, y los pasa a las ejecuciones posteriores como pistas. Una caché de acciones validadas repite pasos sin pedir al modelo que planifique cuando la pantalla sigue coincidiendo. Funciona desde la CLI, un panel local, CI o un agente de programación a través de un servidor MCP con 20 herramientas y recursos y cuatro skills.
El repositorio se creó en mayo de 2026, está escrito en TypeScript bajo la Functional Source License de código disponible (FSL-1.1-ALv2, que pasa a Apache 2.0 más adelante), tiene unas 860 estrellas en GitHub y va por la v0.3.5 (11 de noviembre de 2026). Necesita Node.js 24 o posterior.
¿Merece la pena agent-qa?
agent-qa merece un vistazo para equipos que quieren pruebas en lenguaje natural para web y las dos plataformas móviles desde una sola herramienta, y que leerán su página de seguridad antes de apuntarla a algo real. Pocos rivales cubren Android e iOS además del navegador, y menos aún documentan sus propios fallos con tanta claridad.
La memoria es lo que hay que juzgar. Lo que aprende memidex se escribe como archivos en tu repositorio, así que un revisor puede leerlo, compararlo y revertirlo como código, y la documentación dice que las lecciones propuestas se comprueban antes de aplicarse y que las obsoletas se retiran. Es un diseño más sólido que un almacén vectorial oculto. La caché de acciones se encarga del coste: los pasos que ya funcionaron se repiten sin una llamada de planificación mientras la pantalla siga coincidiendo.
Las cifras de benchmark necesitan las salvedades que imprime el propio fabricante. Declara un 100% pass@1 en AndroidWorld (116 de 116 tareas) y un 99.6% en AppControlBench (114.5 de 115 puntos), con la memoria y la automejora desactivadas. Los resultados son autopublicados, no figuran en la clasificación oficial de AppControlBench y miden si se completa la tarea, no si el veredicto de QA fue correcto. Su propia guía de evaluación te pide contar los falsos aprobados en tu app, y es el consejo adecuado.
Los valores por defecto merecen atención. Las versiones publicadas envían eventos de uso anónimos a PostHog e informes de errores a Sentry; los informes de errores pueden citar una URL o el texto de un paso, y ambos se detienen solo cuando agent-qa.config.yaml fija analytics: privacy: true. No hay avisos de aprobación, así que el servidor MCP tiene tanto poder como una shell en tu proyecto. La carpeta .agent-qa/ guarda tus valores de .env en los resultados de las ejecuciones y debe quedar fuera de git y de las subidas de CI.
Frente a e2e, el rival más cercano, agent-qa ofrece más plataformas y una memoria revisable; e2e tiene una licencia permisiva Apache-2.0 y unas 14 veces más estrellas. Con tres colaboradores y un README que avisa de que habrá errores, es una herramienta para probar en cinco a diez recorridos antes de confiarle una puerta de publicación.
Dónde se gana su sitio
Una startup de cuatro personas con una app web en React y una app complementaria para Android
Detectar regresiones en el pago y el registro antes de cada versión sin escribir selectores
Escribe de cinco a diez recorridos en YAML con valores esperados exactos, ejecútalos en Playwright y en un emulador de Android, y guarda la caché de acciones en la rama principal para que las ejecuciones posteriores se repitan sin llamadas de planificación. El coste son los tokens del modelo conectado; no hay cuota por puesto.
Un desarrollador que trabaja en Claude Code sobre una tienda en Next.js
Hacer que el agente demuestre en el navegador que un cambio funciona antes de abrir una pull request
npx agent-qa@latest init --agents claude-code instala la entrada MCP y las skills; el agente escribe una prueba con agent_qa_write_test, la ejecuta y lee las pruebas recogidas. Como nada pide confirmación, mantenlo en un entorno local o de staging con cuentas de prueba.
Un responsable de QA que decide si adoptar un ejecutor de pruebas con IA
Medir falsos aprobados y coste en la app del propio equipo antes de comprometerse
Sigue la guía de evaluación del fabricante: añade una build rota a propósito, ejecuta cada prueba de tres a cinco veces, marca los veredictos erróneos con agent-qa runs mark y consulta el uso de tokens en la página Insights del panel.
Antes de decidirte
- Puesta en marcha
- Node.js 24 o posterior, luego npm install -D agent-qa y npx agent-qa init, que escribe la configuración y pruebas de ejemplo, descarga Chromium y arranca el panel; conecta un modelo con npx agent-qa auth login o una clave de API. La guía rápida habla de unos diez minutos. El móvil necesita Appium y npx agent-qa install-mobile-drivers; los hooks necesitan Docker.
- Integraciones
- Suscripciones de Claude Code y Codex, API de Anthropic, OpenAI y Gemini, endpoints compatibles con OpenAI o Anthropic, incluidos modelos locales; servidor MCP por stdio o HTTP con 20 herramientas y recursos; cuatro skills; informes JUnit para CI; plugins para BrowserStack, Hyperbrowser, Kernel y Steel.
- Datos y privacidad
- Las pruebas, la configuración y el conocimiento aprendido son archivos en tu repositorio; las credenciales están en ~/.agent-qa/auth.json. Los secretos declarados se enmascaran como [secret:NAME] en las peticiones al modelo, los registros y los informes, pero los valores de .env, las capturas y los vídeos no. Los eventos anónimos de PostHog y los informes de errores de Sentry están activados por defecto; analytics: privacy: true desactiva ambos. El panel y el MCP por HTTP escuchan solo en 127.0.0.1, sin tokens.
- Coste a escala
- Sin cuota de producto. El gasto son los tokens del modelo por ejecución, más hasta un minuto de análisis posterior por ejecución y tu infraestructura de CI y dispositivos; los pasos en caché se ahorran las llamadas de planificación. El coste por ejecución no está publicado.
- Límites
- Sin avisos de aprobación en ningún comando ni herramienta MCP; sin detección de inyección de prompts en el texto de la app; vídeo solo en web y Android; los hooks se ejecutan en Docker con un límite de 512 MB y una CPU; software en fase temprana con versiones frecuentes.
Lo bueno
- Web, Android e iOS con un mismo formato de prueba
- Conocimiento aprendido guardado como archivos comparables en el repositorio
- La caché de acciones validadas reduce llamadas repetidas al modelo
- Documentación inusualmente franca sobre secretos, telemetría y límites
Lo malo
- Analítica de uso e informes de errores de Sentry activados por defecto
- La licencia FSL prohíbe el uso comercial competidor; no es código abierto
- Sin avisos de aprobación; el acceso MCP equivale a acceso a una shell
- Fase temprana: v0.3, tres colaboradores, benchmarks autopublicados
Ideal para
Equipos de producto pequeños que publican una app web y apps móviles nativas y quieren pruebas de regresión en lenguaje natural que puedan ejecutar desde un agente de programación o CI con su propio modelo.
Alternativas a agent-qa
agent-qa: preguntas frecuentes
- ¿Merece la pena agent-qa?
- agent-qa es uno de los ejecutores de pruebas con agentes más cuidadosos, con documentación honesta y una memoria útil, pero su primera versión en GitHub llegó apenas en octubre de 2026, envía telemetría por defecto y no es de código abierto. Le damos un 3.7 sobre 5.
- ¿Cuánto cuesta agent-qa?
- $0: sin plan de pago, cuota por puesto ni plataforma alojada. Pagas el modelo que conectes (una suscripción de Claude o ChatGPT, una clave de API o un modelo local) y tu propia CI, navegadores y dispositivos.
- ¿Qué inconvenientes tiene agent-qa?
- Analítica de uso e informes de errores de Sentry activados por defecto; la licencia FSL prohíbe el uso comercial competidor; no es código abierto; sin avisos de aprobación; el acceso MCP equivale a acceso a una shell; fase temprana: v0.3, tres colaboradores, benchmarks autopublicados.
- ¿Para quién es agent-qa?
- Equipos de producto pequeños que publican una app web y apps móviles nativas y quieren pruebas de regresión en lenguaje natural que puedan ejecutar desde un agente de programación o CI con su propio modelo.
- ¿Cuánto cuesta agent-qa para un equipo o en producción?
- Sin cuota de producto. El gasto son los tokens del modelo por ejecución, más hasta un minuto de análisis posterior por ejecución y tu infraestructura de CI y dispositivos; los pasos en caché se ahorran las llamadas de planificación. El coste por ejecución no está publicado.
- ¿Es agent-qa seguro para los datos de la empresa?
- Las pruebas, la configuración y el conocimiento aprendido son archivos en tu repositorio; las credenciales están en ~/.agent-qa/auth.json. Los secretos declarados se enmascaran como [secret:NAME] en las peticiones al modelo, los registros y los informes, pero los valores de .env, las capturas y los vídeos no. Los eventos anónimos de PostHog y los informes de errores de Sentry están activados por defecto; analytics: privacy: true desactiva ambos. El panel y el MCP por HTTP escuchan solo en 127.0.0.1, sin tokens.
- ¿Cuáles son las mejores alternativas a agent-qa?
- Las alternativas más cercanas que hemos analizado son e2e, Magnitude, Playwright Test Agents y Stagehand.
Respuestas comprobadas el 13 nov 2026.