Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

agent-qa

Testes de ponta a ponta em linguagem comum para web, Android e iOS, com uma memória do seu app guardada como arquivos revisáveis no repositório.

Análise de ReviewRamble editors · Atualizado

Ver no GitHub Grátis

Nossa nota

3.7/5

O agent-qa é um dos executores de testes com agentes mais cuidadosos, com documentação honesta e uma memória útil, mas sua primeira versão no GitHub saiu só em outubro de 2026, ele envia telemetria por padrão e não é de código aberto.

O que é agent-qa?

O agent-qa, da vostride, executa jornadas de usuário escritas em inglês simples como YAML em um navegador real (Playwright) ou em um app móvel (Appium em emuladores, simuladores e celulares). Um modelo lê cada tela, age e confere o resultado esperado, enquanto a execução registra capturas de tela, logs de console e de rede, a árvore de acessibilidade e, na web e no Android, um vídeo.

Sua parte distintiva é o memidex: após cada execução, ele salva fatos, alertas e procedimentos repetíveis em uma pasta agent-qa-knowledge/ que você faz commit, e os repassa às execuções seguintes como dicas. Um cache de ações validadas repete passos sem pedir ao modelo que planeje enquanto a tela continua igual. Ele roda pela CLI, por um painel local, na CI ou por um agente de programação através de um servidor MCP com 20 ferramentas e recursos e quatro skills.

O repositório foi criado em maio de 2026, é escrito em TypeScript sob a Functional Source License de código disponível (FSL-1.1-ALv2, que passa a Apache 2.0 depois), tem cerca de 860 estrelas no GitHub e está na v0.3.5 (11 de novembro de 2026). Exige Node.js 24 ou mais recente.

agent-qa vale a pena?

O agent-qa vale uma olhada para equipes que querem testes em linguagem comum para a web e as duas plataformas móveis em uma só ferramenta, e que vão ler a página de segurança antes de apontá-lo para algo real. Poucos concorrentes cobrem Android e iOS além do navegador, e menos ainda documentam as próprias falhas com tanta clareza.

É pela memória que ele deve ser julgado. O que o memidex aprende vira arquivos no seu repositório, então um revisor pode ler, comparar e reverter como código, e a documentação diz que as lições propostas são verificadas antes de aplicadas e as obsoletas são descartadas. É um desenho mais sólido do que um banco vetorial escondido. O cache de ações cuida do custo: passos que já deram certo são repetidos sem chamada de planejamento enquanto a tela continuar igual.

Os números de benchmark precisam das ressalvas que o próprio fornecedor publica. Ele relata 100% pass@1 no AndroidWorld (116 de 116 tarefas) e 99.6% no AppControlBench (114.5 de 115 pontos), com memória e automelhoria desligadas. Os resultados são autopublicados, não estão no ranking oficial do AppControlBench e medem a conclusão de tarefas, não se o veredito de QA estava certo. O próprio guia de avaliação manda contar falsos aprovados no seu app, e é o conselho certo.

Os padrões merecem atenção. As versões lançadas enviam eventos de uso anônimos ao PostHog e relatórios de erro ao Sentry; os relatórios de erro podem citar uma URL ou o texto de um passo, e ambos só param quando o agent-qa.config.yaml define analytics: privacy: true. Não há pedidos de aprovação, então o servidor MCP tem tanto poder quanto um shell no seu projeto. A pasta .agent-qa/ guarda seus valores de .env nos resultados das execuções e precisa ficar fora do git e dos uploads de CI.

Diante do e2e, o concorrente mais próximo, o agent-qa oferece mais plataformas e uma memória revisável; o e2e tem uma licença permissiva Apache-2.0 e cerca de 14 vezes mais estrelas. Com três colaboradores e um README que avisa para esperar bugs, é uma ferramenta para testar em cinco a dez jornadas antes de confiar a ela uma barreira de lançamento.

Onde ele se destaca

  • Uma startup de quatro pessoas com um app web em React e um app complementar para Android

    Pegar regressões no checkout e no cadastro antes de cada versão sem escrever seletores

    Escreva de cinco a dez jornadas em YAML com valores esperados exatos, rode-as no Playwright e em um emulador Android e salve o cache de ações no branch principal para que as execuções seguintes se repitam sem chamadas de planejamento. O custo são os tokens do modelo conectado; não há taxa por assento.

  • Um desenvolvedor trabalhando no Claude Code em uma loja Next.js

    Fazer o agente provar no navegador que uma mudança funciona antes de abrir um pull request

    npx agent-qa@latest init --agents claude-code instala a entrada MCP e as skills; o agente escreve um teste com agent_qa_write_test, executa e lê as evidências. Como nada pede confirmação, mantenha-o em um alvo local ou de staging com contas de teste.

  • Um líder de QA decidindo se adota um executor de testes com IA

    Medir falsos aprovados e custo no app da própria equipe antes de se comprometer

    Siga o guia de avaliação do fornecedor: inclua um build quebrado de propósito, rode cada teste de três a cinco vezes, marque vereditos errados com agent-qa runs mark e veja o uso de tokens na página Insights do painel.

Antes de decidir

Configuração
Node.js 24 ou mais recente, depois npm install -D agent-qa e npx agent-qa init, que grava a configuração e testes de exemplo, baixa o Chromium e inicia o painel; conecte um modelo com npx agent-qa auth login ou uma chave de API. O guia rápido fala em cerca de dez minutos. Mobile exige Appium e npx agent-qa install-mobile-drivers; hooks exigem Docker.
Integrações
Assinaturas do Claude Code e do Codex, APIs da Anthropic, OpenAI e Gemini, endpoints compatíveis com OpenAI ou Anthropic, incluindo modelos locais; servidor MCP via stdio ou HTTP com 20 ferramentas e recursos; quatro skills; relatórios JUnit para CI; plugins para BrowserStack, Hyperbrowser, Kernel e Steel.
Dados e privacidade
Testes, configuração e conhecimento aprendido são arquivos no seu repositório; as credenciais ficam em ~/.agent-qa/auth.json. Segredos declarados são mascarados como [secret:NAME] nas requisições ao modelo, nos logs e nos relatórios, mas valores de .env, capturas de tela e vídeos não. Eventos anônimos do PostHog e relatórios de erro do Sentry vêm ligados; analytics: privacy: true desliga os dois. O painel e o MCP por HTTP escutam só em 127.0.0.1, sem tokens.
Custo em escala
Sem taxa de produto. O gasto são tokens do modelo por execução, mais até um minuto de análise posterior por execução e sua infraestrutura de CI e dispositivos; passos em cache dispensam chamadas de planejamento. O custo por execução não é publicado.
Limites
Sem pedidos de aprovação em nenhum comando ou ferramenta MCP; sem detecção de injeção de prompt no texto do app; vídeo só na web e no Android; hooks rodam no Docker com limite de 512 MB e uma CPU; software em fase inicial com versões frequentes.

O que é bom

  • Web, Android e iOS com um único formato de teste
  • Conhecimento aprendido guardado como arquivos comparáveis no repositório
  • Cache de ações validadas reduz chamadas repetidas ao modelo
  • Documentação incomumente franca sobre segredos, telemetria e limites

O que não é

  • Análise de uso e relatórios de erro do Sentry ligados por padrão
  • Licença FSL proíbe uso comercial concorrente; não é código aberto
  • Sem pedidos de aprovação; acesso MCP equivale a acesso a shell
  • Fase inicial: v0.3, três colaboradores, benchmarks autopublicados

Ideal para

Pequenas equipes de produto que lançam um app web e apps móveis nativos e querem testes de regressão em linguagem comum, executados a partir de um agente de programação ou da CI com o próprio modelo.

Alternativas ao agent-qa

agent-qa: perguntas frequentes

agent-qa vale a pena?
O agent-qa é um dos executores de testes com agentes mais cuidadosos, com documentação honesta e uma memória útil, mas sua primeira versão no GitHub saiu só em outubro de 2026, ele envia telemetria por padrão e não é de código aberto. Damos nota 3.7 de 5.
Quanto custa agent-qa?
$0: sem plano pago, taxa por assento ou plataforma hospedada. Você paga pelo modelo que conectar (uma assinatura do Claude ou do ChatGPT, uma chave de API ou um modelo local) e pela sua própria CI, navegadores e dispositivos.
Quais são as desvantagens de agent-qa?
Análise de uso e relatórios de erro do Sentry ligados por padrão; licença FSL proíbe uso comercial concorrente; não é código aberto; sem pedidos de aprovação; acesso MCP equivale a acesso a shell; fase inicial: v0.3, três colaboradores, benchmarks autopublicados.
Para quem agent-qa é indicado?
Pequenas equipes de produto que lançam um app web e apps móveis nativos e querem testes de regressão em linguagem comum, executados a partir de um agente de programação ou da CI com o próprio modelo.
Quanto custa agent-qa para uma equipe ou em produção?
Sem taxa de produto. O gasto são tokens do modelo por execução, mais até um minuto de análise posterior por execução e sua infraestrutura de CI e dispositivos; passos em cache dispensam chamadas de planejamento. O custo por execução não é publicado.
agent-qa é seguro para dados da empresa?
Testes, configuração e conhecimento aprendido são arquivos no seu repositório; as credenciais ficam em ~/.agent-qa/auth.json. Segredos declarados são mascarados como [secret:NAME] nas requisições ao modelo, nos logs e nos relatórios, mas valores de .env, capturas de tela e vídeos não. Eventos anônimos do PostHog e relatórios de erro do Sentry vêm ligados; analytics: privacy: true desliga os dois. O painel e o MCP por HTTP escutam só em 127.0.0.1, sem tokens.
Quais são as melhores alternativas ao agent-qa?
As alternativas mais próximas que analisamos são e2e, Magnitude, Playwright Test Agents e Stagehand.

Respostas verificadas em 13 de nov. de 2026.