agent-qa의 개요
vostride의 agent-qa는 쉬운 영어로 YAML에 적은 사용자 흐름을 실제 브라우저(Playwright)나 모바일 앱(에뮬레이터, 시뮬레이터, 실기기 의 Appium)에서 실행합니다. 모델이 각 화면을 읽고 동작한 뒤 기대한 결과를 확인하며, 실행 중에는 스크린샷, 콘솔과 네트워크 로그, 접근성 트리, 그리고 웹과 Android에서는 영상을 기록합니다.
가장 큰 특징은 memidex입니다. 실행이 끝날 때마다 사실, 주의 사항, 반복 가능한 절차를 커밋 대상인 agent-qa-knowledge/ 폴더에 저장하고, 이후 실행에 힌트로 넘깁니다. 검증된 액션 캐시는 화면이 그대로인 동안 모델에게 계획을 맡기지 않고 단계를 재생합니다. CLI, 로컬 대시보드, CI, 또는 20개의 도구와 리소스, 4개의 skill을 갖춘 MCP 서버를 통해 코딩 에이전트에서 실행할 수 있습니다.
리포지토리는 2026년 5월에 만들어졌고, 소스 공개형 Functional Source License(FSL-1.1-ALv2, 이후 Apache 2.0으로 전환) 아래 TypeScript로 작성되었습니다. GitHub 스타는 약 860개이며 최신 버전은 v0.3.5(2026년 11월 11일)입니다. Node.js 24 이상이 필요합니다.
agent-qa, 쓸 만한 가치가 있습니까?
agent-qa는 웹과 두 모바일 플랫폼을 하나의 도구로, 쉬운 말로 쓴 테스트로 다루고 싶은 팀, 그리고 실제 환경에 붙이기 전에 보안 페이지를 읽을 팀이라면 살펴볼 만합니다. 브라우저에 더해 Android와 iOS까지 다루는 경쟁 제품은 드물고, 자신의 약점을 이만큼 분명하게 문서화한 곳은 더 드뭅니다.
평가의 핵심은 메모리입니다. memidex가 배운 내용은 리포지토리 안의 파일로 기록되므로 리뷰어가 코드처럼 읽고, 비교하고, 되돌릴 수 있습니다. 문서에 따르면 제안된 교훈은 적용 전에 검증되고 낡은 것은 폐기됩니다. 숨겨진 벡터 저장소보다 건전한 설계입니다. 비용은 액션 캐시가 맡습니다. 이미 성공한 단계는 화면이 그대로인 동안 계획 호출 없이 재생됩니다.
벤치마크 주장에는 공급사가 직접 밝힌 단서가 따라야 합니다. AndroidWorld에서 100% pass@1(116개 작업 중 116개), AppControlBench에서 99.6%(115점 중 114.5점)를 보고했지만 메모리와 자기 개선은 꺼 둔 상태였습니다. 결과는 자체 발표이고 AppControlBench 공식 순위표에 없으며, QA 판정이 맞았는지가 아니라 작업 완료 여부를 측정합니다. 자체 평가 가이드는 대신 여러분의 앱에서 잘못된 통과를 세라고 권하며, 그것이 옳은 조언입니다.
기본 설정은 주의해서 봐야 합니다. 릴리스 버전은 익명 사용 이벤트를 PostHog로, 오류 보고를 Sentry로 보냅니다. 오류 보고에는 URL이나 단계의 텍스트가 담길 수 있으며, 둘 다 agent-qa.config.yaml에 analytics: privacy: true를 설정해야만 멈춥니다. 승인 확인 절차가 없으므로 MCP 서버는 프로젝트 안의 셸만큼 강력합니다. .agent-qa/ 폴더는 실행 결과에 .env 값을 저장하므로 git과 CI 업로드에서 빼야 합니다.
가장 가까운 경쟁 제품인 e2e와 비교하면 agent-qa는 지원 플랫폼이 더 많고 메모리를 검토할 수 있습니다. e2e는 관대한 Apache-2.0 라이선스를 쓰고 스타가 약 14배 많습니다. 기여자가 3명이고 README가 버그를 예상하라고 적어 둔 만큼, 릴리스 관문을 맡기기 전에 5개에서 10개의 흐름으로 시험해 볼 도구입니다.
제 역할을 하는 곳
React 웹 앱과 Android 보조 앱을 운영하는 4인 스타트업
셀렉터를 쓰지 않고 릴리스마다 결제와 가입 흐름의 회귀를 잡고 싶다
정확한 기대값을 담은 흐름 5개에서 10개를 YAML로 작성해 Playwright와 Android 에뮬레이터에서 실행하고, 메인 브랜치에서 액션 캐시를 저장해 이후 실행이 계획 호출 없이 재생되게 합니다. 비용은 연결한 모델의 토큰이며 좌석당 요금은 없습니다.
Claude Code로 Next.js 쇼핑몰을 개발하는 개발자
풀 리퀘스트를 열기 전에 에이전트가 브라우저에서 변경이 동작함을 증명하게 하고 싶다
npx agent-qa@latest init --agents claude-code가 MCP 항목과 skill을 설치하고, 에이전트가 agent_qa_write_test로 테스트를 작성해 실행한 뒤 증거를 읽습니다. 확인을 묻는 단계가 없으므로 테스트 계정을 쓰는 로컬이나 스테이징 대상에 묶어 둡니다.
AI 테스트 실행기 도입을 결정해야 하는 QA 리드
도입을 확정하기 전에 팀의 앱에서 잘못된 통과와 비용을 측정하고 싶다
공급사의 평가 가이드를 따릅니다. 일부러 망가뜨린 빌드를 하나 넣고, 각 테스트를 3회에서 5회 실행하고, 잘못된 판정은 agent-qa runs mark로 표시하고, 대시보드 Insights 페이지에서 토큰 사용량을 확인합니다.
도입 전 확인할 점
- 설정
- Node.js 24 이상을 준비한 뒤 npm install -D agent-qa와 npx agent-qa init을 실행하면 설정과 예제 테스트를 작성하고 Chromium을 내려받아 대시보드를 띄웁니다. 모델은 npx agent-qa auth login이나 API 키로 연결합니다. 빠른 시작 문서는 약 10분이 걸린다고 합니다. 모바일에는 Appium과 npx agent-qa install-mobile-drivers가, hook에는 Docker가 필요합니다.
- 연동
- Claude Code와 Codex 구독, Anthropic, OpenAI, Gemini API, 로컬 모델을 포함한 OpenAI 호환 또는 Anthropic 호환 엔드포인트, stdio나 HTTP로 동작하는 20개의 도구와 리소스를 갖춘 MCP 서버, 4개의 skill, CI용 JUnit 보고서, BrowserStack, Hyperbrowser, Kernel, Steel용 플러그인을 지원합니다.
- 데이터와 개인정보
- 테스트, 설정, 학습한 지식은 리포지토리 안의 파일이고 자격 증명은 ~/.agent-qa/auth.json에 저장됩니다. 선언한 시크릿은 모델 요청, 로그, 보고서에서 [secret:NAME]으로 가려지지만 .env 값, 스크린샷, 영상은 가려지지 않습니다. PostHog 익명 이벤트와 Sentry 오류 보고가 기본으로 켜져 있으며 analytics: privacy: true로 둘 다 끌 수 있습니다. 대시보드와 HTTP MCP는 127.0.0.1에서만 수신하며 토큰을 쓰지 않습니다.
- 대규모 사용 시 비용
- 제품 요금은 없습니다. 지출은 실행당 모델 토큰, 실행마다 최대 1분의 사후 분석, 그리고 CI와 기기 인프라입니다. 캐시된 단계는 계획 호출을 건너뜁니다. 실행당 비용은 공개되지 않았습니다.
- 제한
- 어떤 명령이나 MCP 도구에도 승인 확인이 없습니다. 앱 텍스트의 프롬프트 인젝션을 탐지하지 않습니다. 영상은 웹과 Android에서만 기록됩니다. hook은 512 MB와 CPU 1개로 제한된 Docker에서 실행됩니다. 릴리스가 잦은 초기 단계 소프트웨어입니다.
좋은 점
- 웹, Android, iOS를 하나의 테스트 형식으로 처리
- 학습한 지식을 리포지토리 안의 비교 가능한 파일로 저장
- 검증된 액션 캐시로 반복되는 모델 호출 감소
- 시크릿, 텔레메트리, 한계에 대해 보기 드물게 솔직한 문서
아쉬운 점
- 사용 분석과 Sentry 오류 보고가 기본으로 켜짐
- FSL 라이선스는 경쟁 상업적 사용을 금지하며 오픈 소스가 아님
- 승인 확인이 없어 MCP 접근이 곧 셸 접근
- 초기 단계: v0.3, 기여자 3명, 벤치마크는 자체 발표
추천 대상
웹 앱과 네이티브 모바일 앱을 함께 내놓는 소규모 제품 팀 가운데, 자체 모델로 코딩 에이전트나 CI에서 쉬운 말로 쓴 회귀 테스트를 돌리고 싶은 팀에 맞습니다.
agent-qa 대안
agent-qa: 자주 묻는 질문
- agent-qa, 쓸 만한 가치가 있습니까?
- agent-qa는 에이전트형 테스트 실행기 가운데 신중하게 만든 편이고 문서가 정직하며 메모리도 쓸모가 있지만, 첫 GitHub 릴리스가 2026년 10월에야 나왔고 기본값으로 텔레메트리를 보내며 오픈 소스도 아닙니다. 평점은 5점 만점에 3.7점입니다.
- agent-qa의 가격은 얼마입니까?
- $0입니다. 유료 요금제, 좌석당 요금, 호스팅 플랫폼이 없습니다. 연결하는 모델(Claude 또는 ChatGPT 구독, API 키, 로컬 모델)과 직접 운영하는 CI, 브라우저, 기기 비용만 냅니다.
- agent-qa의 단점은 무엇입니까?
- 사용 분석과 Sentry 오류 보고가 기본으로 켜짐; FSL 라이선스는 경쟁 상업적 사용을 금지하며 오픈 소스가 아님; 승인 확인이 없어 MCP 접근이 곧 셸 접근; 초기 단계: v0.3, 기여자 3명, 벤치마크는 자체 발표.
- agent-qa에 적합한 사람은 누구입니까?
- 웹 앱과 네이티브 모바일 앱을 함께 내놓는 소규모 제품 팀 가운데, 자체 모델로 코딩 에이전트나 CI에서 쉬운 말로 쓴 회귀 테스트를 돌리고 싶은 팀에 맞습 니다.
- 팀이나 프로덕션 환경에서 agent-qa의 비용은 얼마입니까?
- 제품 요금은 없습니다. 지출은 실행당 모델 토큰, 실행마다 최대 1분의 사후 분석, 그리고 CI와 기기 인프라입니다. 캐시된 단계는 계획 호출을 건너뜁니다. 실행당 비용은 공개되지 않았습니다.
- agent-qa에 회사 데이터를 맡겨도 안전합니까?
- 테스트, 설정, 학습한 지식은 리포지토리 안의 파일이고 자격 증명은 ~/.agent-qa/auth.json에 저장됩니다. 선언한 시크릿은 모델 요청, 로그, 보고서에서 [secret:NAME]으로 가려지지만 .env 값, 스크린샷, 영상은 가려지지 않습니다. PostHog 익명 이벤트와 Sentry 오류 보고가 기본으로 켜져 있으며 analytics: privacy: true로 둘 다 끌 수 있습니다. 대시보드와 HTTP MCP는 127.0.0.1에서만 수신하며 토큰을 쓰지 않습니다.
- agent-qa의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 e2e, Magnitude, Playwright Test Agents 및 Stagehand입니다.
답변 확인일: 2026년 11월 13일.