agent-qaとは？
vostride の agent-qa は、平易な英語で YAML に書いたユーザーの操作手順を、実際のブラウザ（Playwright）やモバイルアプリ（エミュレーター、シミュレーター、実機上の Appium）で実行します。モデルが各画面を読み、操作し、期待する結果を確認します。実行中はスクリーンショット、コンソールとネットワークのログ、アクセシビリティツリー、そして Web と Android では動画を記録します。
特徴は memidex です。実行のたびに、事実、注意点、繰り返し使える手順を、コミット対象の agent-qa-knowledge/ フォルダに保存し、後の実行にヒントとして渡します。検証済みアクションのキャッシュは、画面が一致している限り、モデルに計画させずに手順を再生します。CLI、ローカルのダッシュボード、CI、または 20 のツールとリソース、4 つの skill を備えた MCP サーバー経由でコーディングエージェントから使えます。
リポジトリは 2026 年 5 月に作成され、ソース公開型の Functional Source License（FSL-1.1-ALv2、後に Apache 2.0 へ移行）のもとで TypeScript で書かれています。GitHub のスターは約 860 で、最新は v0.3.5（2026 年 11 月 11 日）です。Node.js 24 以降が必要です。
agent-qaは使う価値があるか？
agent-qa は、Web と両方のモバイルプラットフォームを一つのツールで平易な言葉のテストにしたいチーム、そして本番に向ける前に安全性のページを読むチームなら検討に値します。ブラウザに加えて Android と iOS まで扱える競合は少なく、自らの 弱点をここまで明確に文書化しているものはさらに少数です。
評価の中心はメモリです。memidex が学んだ内容はリポジトリ内のファイルとして書かれるため、レビュアーはコードと同じように読み、差分を見て、元に戻せます。ドキュメントによれば、提案された教訓は適用前に検証され、古くなったものは廃止されます。隠れたベクトルストアより健全な設計です。コスト面はアクションキャッシュが担い、すでに成功した手順は画面が一致する限り計画の呼び出しなしで再生されます。
ベンチマークの主張には、ベンダー自身が記す但し書きが必要です。AndroidWorld で 100% pass@1（116 タスク中 116）、AppControlBench で 99.6%（115 点中 114.5 点）と報告していますが、メモリと自己改善はオフでした。結果は自己公表で、AppControlBench の公式リーダーボードには載っておらず、測っているのはタスクの完了であって QA の判定が正しかったかではありません。自社の評価ガイドは、代わりに自分のアプリで誤った合格を数えるよう勧めており、それが正しい助言です。
既定の設定には注意が要ります。リリース版は匿名の利用イベントを PostHog に、エラーレポートを Sentry に送ります。エラーレポートには URL や手順のテキストが含まれることがあり、どちらも agent-qa.config.yaml で analytics: privacy: true を設定するまで止まりません。承認の確認はないため、MCP サーバーはプロジェクト内のシェルと同等の力を持ちます。.agent-qa/ フォルダは実行結果に .env の値を保存するので、git や CI のアップロードから除外する必要があります。
最も近い競合の e2e と比べると、agent-qa は対応プラットフォームが多く、メモリ をレビューできます。e2e は寛容な Apache-2.0 ライセンスで、スターは約 14 倍です。コントリビューターは 3 人、README にはバグを覚悟するよう書かれており、リリースの関門を任せる前に 5 から 10 の操作手順で試すべきツールです。
真価を発揮する場面
React の Web アプリと Android の連携アプリを持つ 4 人のスタートアップ
セレクターを書かずに、リリースごとに決済と登録の回帰を見つけたい
正確な期待値を入れた操作手順を YAML で 5 から 10 本書き、Playwright と Android エミュレーターで実行し、メインブランチでアクションキャッシュを保存して、後の実行を計画の呼び出しなしで再生させます。費用は接続したモデルのトークン代で、シート料金はかかりません。
Next.js のストアを Claude Code で開発している開発者
プルリクエストを開く前に、変更が動くことをエージェントにブラウザで証明させたい
npx agent-qa@latest init --agents claude-code で MCP の設定と skill が入り、エージェントが agent_qa_write_test でテストを書いて実行し、証拠を読みます。確認を求める仕組みがないため、テスト用アカウントを使うローカルまたはステージング環境にとどめます。
AI テストランナーの導入を判断する QA リーダー
導入を決める前に、自社アプリでの誤った合格とコストを測りたい
ベンダーの評価ガイドに従い、わざと壊したビルドを 1 つ加え、各テストを 3 から 5 回実行し、誤った判定を agent-qa runs mark で記録し、ダッシュボードの Insights ページでトークン使用量を確認します。
導入前に確認すること
- 導入
- Node.js 24 以降を用意し、npm install -D agent-qa と npx agent-qa init を実行します。設定とサンプルテストを書き、Chromium をダウンロードし、ダッシュボードを起動します。モデルは npx agent-qa auth login か API キーで接続します。クイックスタートでは約 10 分とされています。モバイルには Appium と npx agent-qa install-mobile-drivers、hook には Docker が必要です。
- 連携
- Claude Code と Codex のサブスクリプション、Anthropic、OpenAI、Gemini の API、ローカルモデルを含む OpenAI 互換または Anthropic 互換のエンドポイント。stdio または HTTP で動く 20 のツールとリソースを持つ MCP サーバー、4 つの skill、CI 向けの JUnit レポート、BrowserStack、Hyperbrowser、Kernel、Steel 用のプラグインがあります。
- データとプライバシー
- テスト、設定、学習した知識はリポジトリ内のファイルで、認証情報は ~/.agent-qa/auth.json に置かれます。宣言したシークレットはモデルへのリクエスト、ログ、レポートで [secret:NAME] とマスクされますが、.env の値、スクリーンショット、動画はマスクされません。PostHog の匿名イベントと Sentry のエラーレポートは既定で有効で、analytics: privacy: true で両方を止められます。ダッシュボードと HTTP の MCP は 127.0.0.1 のみで待ち受け、トークンは使いません。
- 大規模利用時のコスト
- 製品の料金はありません。支出は実行ごとのモデルのトークン、実行ごとに最大 1 分の事後分析、そして CI とデバイスのインフラです。キャッシュされた手順は計画の呼び出しを省きます。実行あたりのコストは公表されていません。
- 制限
- どのコマンドや MCP ツールにも承認の確認がありません。アプリのテキストに対するプロンプトインジェクション検知はありません。動画は Web と Android のみです。hook は 512 MB と CPU 1 基に制限された Docker で動きます。リリースが頻繁な初期段階のソフトウェアです。
良い点
- Web、Android、iOS を一つのテスト形式で扱える
- 学習した知識をリポジトリ内の差分が取れるファイルとして保存
- 検証済みアクションのキャッシュでモデル呼び出しの重複を削減
- シークレット、テレメトリ、制限について珍しく率直なドキュメント
気になる点
- 利用分析と Sentry のエラーレポートが既定で有効
- FSL ライセンスは競合する商用利用を禁止し、オープンソースではない
- 承認の確認がなく、MCP へのアクセスはシェルへのアクセスと同等
- 初期段階: v0.3、コントリビューター 3 人、ベンチマークは自己公表
おすすめの人
Web アプリとネイティブのモバイルアプリを出している小規模なプロダクトチームで、自前のモデルを使い、コーディングエージェントや CI から平易な言葉の回帰テストを回したい人に向いています。
agent-qaの代替
agent-qa：よくある質問
- agent-qaは使う価値があるか？
- agent-qa はエージェント型テストランナーの中でも慎重な作りで、ドキュメントは正直、メモリも役立ちますが、GitHub の初リリースは 2026 年 10 月とまだ新しく、既定でテレメトリを送信し、オープンソースでもありません。 評価は5点満点中3.7点です。
- agent-qaの料金は？
- $0 です。有料プラン、シート料金、ホスト型プラットフォームはありません。支払うのは接続するモデル（Claude または ChatGPT のサブスクリプション、API キー、ローカルモデル）と、自前の CI、ブラウザ、デバイスの費用です。
- agent-qaの欠点は？
- 利用分析と Sentry のエラーレポートが既定で有効; FSL ライセンスは競合する商用利用を禁止し、オープンソースではない; 承認の確認がなく、MCP へのアクセスはシェルへのアクセスと同等; 初期段階: v0.3、コントリビューター 3 人、ベンチマークは自己公表.
- agent-qaは誰に向いているか？
- Web アプリとネイティブのモバイルアプリを出している小規模なプロダクトチームで、自前のモデルを使い、コーディングエージェントや CI から平易な言葉の回帰テストを回したい人に向いています。
- チームや本番環境でagent-qaを使うと費用はいくらか？
- 製品の料金はありません。支出は実行ごとのモデルのトークン、実行ごとに最大 1 分の事後分析、そして CI とデバイスのインフラです。キャッシュされた手順は計画の呼び出しを省きます。実行あたりのコストは公表されていません。
- agent-qaは企業データを扱っても安全か？
- テスト、設定、学習した知識はリポジトリ内のファイルで、認証情報は ~/.agent-qa/auth.json に置かれます。宣言したシークレットはモデルへのリクエスト、ログ、レポートで [secret:NAME] とマスクされますが、.env の値、スクリーンショット、動画はマスクされません。PostHog の匿名イベントと Sentry のエラーレポートは既定で有効で、analytics: privacy: true で両方を止められます。ダッシュボードと HTTP の MCP は 127.0.0.1 のみで待ち受け、トークンは使いません。
- agent-qaの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はe2e, Magnitude, Playwright Test Agents 、 Stagehandです。
回答確認日：2026年11月13日