CUA Agent Kitとは?
CUA Agent Kit は CVS Health によるもので、画面操作の自動化を 2 つの仕事に分けます。発見の段階では、OpenAI のコンピューター操作エージェント(既定のモデルは gpt-6-sol、上限 40 ターン)が、普通の言葉で書かれた手順をブラウザーまたはリモートの Windows デスクトップで実行し、スクリーンショット、操作、対象、そしてブラウザーでは Playwright のトレースを記録します。コード化の段階では、Codex のスキルが成功した記録を読み、普通のコードを書きます。ウェブサイトには意味に基づくロケーターを使う Playwright、Windows アプリには UI Automation と Win32 のコントロールを使う pywinauto です。繰り返しの実行はそのコードを使い、モデルの呼び出しも API キーも要りません。
uv で管理する Python 3.12 のプロジェクトで、ローカルの受付サンプルアプリ、任意の PostgreSQL への監査記録、成果物用の Azure Blob Storage、Docker Compose のファイルが付きます。リポジトリは 2026年10月30日に作られ、スター 19、Apache-2.0 ライセンス、コミット 11 件で、リリースはありません。最新のコミットは 2026年11月12日です。
CUA Agent Kitは使う価値があるか?
コンピューター操作エージェントは、一段落の指示からクリックの多い事務作業を組み立てられます。しかし毎朝同じクリックをモデルに考えさせれば、スクリプトで済む仕事にコストとばらつきが加わります。このキットはエージェントを発見のための道具として扱います。手順が安定して成功するまで発見を繰り返し、Codex にその実行をコード化させれば、以後は `cua-agent-run` が決定的な Playwright や pywinauto のコードを再生します。プロジェクトは、この発想を PlatformCon 2026 での Kelsey Hightower の講演 Zero Token Architecture によるものとしています。
ドキュメントは、この手法がどこで止まるかについて珍しく率直です。アプローチ選びのガイドによれば、ピクセルしか見せない Citrix 配信のアプリにはコード化できるコントロールがないため、毎回 AI 任せのままになり、コードとモデルの手順を混ぜるハイブリッドの実行環境も用意されていません。エージェントが実行を終えたことは作業の成功を意味しない、という警告もあります。サイトが変われば、コード化したスクリプトはどの RPA のスクリプトとも同じように壊れます。キットの答えは、Codex に新しいトレースを読ませてコードを更新させ、エンジニアがレビューすることです。
注意点:発見の段階では、`WORKFLOW_ACCOUNT_JSON` から差し込まれたログイン情報を含む手順のプロンプトが、画面に映るもののスクリーンショットとともにモデルのエンドポイントへ送られます。記録には cookie、セッショントークン、ネットワークの応答、DOM のスナップショットが含まれることがあり、伏せ字処理はベストエフォートとされています。ストレ ージのバックエンドを有効にすると、実行フォルダー全体が伏せ字なしでアップロードされます。Windows では、ホストのサーバーがデスクトップを操作しコマンドを実行できるのに、セットアップのスクリプトは認証もファイアウォールの規則も設定しないため、厳重に閉じたプライベートネットワークにしか置くべきではありません。
結論:これは完成品というより、大企業がよく考えて作った設計図です。スター 19、コミット 11 件で、Python のエンジニアがいるチームならこの型を取り入れられますが、サポート付きの RPA ツールが欲しいなら他を探すべきです。
真価を発揮する場面
医療機関で働くオペレーションエンジニア
API のないウェブポータルで、毎日の紹介状の登録作業を自動化する
`prompt.py` に手順を書き、テスト用アカウントで安定して成功するまで `cua-agent-discover` を実行し、Codex にコード化させます。日々の実行は API の費用がかからない Playwright のスクリプトです。発見の段階では認証情報がモデルに届くため、テスト用のログインを使ってください。
古い Windows デスクトップアプリを支える IT 自動化チーム
座標頼みの壊れやすいマクロを、コントロールを理解するコードに置き換える
`install.ps1` で Windows の VM にホストのサーバーを入れ、手順を発見し、UI Automation のコントロールを使う pywinauto の手順にコード化します。先に代表的な画面を確認してください。メインウィンドウがアクセシブルでも、すべてのダイアログがそうとは限りません。
コンピューター操作エージェントを評価するプラットフォームチーム
毎回 AI で動かす自動化と、一度の発見でコード化したスクリプトを比べる
付属のサンプルアプリ Care Intake を両方のモードで動かし、コストと失敗を記録します。キット自身の指針では、一部の Citrix アプリのようにピクセルしか見せないアプリは、毎回 AI で動かすしかありません。
導入前に確認すること
- 導入
- リポジトリをクローンし、`uv sync`、`OPENAI_API_KEY` の設定、`uv run playwright install chromium` を行います。サンプルアプリは `uv run python sample_app/app.py` で起動します。Windows では `windows-host/install.ps1` と `start.ps1` で準備した VM が必要で、実行中はロックを解除しておきます。
- 連携
- OpenAI のコンピューター操作モデル(または `OPENAI_BASE_URL` で指定する互換エンドポイント)、OpenAI Agents SDK、Codex のスキル、Playwright、pywinauto、Flyway のマイグレーション付き PostgreSQL、Azure Blob Storage、Docker Compose。
- データとプライバシー
- 発見の段階では、プロンプト、差し込まれた認証情報、スクリーンショット、操作の履歴がモデルのエンドポイントに送られます。成果物は既定で `artifacts/` 以下のローカルに残りますが、記録には認証情報、cookie、トークン、ネットワークのデータが含まれることがあり、ストレージへのアップロードは伏せ字処理されません。Windows のサーバーには認証がありません。
- 大規模利用時のコスト
- モデルの費用がかかるのは発見と、手順が変わったときの再発見です。コード化した実行ではモデルを呼び出しません。1 回あたりのコストの数字は公表されていません。
- 制限
- 発見は既定で 40 ターンが上限です。すぐに使えるハイブリッドの実行環境はありません。アクセシブルなコントロールのないアプリはコード化できません。コード化したスクリプトは対象の UI が変わると壊れ、コード化し直す必要があります。
良い点
- コード化した実行にはモデルの呼び出しも API キーも不要
- 画面座標ではなく Playwright のロケー ターと pywinauto のコントロールを使用
- セキュリティ上のリスクと手法の限界をはっきり文書化
- 任意で PostgreSQL の監査記録と Azure Blob への成果物保存
気になる点
- 発見の段階で認証情報とスクリーンショットがモデルに送られる
- 記録に cookie やセッショントークンが含まれうる
- Windows ホストのサーバーに認証がない
- 非常に新しい:スター 19、コミット 11 件、リリースなし
おすすめの人
業務オペレーションの多い組織で、ブラウザーや Windows での繰り返しの画面作業を自動化し、繰り返しの実行にはモデルのコストをかけたくないエンジニアリングチーム。
CUA Agent Kitの代替
CUA Agent Kit:よくある質問
- CUA Agent Kitは使う価値があるか?
- CUA Agent Kit は、AI には一度だけ払い、その後はコードを走らせるという画面自動化の経済性を正しく捉えていますが、認証情報の扱いと認証のない Windows サーバーに危うさを残す初期のスターターキットです。 評価は5点満点中3.5点です。
- CUA Agent Kitの料金は?
- 無料のオープンソース(Apache-2.0)です。発見の実行は自分の OpenAI API キーに課金され、コード化した実行ではモデルを 呼び出しません。
- CUA Agent Kitの欠点は?
- 発見の段階で認証情報とスクリーンショットがモデルに送られる; 記録に cookie やセッショントークンが含まれうる; Windows ホストのサーバーに認証がない; 非常に新しい:スター 19、コミット 11 件、リリースなし.
- CUA Agent Kitは誰に向いているか?
- 業務オペレーションの多い組織で、ブラウザーや Windows での繰り返しの画面作業を自動化し、繰り返しの実行にはモデルのコストをかけたくないエンジニアリングチーム。
- チームや本番環境でCUA Agent Kitを使うと費用はいくらか?
- モデルの費用がかかるのは発見と、手順が変わったときの再発見です。コード化した実行ではモデルを呼び出しません。1 回あたりのコストの数字は公表されていません。
- CUA Agent Kitは企業データを扱っても安全か?
- 発見の段階では、プロンプト、差し込まれた認証情報、スクリーンショット、操作の履歴がモデルのエンドポイントに送られます。成果物は既定で `artifacts/` 以下のローカルに残りますが、記録には認証情報、cookie、トークン、ネットワークのデータが含まれることがあり、ストレージへのアップロードは伏せ字処理されません。Windows のサーバーには認証がありません。
- CUA Agent Kitの代わりになるものは?
- 当サイトでレビューした中で最も近い代替はSkyvern, Browser Use, Stagehand 、 UFOです。
回答確認日:2026年11月20日