Qu’est-ce que CUA Agent Kit ?
CUA Agent Kit vient de CVS Health et sépare l'automatisation d'écran en deux tâches. En phase de découverte, un agent d'utilisation d'ordinateur d'OpenAI (le modèle par défaut est gpt-6-sol, avec 40 tours) suit un processus rédigé en langage courant dans un navigateur ou sur un bureau Windows distant, et enregistre captures d'écran, actions, cibles et, dans le navigateur, une trace Playwright. En phase de codification, une skill Codex lit les enregistrements réussis et écrit du code ordinaire : Playwright avec des localisateurs sémantiques pour les sites web, pywinauto avec les contrôles UI Automation et Win32 pour les applications Windows. Les exécutions répétées utilisent ce code sans appel au modèle ni clé d'API.
C'est un projet Python 3.12 géré avec uv, avec une application d'exemple d'admission en local, des journaux d'audit optionnels dans PostgreSQL, Azure Blob Storage pour les artefacts et des fichiers Docker Compose. Le dépôt a été créé le 30 octobre 2026 et compte 19 étoiles, une licence Apache-2.0, 11 commits et aucune release ; le dernier commit date du 12 novembre 2026.
CUA Agent Kit vaut-il le coup ?
Les agents d'utilisation d'ordinateur savent déduire une tâche administrative faite de clics à partir d'un paragraphe d'instructions, mais demander à un modèle de raisonner sur les mêmes clics chaque matin ajoute coût et variabilité à un travail qu'un script peut faire. Ce kit traite l'agent comme un outil de découverte. Vous relancez la découverte jusqu'à ce que le processus réussisse de façon régulière, demandez à Codex de codifier ces exécutions et, dès lors, `cua-agent-run` rejoue du code Playwright ou pywinauto déterministe. Le projet attribue l'idée à la conférence Zero Token Architecture de Kelsey Hightower à PlatformCon 2026.
La documentation est d'une franchise inhabituelle sur les limites de la méthode. Son guide de choix d'approche indique que les applications servies par Citrix qui n'exposent que des pixels n'ont aucun contrôle à codifier, et restent donc pilotées par l'IA à chaque exécution, et qu'aucun exécuteur hybride mêlant code et étapes confiées au modèle n'est fourni. Il prévient aussi qu'un agent qui termine une exécution ne prouve pas que la tâche a réussi. Quand un site change, le script codifié casse comme n'importe quel script de RPA ; la réponse du kit consiste à faire lire les nouvelles traces par Codex pour mettre le code à jour, sous la relecture d'un ingénieur.
Le hic : la découverte envoie votre prompt de processus au point d'accès du modèle, y compris les identifiants de connexion injectés depuis `WORKFLOW_ACCOUNT_JSON`, avec des captures de tout ce qui s'affiche à l'écran. Les enregistrements peuvent contenir cookies, jetons de session, réponses réseau et instantanés du DOM, et le masquage est présenté comme un effort sans garantie. Activer le stockage distant envoie le dossier complet de l'exécution sans masquage. Sous Windows, le serveur hôte peut piloter le bureau et lancer des commandes, et les scripts d'installation n'ajoutent ni authentification ni règles de pare-feu : il n'a sa place que sur un réseau privé bien verrouillé.
Notre avis : c'est un plan bien raisonné venu d'un grand employeur plutôt qu'un produit fini, avec 19 étoiles et 11 commits ; une équipe dotée d'ingénieurs Python peut en reprendre le principe, tandis que ceux qui veulent un outil de RPA avec support doivent chercher ailleurs.
Là où il fait la différence
Un ingénieur d'exploitation chez un prestataire de santé
Automatiser la saisie quotidienne d'orientations dans un portail web sans API
Décrivez les étapes dans `prompt.py`, lancez `cua-agent-discover` sur un compte de test jusqu'à ce que cela réussisse de façon fiable, puis faites codifier par Codex ; l'exécution quotidienne est un script Playwright sans dépense d'API. Utilisez un compte de test, car les identifiants parviennent au modèle pendant la découverte.
Une équipe d'automatisation informatique qui maintient une ancienne application de bureau Windows
Remplacer une macro fragile fondée sur des coordonnées par du code qui connaît les contrôles
Installez le serveur hôte sur une VM Windows avec `install.ps1`, découvrez le processus et codifiez-le en étapes pywinauto qui utilisent les contrôles UI Automation. Vérifiez d'abord des écrans représentatifs : une fenêtre principale accessible ne garantit pas que chaque boîte de dialogue le soit.
Une équipe plateforme qui évalue les agents d'utilisation d'ordinateur
Comparer l'automatisation par IA à chaque exécution avec des scripts codifiés après une seule découverte
Faites tourner l'application d'exemple Care Intake dans les deux modes et notez coûts et échecs. Selon le guide du kit lui-même, les applications qui n'exposent que des pixels, comme certaines applications Citrix, doivent rester pilotées par l'IA à chaque exécution.
Avant de vous engager
- Mise en route
- Clonez le dépôt, lancez `uv sync`, définissez `OPENAI_API_KEY` et exécutez `uv run playwright install chromium` ; l'application d'exemple démarre avec `uv run python sample_app/app.py`. Windows exige une VM préparée avec `windows-host/install.ps1` et `start.ps1`, déverrouillée pendant les exécutions.
- Intégrations
- Modèles d'utilisation d'ordinateur d'OpenAI (ou un point d'accès compatible via `OPENAI_BASE_URL`), OpenAI Agents SDK, skills Codex, Playwright, pywinauto, PostgreSQL avec migrations Flyway, Azure Blob Storage et Docker Compose.
- Données et confidentialité
- La découverte envoie prompts, identifiants injectés, captures et historique des actions au point d'accès du modèle. Les artefacts restent en local par défaut dans `artifacts/` ; les enregistrements peuvent contenir identifiants, cookies, jetons et données réseau, et les envois vers le stockage ne sont pas masqués. Le serveur Windows n'a pas d'authentification.
- Coût à grande échelle
- La dépense en modèle porte sur la découverte et sur sa reprise quand un processus change ; les exécutions codifiées n'appellent pas le modèle. Aucun coût par exécution n'est publié.
- Limites
- La découverte est plafonnée à 40 tours par défaut. Pas d'exécuteur hybride prêt à l'emploi. Les applications sans contrôles accessibles ne peuvent pas être codifiées. Les scripts codifiés cassent quand l'interface change et doivent être recodifiés.
Les points forts
- Les exécutions codifiées n'ont besoin ni d'appels au modèle ni de clé d'API
- Localisateurs Playwright et contrôles pywinauto plutôt que coordonnées d'écran
- Documentation claire des risques de sécurité et des limites de la méthode
- Journal d'audit PostgreSQL et stockage Azure Blob en option
Les points faibles
- La découverte envoie identifiants et captures au modèle
- Les enregistrements peuvent contenir cookies et jetons de session
- Le serveur hôte Windows n'a pas d'authentification
- Très jeune : 19 étoiles, 11 commits, aucune release
Idéal pour
Les équipes d'ingénierie de structures à forte charge opérationnelle qui veulent automatiser un travail d'écran répétitif dans le navigateur ou sous Windows, sans coût de modèle pour les exécutions répétées.
Alternatives à CUA Agent Kit
CUA Agent Kit : questions fréquentes
- CUA Agent Kit vaut-il le coup ?
- CUA Agent Kit voit juste sur l'économie de l'automatisation d'écran en payant l'IA une seule fois puis en exécutant du code, mais c'est un kit de démarrage précoce, avec des angles vifs sur les identifiants et un serveur Windows sans authentification. Nous lui donnons 3.5 sur 5.
- Combien coûte CUA Agent Kit ?
- Gratuit et open source (Apache-2.0). Les découvertes sont facturées sur votre clé d'API OpenAI ; les exécutions codifiées n'appellent pas le modèle.
- Quels sont les inconvénients de CUA Agent Kit ?
- La découverte envoie identifiants et captures au modèle; les enregistrements peuvent contenir cookies et jetons de session; le serveur hôte Windows n'a pas d'authentification; très jeune : 19 étoiles, 11 commits, aucune release.
- À qui s’adresse CUA Agent Kit ?
- Les équipes d'ingénierie de structures à forte charge opérationnelle qui veulent automatiser un travail d'écran répétitif dans le navigateur ou sous Windows, sans coût de modèle pour les exécutions répétées.
- Combien coûte CUA Agent Kit pour une équipe ou en production ?
- La dépense en modèle porte sur la découverte et sur sa reprise quand un processus change ; les exécutions codifiées n'appellent pas le modèle. Aucun coût par exécution n'est publié.
- CUA Agent Kit est-il sûr pour les données de l’entreprise ?
- La découverte envoie prompts, identifiants injectés, captures et historique des actions au point d'accès du modèle. Les artefacts restent en local par défaut dans `artifacts/` ; les enregistrements peuvent contenir identifiants, cookies, jetons et données réseau, et les envois vers le stockage ne sont pas masqués. Le serveur Windows n'a pas d'authentification.
- Quelles sont les meilleures alternatives à CUA Agent Kit ?
- Les alternatives les plus proches que nous avons testées sont Skyvern, Browser Use, Stagehand et UFO.
Réponses vérifiées le 20 nov. 2026.