Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Computer use

Le computer use (utilisation de l'ordinateur) est la capacité d'un modèle d'IA à manipuler un ordinateur comme le fait une personne, en regardant des captures d'écran et en envoyant des clics de souris et des frappes au clavier, pour travailler avec des logiciels dépourvus d'API.

Aussi appelé : computer-use agent, CUA

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

La plupart des agents agissent au moyen d'API et d'outils conçus pour eux. Beaucoup de programmes n'ont qu'une interface graphique. Le computer use permet à un modèle d'utiliser directement ces programmes.

Comment ça marche

L'application donne au modèle un outil d'ordinateur et un écran, généralement une machine virtuelle ou un conteneur. Le modèle demande une action, comme cliquer à un endroit, saisir du texte ou appuyer sur une touche. L'application l'exécute et renvoie une nouvelle capture d'écran. Le modèle regarde le résultat et décide de l'action suivante. C'est la même boucle d'agent que pour les autres usages d'outils, avec l'écran comme retour d'information. Elle repose sur un modèle vision-langage capable de lire des interfaces.

Différence avec un agent de navigation

Un agent de navigation ne pilote qu'un navigateur web, souvent via la structure de la page plutôt que les pixels. Le computer use peut piloter n'importe quelle application de bureau, au prix d'une lenteur et d'une imprécision plus grandes.

Exemple

Un agent remplit un vieux logiciel de comptabilité de bureau à partir d'un tableur, en cliquant sur les mêmes écrans qu'un employé.

Risques et limites

Le computer use est lent et commet des erreurs sur les écrans qu'il ne connaît pas. Il est aussi exposé à l'injection de prompt : du texte sur une page web ou dans une image peut supplanter les instructions de l'utilisateur. Anthropic recommande de l'exécuter dans une machine virtuelle ou un conteneur dédié avec un minimum de privilèges et de le tenir à l'écart des données sensibles. Des benchmarks comme OSWorld mesurent les performances des modèles.

Termes liés

Agent de navigation
Un agent de navigation (browser agent) est un agent IA qui pilote un navigateur web pour accomplir des tâches, comme chercher, cliquer, remplir des formulaires et lire des pages, souvent au moyen d'un navigateur headless, sans fenêtre visible.
Agent IA
Un agent IA est un système dans lequel un modèle de langage décide lui-même de ses prochaines étapes : il appelle des outils, lit les résultats et recommence jusqu'à ce que la tâche soit terminée, au lieu de suivre un script fixe.
OSWorld
OSWorld est un benchmark pour les agents de computer use qui fait tourner de vrais systèmes d'exploitation comme Ubuntu, Windows et macOS et note les agents sur 369 tâches ouvertes dans des applications web et de bureau, vérifiées par des scripts.
Modèle vision-langage
Un modèle vision-langage (vision-language model, VLM) est un modèle qui reçoit des images et du texte en entrée et produit du texte, si bien qu'il peut décrire des images, répondre à des questions à leur sujet, lire des documents et extraire des données de captures d'écran.
Prompt injection
La prompt injection (injection de prompt) est une attaque dans laquelle un texte fourni à un modèle de langage, saisi par un utilisateur ou caché dans une page web, un fichier ou un résultat d'outil, modifie le comportement du modèle d'une façon que son développeur n'avait pas prévue.

Sources