コンピューター操作
コンピューター操作(computer use)とは、AI モデルが人と同じようにコンピューターを操作する能力です。スクリーンショットを見て、マウスのクリックとキー入力を送ることで、API のないソフトウェアでも作業できます。
別名: computer-use agent, CUA
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
ほとんどのエージェントは、エージェント向けに作られた API やツールを通じて動作します。しかし多くのプログラムには、グラフィカルなインターフェースしかありません。コンピューター操作なら、モデルがそうしたプログラムを直接扱えます。
仕組み
アプリケーションは、モデルにコンピューターのツールと画面を与えます。画面は通常、仮想マシンかコンテナです。モデルは、ある地点をクリックする、テキストを入力する、キーを押すといった操作を求めます。アプリケーションがそれを実行し、新しいスクリーンショットを返します。モデルは結果を見て次の操作を決めます。これはほかのツール利用と同じエージェントループで、画面がフィードバックになります。インターフェースを読み取れる視覚言語モデルが前提です。
ブラウザーエージェントとの違い
ブラウザーエージェントが操作するのはウェブブラウザーだけで、多くの場合ピクセルではなくページの構造を通じて操作します。コンピューター操作はどんなデスクトップアプリでも動かせますが、その分遅く 、精度も劣ります。
例
エージェントがスプレッドシートの内容を古いデスクトップの会計ソフトに入力し、事務担当者と同じ画面をクリックして進みます。
リスクと限界
コンピューター操作は遅く、見慣れない画面では間違えます。また、プロンプトインジェクションにさらされます。ウェブページや画像の中のテキストが、ユーザーの指示を上書きすることがあるのです。Anthropic は、権限を最小限にした専用の仮想マシンかコンテナで実行し、機密データから遠ざけることを勧めています。OSWorld などのベンチマークで、モデルの出来具合を測れます。
関連用語
- ブラウザーエージェント
- ブラウザーエージェント(browser agent)とは、ウェブブラウザーを操作して、検索、クリック、フォームの入力、ページの読み込みなどのタスクをこなす AI エージェントです。多くの場合、画面を表示しないヘッドレスブラウザーで動きます。
- AI エージェント
- AI エージェント(AI agent)とは、言語モデルが次の手順を自分で決めるシステムです。固定の台本に従うのではなく、ツールを呼び出し、結果を読み、タスクが終わるまで繰り返します。
- OSWorld
- OSWorldとは、Ubuntu、Windows、macOSなどの実際のOSを動かし、Webアプリとデスクトップアプリにわたる369の自由形式のタスクで、スクリプトによる判定でエージェントを採点するcomputer-useエージェント向けのベンチマークです。
- ビジョン言語モデル(VLM)
- ビジョン言語モデル(vision-language model、VLM)とは、画像とテキストを入力として受け取り、テキストを生成するモデルです。画像を説明し、画像についての質問に答え、文書を読み、スクリーンショットからデータを抽出できます。
- プロンプトインジェクション
- プロンプトインジェクション(prompt injection)とは、ユーザーが入力した、あるいはWebページ、ファイル、ツールの結果に隠されたテキストが言語モデルに渡され、開発者が意図しない形でモデルの挙動を変える攻撃です。