本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

コンピューター操作

コンピューター操作(computer use)とは、AI モデルが人と同じようにコンピューターを操作する能力です。スクリーンショットを見て、マウスのクリックとキー入力を送ることで、API のないソフトウェアでも作業できます。

別名: computer-use agent, CUA

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

ほとんどのエージェントは、エージェント向けに作られた API やツールを通じて動作します。しかし多くのプログラムには、グラフィカルなインターフェースしかありません。コンピューター操作なら、モデルがそうしたプログラムを直接扱えます。

仕組み

アプリケーションは、モデルにコンピューターのツールと画面を与えます。画面は通常、仮想マシンかコンテナです。モデルは、ある地点をクリックする、テキストを入力する、キーを押すといった操作を求めます。アプリケーションがそれを実行し、新しいスクリーンショットを返します。モデルは結果を見て次の操作を決めます。これはほかのツール利用と同じエージェントループで、画面がフィードバックになります。インターフェースを読み取れる視覚言語モデルが前提です。

ブラウザーエージェントとの違い

ブラウザーエージェントが操作するのはウェブブラウザーだけで、多くの場合ピクセルではなくページの構造を通じて操作します。コンピューター操作はどんなデスクトップアプリでも動かせますが、その分遅く、精度も劣ります。

例

エージェントがスプレッドシートの内容を古いデスクトップの会計ソフトに入力し、事務担当者と同じ画面をクリックして進みます。

リスクと限界

コンピューター操作は遅く、見慣れない画面では間違えます。また、プロンプトインジェクションにさらされます。ウェブページや画像の中のテキストが、ユーザーの指示を上書きすることがあるのです。Anthropic は、権限を最小限にした専用の仮想マシンかコンテナで実行し、機密データから遠ざけることを勧めています。OSWorld などのベンチマークで、モデルの出来具合を測れます。

関連用語

ブラウザーエージェント
ブラウザーエージェント(browser agent)とは、ウェブブラウザーを操作して、検索、クリック、フォームの入力、ページの読み込みなどのタスクをこなす AI エージェントです。多くの場合、画面を表示しないヘッドレスブラウザーで動きます。
AI エージェント
AI エージェント(AI agent)とは、言語モデルが次の手順を自分で決めるシステムです。固定の台本に従うのではなく、ツールを呼び出し、結果を読み、タスクが終わるまで繰り返します。
OSWorld
OSWorldとは、Ubuntu、Windows、macOSなどの実際のOSを動かし、Webアプリとデスクトップアプリにわたる369の自由形式のタスクで、スクリプトによる判定でエージェントを採点するcomputer-useエージェント向けのベンチマークです。
ビジョン言語モデル(VLM)
ビジョン言語モデル(vision-language model、VLM)とは、画像とテキストを入力として受け取り、テキストを生成するモデルです。画像を説明し、画像についての質問に答え、文書を読み、スクリーンショットからデータを抽出できます。
プロンプトインジェクション
プロンプトインジェクション(prompt injection)とは、ユーザーが入力した、あるいはWebページ、ファイル、ツールの結果に隠されたテキストが言語モデルに渡され、開発者が意図しない形でモデルの挙動を変える攻撃です。

出典