本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

OSWorld

OSWorldとは、Ubuntu、Windows、macOSなどの実際のOSを動かし、Webアプリとデスクトップアプリにわたる369の自由形式のタスクで、スクリプトによる判定でエージェントを採点するcomputer-useエージェント向けのベンチマークです。

別名: OSWorld-Verified

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

computer useエージェントは、人と同じようにコンピューターを操作します。画面を見て、マウスを動かし、クリックし、入力します。2024年に発表されたOSWorldは、簡略化した模擬環境ではなく、実際の仮想マシンでこうしたエージェントをテストします。

仕組み

ベンチマークには、実際の利用から集めた369のタスクがあります。Webアプリとデスクトップアプリ、ファイル操作、複数のアプリケーションにまたがるワークフローを含みます。各タスクには、マシンを既知の開始状態にするセットアップ設定と、最終結果を確認する専用のスクリプトがあります。採点はマシン上で実際に何が変わったかを見るため、エージェントは正しい手順を説明するだけでは合格できず、実際に実行する必要があります。

結果からわかったこと

公開時点で、人はタスクの72.36%超を完了したのに対し、最良のモデルは12.24%にとどまりました。著者らは、エージェントが最も苦労したのはGUIグラウンディング、つまり画面上のどの要素を操作すべきかを見極めることと、アプリケーションの仕組みを理解することだとしています。公開時の数字はすぐに古くなるため、最新のリーダーボードを確認してください。

スコアの使い方

OSWorldの結果は、モデルだけでなく、エージェントの作り方にも左右されます。見るスクリーンショット、使えるツール、許されるステップ数です。条件をそろえて比較してください。Webページ内だけで動くエージェントについてはブラウザエージェントをご覧ください。多くのcomputer-useエージェントはビジョン言語モデルの上に作られているため、OSWorldは視覚的な理解もテストします。こうしたAIエージェントは実際のシステムを操作するため、隔離された環境で実行してください。

関連用語

コンピューター操作
コンピューター操作(computer use)とは、AI モデルが人と同じようにコンピューターを操作する能力です。スクリーンショットを見て、マウスのクリックとキー入力を送ることで、API のないソフトウェアでも作業できます。
ブラウザーエージェント
ブラウザーエージェント(browser agent)とは、ウェブブラウザーを操作して、検索、クリック、フォームの入力、ページの読み込みなどのタスクをこなす AI エージェントです。多くの場合、画面を表示しないヘッドレスブラウザーで動きます。
AI ベンチマーク
AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
ビジョン言語モデル(VLM)
ビジョン言語モデル(vision-language model、VLM)とは、画像とテキストを入力として受け取り、テキストを生成するモデルです。画像を説明し、画像についての質問に答え、文書を読み、スクリーンショットからデータを抽出できます。
AI エージェント
AI エージェント(AI agent)とは、言語モデルが次の手順を自分で決めるシステムです。固定の台本に従うのではなく、ツールを呼び出し、結果を読み、タスクが終わるまで繰り返します。

出典