OSWorld
OSWorldとは、Ubuntu、Windows、macOSなどの実際のOSを動かし、Webアプリとデスクトップアプリにわたる369の自由形式のタスクで、スクリプトによる判定でエージェントを採点するcomputer-useエージェント向けのベンチマークです。
別名: OSWorld-Verified
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
computer useエージェントは、人と同じようにコンピューターを操作します。画面を見て、マウスを動かし、クリックし、入力します。2024年に発表されたOSWorldは、簡略化した模擬環境ではなく、実際の仮想マシンでこうしたエージェントをテストします。
仕組み
ベンチマークには、実際の利用から集めた369のタスクがあります。Webアプリとデスクトップアプリ、ファイル操作、複数のアプリケーションにまたがるワークフローを含みます。各タスクには、マシンを既知の開始状態にするセットアップ設定と、最終結果を確認する専用のスクリプトがあります。採点はマシン上で実際に何が変わったかを見るため、エージェントは正しい手順を説明するだけでは合格できず、実際に実行する必要があります。
結果からわかったこと
公開時点で、人はタスクの72.36%超を完了したのに対し、最良のモデルは12.24%にとどまりました。著者らは、エージェントが最も苦労したのはGUIグラウンディング、つまり画面上のどの要素を操作すべきかを見極めることと、アプリケーションの仕組みを理解することだとしています。公開時の数字はすぐに古くなるため、最新のリーダーボードを確認してください。
スコアの使い方
OSWorldの結果は、モデルだけでなく、エージェントの作り方にも左右されます。見るスクリーンショッ ト、使えるツール、許されるステップ数です。条件をそろえて比較してください。Webページ内だけで動くエージェントについてはブラウザエージェントをご覧ください。多くのcomputer-useエージェントはビジョン言語モデルの上に作られているため、OSWorldは視覚的な理解もテストします。こうしたAIエージェントは実際のシステムを操作するため、隔離された環境で実行してください。
関連用語
- コンピューター操作
- コンピューター操作(computer use)とは、AI モデルが人と同じようにコンピューターを操作する能力です。スクリーンショットを見て、マウスのクリックとキー入力を送ることで、API のないソフトウェアでも作業できます。
- ブラウザーエージェント
- ブラウザーエージェント(browser agent)とは、ウェブブラウザーを操作して、検索、クリック、フォームの入力、ページの読み込みなどのタスクをこなす AI エージェントです。多くの場合、画面を表示しないヘッドレスブラウザーで動きます。
- AI ベンチマーク
- AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
- ビジョン言語モデル(VLM)
- ビジョン言語モデル(vision-language model、VLM)とは、画像とテキストを入力として受け取り、テキストを生成するモデルです。画像を説明し、画像についての質問に答え、文書を読み、スクリーンショットからデータを抽出できます。
- AI エージェント
- AI エージェント(AI agent)とは、言語モデルが次の手順を自分で決めるシステムです。固定の台本に従うのではなく、ツールを呼び出し、結果を読み、タスクが終わるまで繰り返します。