本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

AIニュースと研究

研究 ·

miHoYoのGamer、画面のピクセルだけを見てキーボードとマウスで3Dゲームをプレイ

GamerはmiHoYoのHonkai AIチームと提携大学によるプレプリントで、画面だけを見てキーボードとマウスで操作する視覚・言語・行動モデルです。数万時間のプレイデータで学習した後、約1,000時間の注釈付き軌跡と強化学習で訓練されました。約50時間のテストで、95%以上の時間を自力でプレイしました。

整ったウェブフォームでボタンを押すことしかできないコンピューター操作エージェントは、使い道が限られます。ゲームはもっと厳しい試験です。込み入った3Dの場面、何時間も続くクエスト、正確なタイミングが必要な操作があるからです。miHoYoのHonkai AIチームが中国の複数の大学やNational University of Singaporeと発表したプレプリントのGamerは、画面に映るものと、人が使うのと同じキーボードとマウスだけでゲームをプレイするモデルです。

学習は段階的に行われます。まずチームは、ゲームやシミュレーション環境から集めた数万時間分のキーボードとマウスの操作記録で事前学習を続け、行動が見える画面をどう変えるかをモデルに学ばせました。次に、Honkai: Star Railの厳選したプレイから約1,000時間分の指示データを作り、言語モデルで目標、重要な判断での推論、記憶の要約を付け加えました。「スパースシンキング調整」と呼ぶ段階で不要な推論を減らし、複数ターンの強化学習で、長いセッション、限られたコンテキストウィンドウ、まれにしか得られない報酬に対応します。ベースモデルはQwen3-VL-8Bです。

モデルが考えている間もゲームは進むので、速さは正確さと同じくらい重要です。チームはStreaming-vLLMという推論エンジンを作りました。多くのゲームを同時に動かし、ターン間で保存した状態を再利用し、応答時間を短く保つもので、NvidiaのH200とA800で試験しています。約50時間の評価で、エージェントは95%以上の時間を自力でプレイしました。著者らは、いくつかの3Dゲームの課題で熟練プレイヤーに匹敵する成績を出し、一般的な2Dゲームのベンチマークでも競争力のある結果を得たと報告しています。

この設計の選択はゲーム以外でも意味があります。ゲーム内部のデータではなく、生のピクセルと普通の入力機器を使うのは、ChatGPT WorkやClaude in Chromeのような汎用エージェントと同じ賭けです。Gamerは、単純なキーボードとマウスの記録を大量に集めれば、そうしたエージェントの学習データとして役立つことを示唆しています。

注意点:重要な留保があります。これは査読前のプレプリントです。詳しい評価の大半はmiHoYo自身のゲームで行われており、チームは珍しいほど豊富なデータを使えます。「熟練プレイヤーに匹敵」は著者自身の表現で、論文は、より深い戦略が必要なゲームでは推論がまだ制約になると認めています。推論の運用コストも、今のところ広い利用の妨げです。

結論: あらゆるゲームに共通するキーボードとマウスの操作系は、汎用のコンピューター操作エージェントにとって正しい選択です。ただし熟練プレイヤー並みという主張は、主に自社タイトルのHonkai: Star Railで試したゲーム会社によるもので、独立したベンチマークが必要です。

出典: arXiv (Hugging Face Daily Papers)

その他の記事