整ったウェブフォームでボタンを押すことしかできないコンピューター操作エージェントは、使い道が限られます。ゲームはもっと厳しい試験です。込み入った3Dの場面、何時間も続くクエスト、正確なタイミングが必要な操作があるからです。miHoYoのHonkai AIチームが中国の複数の大学やNational University of Singaporeと発表したプレプリントのGamerは、画面に映るものと、人が使うのと同じキーボードとマウスだけでゲームをプレイするモデルです。
学習は段階的に行われます。まずチームは、ゲームやシミュレーション環境から集めた数万時間分のキーボードとマウスの操作記録で事前学習を続け、行動が見える画面をどう変えるかをモデルに学ばせました。次に、Honkai: Star Railの厳選したプレイから約1,000時間分の指示データを作り、言語モデルで目標、重要な判断での推論、記憶の要約を付け加えました。「スパースシンキング調整」と呼ぶ段階で不要な推論を減らし、複数ターンの強化学習で 、長いセッション、限られたコンテキストウィンドウ、まれにしか得られない報酬に対応します。ベースモデルはQwen3-VL-8Bです。
モデルが考えている間もゲームは進むので、速さは正確さと同じくらい重要です。チームはStreaming-vLLMという推論エンジンを作りました。多くのゲームを同時に動かし、ターン間で保存した状態を再利用し、応答時間を短く保つもので、NvidiaのH200とA800で試験しています。約50時間の評価で、エージェントは95%以上の時間を自力でプレイしました。著者らは、いくつかの3Dゲームの課題で熟練プレイヤーに匹敵する成績を出し、一般的な2Dゲームのベンチマークでも競争力のある結果を得たと報告しています。
この設計の選択はゲーム以外でも意味があります。ゲーム内部のデータではなく、生のピクセルと普通の入力機器を使うのは、ChatGPT WorkやClaude in Chromeのような汎用エージェントと同じ賭けです。Gamerは、単純なキーボードとマウスの記録を大量に集めれば、そうしたエージェントの学習データとして役立つことを示唆しています。
注意点:重要な留保があります。これは査読前のプレプリントです。詳しい評価の大半はmiHoYo自身のゲームで行われており、チームは珍しいほど豊富なデータを使えます。「熟練プレイヤーに匹敵」は著者自身の表現で、論文は、より深い戦略が必要なゲームでは推論がまだ制約になると認めています。推論の運用コストも、今のところ広い利用の妨げです。