본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

AI 뉴스와 연구

연구 ·

miHoYo의 Gamer, 화면 픽셀만 보고 키보드와 마우스로 3D 게임 플레이

Gamer는 miHoYo Honkai AI 팀과 협력 대학의 프리프린트로, 화면만 보고 키보드와 마우스로 행동하는 시각·언어·행동 모델입니다. 수만 시간의 게임 플레이로 학습한 뒤 약 1,000시간의 주석 달린 궤적과 강화학습으로 훈련했습니다. 약 50시간의 테스트에서 95% 이상의 시간을 스스로 플레이했습니다.

깔끔한 웹 양식에서 버튼만 누를 줄 아는 컴퓨터 사용 에이전트는 쓸모가 제한적입니다. 게임은 더 어려운 시험입니다. 복잡한 3D 장면, 몇 시간씩 이어지는 퀘스트, 정확한 타이밍이 필요한 조작이 있기 때문입니다. miHoYo Honkai AI 팀이 여러 중국 대학, National University of Singapore와 함께 낸 프리프린트 Gamer는 화면에 보이는 것과 사람이 쓰는 것과 같은 키보드와 마우스만으로 게임을 하는 모델입니다.

학습은 단계별로 진행됩니다. 먼저 팀은 게임과 시뮬레이션 환경에서 모은 수만 시간 분량의 키보드·마우스 조작 기록으로 사전학습을 이어 가, 행동이 화면을 어떻게 바꾸는지 모델이 배우게 했습니다. 다음으로 Honkai: Star Rail의 엄선한 플레이에서 약 1,000시간 분량의 지시 데이터를 만들고, 언어 모델로 목표, 중요한 결정에서의 추론, 기억 요약을 덧붙였습니다. 희소 사고 튜닝이라 부르는 단계가 불필요한 추론을 줄이고, 다중 턴 강화학습 방법이 긴 세션, 제한된 컨텍스트 창, 드문 보상을 처리합니다. 기반 모델은 Qwen3-VL-8B입니다.

모델이 생각하는 동안에도 게임은 계속되므로 속도는 정확도만큼 중요합니다. 팀은 Streaming-vLLM이라는 서빙 엔진을 만들었습니다. 많은 게임 세션을 동시에 돌리고, 턴 사이에 저장된 상태를 재사용하며, 응답 시간을 낮게 유지하는 엔진으로, Nvidia H200과 A800 하드웨어에서 시험했습니다. 약 50시간의 평가에서 에이전트는 95% 이상의 시간을 스스로 플레이했습니다. 저자들은 여러 3D 게임 과제에서 숙련된 플레이어에 견줄 만한 성능을, 일반적인 2D 게임 벤치마크에서는 경쟁력 있는 점수를 냈다고 보고합니다.

이 설계 선택은 게임 밖에서도 의미가 있습니다. 게임 내부 데이터가 아니라 원시 픽셀과 평범한 입력 장치를 쓰는 것은 ChatGPT Work와 Claude in Chrome 같은 범용 에이전트가 거는 것과 같은 선택입니다. Gamer는 단순한 키보드·마우스 기록을 대량으로 모으면 그런 에이전트의 유용한 학습 데이터가 된다는 점을 시사합니다.

주의할 점: 단서가 중요합니다. 이것은 동료 심사를 거치지 않은 프리프린트입니다. 상세 평가의 대부분은 팀이 이례적으로 많은 데이터를 쓸 수 있는 miHoYo 자체 게임에서 이뤄졌습니다. "숙련된 플레이어에 견줄 만하다"는 저자 자신의 표현이며, 논문은 더 깊은 전략이 필요한 게임에서는 추론이 여전히 병목이라고 인정합니다. 서빙 비용도 당분간 더 넓은 활용을 막습니다.

결론: 모든 게임에 공통인 키보드·마우스 인터페이스는 범용 컴퓨터 사용 에이전트에 맞는 선택입니다. 다만 숙련 플레이어 수준이라는 주장은 주로 자사 게임 Honkai: Star Rail로 시험한 게임사에서 나온 것이므로 독립적인 벤치마크가 필요합니다.

출처: arXiv (Hugging Face Daily Papers)

다른 기사