Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Notícias e pesquisa de IA

Pesquisa ·

Agente Gamer da miHoYo joga jogos 3D a partir dos pixels da tela, com teclado e mouse

O Gamer, preprint da equipe Honkai AI da miHoYo e universidades parceiras, é um modelo de visão, linguagem e ação que só vê a tela e age por teclado e mouse. Foi treinado com dezenas de milhares de horas de partidas e depois com cerca de 1.000 horas de trajetórias anotadas e aprendizado por reforço. Em cerca de 50 horas de testes, jogou sozinho mais de 95% do tempo.

Um agente de uso do computador que só sabe clicar em formulários web arrumados serve para pouco. Jogos são um teste mais difícil: cenas 3D cheias, missões que duram horas e controles que exigem tempo preciso. O Gamer, preprint da equipe Honkai AI da miHoYo com várias universidades chinesas e a National University of Singapore, é um modelo que joga usando só o que aparece na tela e o mesmo teclado e mouse que uma pessoa usa.

O treinamento acontece em etapas. Primeiro, a equipe continuou o pré-treinamento com dezenas de milhares de horas de gravações de teclado e mouse de jogos e ambientes simulados, para o modelo aprender como as ações mudam o que ele vê. Depois montou cerca de 1.000 horas de dados de instrução a partir de partidas selecionadas de Honkai: Star Rail, usando um modelo de linguagem para acrescentar objetivos, raciocínio em decisões importantes e resumos de memória. Uma etapa chamada ajuste de raciocínio esparso corta o raciocínio desnecessário, e um método de aprendizado por reforço de vários turnos lida com sessões longas, janelas de contexto limitadas e recompensas raras. O modelo base é o Qwen3-VL-8B.

Velocidade importa tanto quanto precisão, porque o jogo continua enquanto o modelo pensa. A equipe criou o Streaming-vLLM, um motor de serviço que roda muitas partidas ao mesmo tempo, reaproveita o estado guardado entre turnos e mantém o tempo de resposta baixo, testado em hardware Nvidia H200 e A800. Em cerca de 50 horas de avaliação, o agente jogou sozinho mais de 95% do tempo. Os autores relatam desempenho comparável ao de jogadores habilidosos em várias tarefas de jogos 3D e resultados competitivos em benchmarks comuns de jogos 2D.

A escolha de projeto importa além dos jogos. Usar pixels brutos e dispositivos de entrada comuns, em vez de dados internos do jogo, é a mesma aposta de agentes gerais como o ChatGPT Work e o Claude in Chrome. O Gamer sugere que grandes volumes de registros simples de teclado e mouse são bons dados de treinamento para esse tipo de agente.

O porém é sério. É um preprint sem revisão por pares. A maior parte da avaliação detalhada é feita no próprio jogo da miHoYo, ao qual a equipe tem acesso incomum a dados. "Comparável a jogadores habilidosos" é a descrição dos próprios autores, e o artigo admite que o raciocínio continua sendo um gargalo em jogos que pedem mais estratégia. Os custos de serviço também limitam, por enquanto, um uso mais amplo.

Nossa opinião: Uma única interface de teclado e mouse para todos os jogos é a aposta certa para agentes gerais que usam o computador. A alegação de habilidade comparável à de bons jogadores vem de uma publicadora de jogos que testa principalmente no próprio título, Honkai: Star Rail, então benchmarks independentes são necessários.

Fonte: arXiv (Hugging Face Daily Papers)

Mais matérias