Um agente de uso do computador que só sabe clicar em formulários web arrumados serve para pouco. Jogos são um teste mais difícil: cenas 3D cheias, missões que duram horas e controles que exigem tempo preciso. O Gamer, preprint da equipe Honkai AI da miHoYo com várias universidades chinesas e a National University of Singapore, é um modelo que joga usando só o que aparece na tela e o mesmo teclado e mouse que uma pessoa usa.
O treinamento acontece em etapas. Primeiro, a equipe continuou o pré-treinamento com dezenas de milhares de horas de gravações de teclado e mouse de jogos e ambientes simulados, para o modelo aprender como as ações mudam o que ele vê. Depois montou cerca de 1.000 horas de dados de instrução a partir de partidas selecionadas de Honkai: Star Rail, usando um modelo de linguagem para acrescentar objetivos, raciocínio em decisões importantes e resumos de memória. Uma etapa chamada ajuste de raciocínio esparso corta o raciocínio desnecessário, e um método de aprendizado por reforço de vários turnos lida com sessões longas, janelas de contexto limitadas e recompensas raras. O modelo base é o Qwen3-VL-8B.
Velocidade importa tanto quanto precisão, porque o jogo continua enquanto o modelo pensa. A equipe criou o Streaming-vLLM, um motor de serviço que roda muitas partidas ao mesmo tempo, reaproveita o estado guardado entre turnos e mantém o tempo de resposta baixo, testado em hardware Nvidia H200 e A800. Em cerca de 50 horas de avaliação, o agente jogou sozinho mais de 95% do tempo. Os autores relatam desempenho comparável ao de jogadores habilidosos em várias tarefas de jogos 3D e resultados competitivos em benchmarks comuns de jogos 2D.
A escolha de projeto importa além dos jogos. Usar pixels brutos e dispositivos de entrada comuns, em vez de dados internos do jogo, é a mesma aposta de agentes gerais como o ChatGPT Work e o Claude in Chrome. O Gamer sugere que grandes volumes de registros simples de teclado e mouse são bons dados de treinamento para esse tipo de agente.
O porém é sério. É um preprint sem revisão por pares. A maior parte da avaliação detalhada é feita no próprio jogo da miHoYo, ao qual a equipe tem acesso incomum a dados. "Comparável a jogadores habilidosos" é a descrição dos próprios autores, e o artigo admite que o raciocínio continua sendo um gargalo em jogos que pedem mais estratégia. Os custos de serviço também limitam, por enquanto, um uso mais amplo.