Un agent d'usage informatique qui ne sait cliquer que dans des formulaires web bien rangés sert peu. Les jeux sont un test plus dur : scènes 3D chargées, quêtes de plusieurs heures et commandes exigeant un timing précis. Gamer, une prépublication de l'équipe Honkai AI de miHoYo avec plusieurs universités chinoises et la National University of Singapore, est un modèle qui y joue à partir de ce qui s'affiche à l'écran, avec le même clavier et la même souris qu'un humain.
L'entraînement se fait par étapes. L'équipe a d'abord prolongé le pré-entraînement sur des dizaines de milliers d'heures d'enregistrements clavier et souris issus de jeux et d'environnements simulés, pour que le modèle apprenne comment les actions modifient ce qu'il voit. Elle a ensuite constitué environ 1 000 heures de données d'instruction à partir de parties choisies de Honkai: Star Rail, un modèle de langage ajoutant objectifs, raisonnement aux décisions clés et résumés de mémoire. Une étape appelée réglage à réflexion clairsemée réduit le raisonnement superflu, et une méthode d'apprentissage par renforcement multi-tours gère les longues sessions, les fenêtres de contexte limitées et les récompenses rares. Le modèle de base est Qwen3-VL-8B.
La vitesse compte autant que la précision, car le jeu continue pendant que le modèle réfléchit. L'équipe a créé Streaming-vLLM, un moteur de service qui fait tourner de nombreuses parties à la fois, réutilise l'état mis en cache d'un tour à l'autre et garde des temps de réponse bas, testé sur du matériel Nvidia H200 et A800. Sur environ 50 heures d'évaluation, l'agent a joué seul plus de 95% du temps. Les auteurs font état de performances comparables à celles de joueurs expérimentés sur plusieurs tâches de jeux 3D et de scores compétitifs sur des bancs d'essai classiques de jeux 2D.
Ce choix de conception compte au-delà du jeu. Utiliser les pixels bruts et des périphériques ordinaires plutôt que les données internes du jeu est le même pari que font des agents généralistes comme ChatGPT Work et Claude in Chrome. Gamer suggère que de grandes quantités de simples journaux clavier et souris constituent de bonnes données d'entraînement pour ce type d'agent.
Le hic est de taille. C'est une prépublication non évaluée par les pairs. L'essentiel de l'évaluation détaillée porte sur le propre jeu de miHoYo, auquel l'équipe a un accès aux données inhabituel. "Comparable à des joueurs expérimentés" est la formule des auteurs eux-mêmes, et l'article reconnaît que le raisonnement reste un goulot d'étranglement dans les jeux qui demandent plus de stratégie. Les coûts de service limitent aussi, pour l'instant, un usage plus large.