Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Actualités et recherche IA

Recherche ·

L'agent Gamer de miHoYo joue à des jeux 3D à partir des pixels de l'écran, au clavier et à la souris

Gamer, une prépublication de l'équipe Honkai AI de miHoYo et d'universités partenaires, est un modèle vision-langage-action qui ne voit que l'écran et agit au clavier et à la souris. Il a été entraîné sur des dizaines de milliers d'heures de jeu, puis sur environ 1 000 heures de trajectoires annotées et par apprentissage par renforcement. Sur environ 50 heures de tests, il a joué seul plus de 95% du temps.

Un agent d'usage informatique qui ne sait cliquer que dans des formulaires web bien rangés sert peu. Les jeux sont un test plus dur : scènes 3D chargées, quêtes de plusieurs heures et commandes exigeant un timing précis. Gamer, une prépublication de l'équipe Honkai AI de miHoYo avec plusieurs universités chinoises et la National University of Singapore, est un modèle qui y joue à partir de ce qui s'affiche à l'écran, avec le même clavier et la même souris qu'un humain.

L'entraînement se fait par étapes. L'équipe a d'abord prolongé le pré-entraînement sur des dizaines de milliers d'heures d'enregistrements clavier et souris issus de jeux et d'environnements simulés, pour que le modèle apprenne comment les actions modifient ce qu'il voit. Elle a ensuite constitué environ 1 000 heures de données d'instruction à partir de parties choisies de Honkai: Star Rail, un modèle de langage ajoutant objectifs, raisonnement aux décisions clés et résumés de mémoire. Une étape appelée réglage à réflexion clairsemée réduit le raisonnement superflu, et une méthode d'apprentissage par renforcement multi-tours gère les longues sessions, les fenêtres de contexte limitées et les récompenses rares. Le modèle de base est Qwen3-VL-8B.

La vitesse compte autant que la précision, car le jeu continue pendant que le modèle réfléchit. L'équipe a créé Streaming-vLLM, un moteur de service qui fait tourner de nombreuses parties à la fois, réutilise l'état mis en cache d'un tour à l'autre et garde des temps de réponse bas, testé sur du matériel Nvidia H200 et A800. Sur environ 50 heures d'évaluation, l'agent a joué seul plus de 95% du temps. Les auteurs font état de performances comparables à celles de joueurs expérimentés sur plusieurs tâches de jeux 3D et de scores compétitifs sur des bancs d'essai classiques de jeux 2D.

Ce choix de conception compte au-delà du jeu. Utiliser les pixels bruts et des périphériques ordinaires plutôt que les données internes du jeu est le même pari que font des agents généralistes comme ChatGPT Work et Claude in Chrome. Gamer suggère que de grandes quantités de simples journaux clavier et souris constituent de bonnes données d'entraînement pour ce type d'agent.

Le hic est de taille. C'est une prépublication non évaluée par les pairs. L'essentiel de l'évaluation détaillée porte sur le propre jeu de miHoYo, auquel l'équipe a un accès aux données inhabituel. "Comparable à des joueurs expérimentés" est la formule des auteurs eux-mêmes, et l'article reconnaît que le raisonnement reste un goulot d'étranglement dans les jeux qui demandent plus de stratégie. Les coûts de service limitent aussi, pour l'instant, un usage plus large.

Notre avis : Une interface unique clavier-souris pour tous les jeux est le bon pari pour des agents généralistes sur ordinateur. L'affirmation d'un niveau comparable à celui de bons joueurs vient d'un éditeur de jeux qui teste surtout sur son propre titre, Honkai: Star Rail : des évaluations indépendantes sont nécessaires.

Source : arXiv (Hugging Face Daily Papers)

Autres articles