Un agente que usa el ordenador y solo sabe pulsar botones en formularios web ordenados sirve de poco. Los juegos son una prueba más dura: escenas 3D cargadas, misiones que duran horas y controles que exigen precisión. Gamer, un preprint del equipo Honkai AI de miHoYo con varias universidades chinas y la National University of Singapore, es un modelo que juega usando solo lo que aparece en pantalla y el mismo teclado y ratón que usa una persona.
El entrenamiento va por etapas. Primero el equipo siguió el preentrenamiento con decenas de miles de horas de grabaciones de teclado y ratón de juegos y entornos simulados, para que el modelo aprenda cómo las acciones cambian lo que ve. Después crearon unas 1.000 horas de datos de instrucciones a partir de partidas seleccionadas de Honkai: Star Rail, usando un modelo de lenguaje para añadir objetivos, razonamiento en decisiones clave y resúmenes de memoria. Un paso que llaman ajuste de razonamiento disperso recorta el razonamiento innecesario, y un método de aprendizaje por refuerzo de varios turnos maneja sesiones largas, ventanas de contexto limitadas y recompensas escasas. El modelo base es Qwen3-VL-8B.
La velocidad importa tanto como la precisión, porque el juego sigue mientras el modelo piensa. El equipo creó Streaming-vLLM, un motor que ejecuta muchas partidas a la vez, reutiliza el estado guardado entre turnos y mantiene bajos los tiempos de respuesta, probado en hardware Nvidia H200 y A800. En unas 50 horas de evaluación, el agente jugó por su cuenta más del 95% del tiempo. Los autores informan de un rendimiento comparable al de jugadores hábiles en varias tareas de juegos 3D y de resultados competitivos en pruebas estándar de juegos 2D.
La decisión de diseño importa más allá de los juegos. Usar píxeles y dispositivos de entrada normales, en lugar de los datos internos del juego, es la misma apuesta que hacen agentes generales como ChatGPT Work y Claude in Chrome. Gamer sugiere que grandes cantidades de registros simples de teclado y ratón son buenos datos de entrenamiento para ese tipo de agente.
La pega es importante. Es un preprint sin revisión por pares. La mayor parte de la evaluación detallada se hace en el propio juego de miHoYo, donde el equipo tiene un acceso a datos poco común. "Comparable a jugadores hábiles" es la descripción de los propios autores, y el artículo reconoce que el razonamiento sigue siendo un cuello de botella en juegos que exigen más estrategia. Los costes de servicio también limitan, por ahora, un uso más amplio.