Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Noticias e investigación de IA

Investigación ·

El agente Gamer de miHoYo juega a juegos 3D desde los píxeles de la pantalla con teclado y ratón

Gamer, un preprint del equipo Honkai AI de miHoYo y universidades asociadas, es un modelo de visión, lenguaje y acción que solo ve la pantalla y actúa con teclado y ratón. Se entrenó con decenas de miles de horas de partidas y después con unas 1.000 horas de trayectorias anotadas y aprendizaje por refuerzo. En unas 50 horas de pruebas jugó por su cuenta más del 95% del tiempo.

Un agente que usa el ordenador y solo sabe pulsar botones en formularios web ordenados sirve de poco. Los juegos son una prueba más dura: escenas 3D cargadas, misiones que duran horas y controles que exigen precisión. Gamer, un preprint del equipo Honkai AI de miHoYo con varias universidades chinas y la National University of Singapore, es un modelo que juega usando solo lo que aparece en pantalla y el mismo teclado y ratón que usa una persona.

El entrenamiento va por etapas. Primero el equipo siguió el preentrenamiento con decenas de miles de horas de grabaciones de teclado y ratón de juegos y entornos simulados, para que el modelo aprenda cómo las acciones cambian lo que ve. Después crearon unas 1.000 horas de datos de instrucciones a partir de partidas seleccionadas de Honkai: Star Rail, usando un modelo de lenguaje para añadir objetivos, razonamiento en decisiones clave y resúmenes de memoria. Un paso que llaman ajuste de razonamiento disperso recorta el razonamiento innecesario, y un método de aprendizaje por refuerzo de varios turnos maneja sesiones largas, ventanas de contexto limitadas y recompensas escasas. El modelo base es Qwen3-VL-8B.

La velocidad importa tanto como la precisión, porque el juego sigue mientras el modelo piensa. El equipo creó Streaming-vLLM, un motor que ejecuta muchas partidas a la vez, reutiliza el estado guardado entre turnos y mantiene bajos los tiempos de respuesta, probado en hardware Nvidia H200 y A800. En unas 50 horas de evaluación, el agente jugó por su cuenta más del 95% del tiempo. Los autores informan de un rendimiento comparable al de jugadores hábiles en varias tareas de juegos 3D y de resultados competitivos en pruebas estándar de juegos 2D.

La decisión de diseño importa más allá de los juegos. Usar píxeles y dispositivos de entrada normales, en lugar de los datos internos del juego, es la misma apuesta que hacen agentes generales como ChatGPT Work y Claude in Chrome. Gamer sugiere que grandes cantidades de registros simples de teclado y ratón son buenos datos de entrenamiento para ese tipo de agente.

La pega es importante. Es un preprint sin revisión por pares. La mayor parte de la evaluación detallada se hace en el propio juego de miHoYo, donde el equipo tiene un acceso a datos poco común. "Comparable a jugadores hábiles" es la descripción de los propios autores, y el artículo reconoce que el razonamiento sigue siendo un cuello de botella en juegos que exigen más estrategia. Los costes de servicio también limitan, por ahora, un uso más amplio.

Nuestra opinión: Una sola interfaz de teclado y ratón para todos los juegos es la apuesta correcta para agentes generales que usan el ordenador. La afirmación de una habilidad comparable a buenos jugadores viene de una editora que prueba sobre todo con su propio título, Honkai: Star Rail, así que hacen falta pruebas independientes.

Fuente: arXiv (Hugging Face Daily Papers)

Más historias