Ein Agent für die Computerbedienung, der nur Knöpfe in ordentlichen Webformularen klicken kann, nützt wenig. Spiele sind ein härterer Test: volle 3D-Szenen, Quests, die Stunden dauern, und Steuerung mit genauem Timing. Gamer, ein Preprint des Honkai-AI-Teams von miHoYo mit mehreren chinesischen Universitäten und der National University of Singapore, ist ein Modell, das solche Spiele nur anhand des Bildschirms und mit derselben Tastatur und Maus spielt, die ein Mensch benutzt.
Das Training läuft in Stufen. Zuerst setzte das Team das Pretraining mit Zehntausenden Stunden an Tastatur- und Mausaufzeichnungen aus Spielen und simulierten Umgebungen fort, damit das Modell lernt, wie Aktionen das Bild verändern. Dann erstellte es etwa 1.000 Stunden Anweisungsdaten aus ausgewählten Partien von Honkai: Star Rail und ließ ein Sprachmodell Aufgabenziele, Begründungen an wichtigen Entscheidungen und laufende Gedächtniszusammenfassungen ergänzen. Ein Schritt, den das Team Sparse-Thinking-Tuning nennt, kürzt unnötiges Nachdenken, und ein mehrstufiges Reinforcement-Learning-Verfahren bewältigt lange Sitzungen, begrenzte Kontextfenster und seltene Belohnungen. Das Basismodell ist Qwen3-VL-8B.
Geschwindigkeit zählt so viel wie Genauigkeit, denn das Spiel läuft weiter, während das Modell nachdenkt. Das Team baute Streaming-vLLM, eine Serving-Engine, die viele Spielsitzungen gleichzeitig betreibt, gespeicherten Zustand zwischen Zügen wiederverwendet und Antwortzeiten niedrig hält, getestet auf Nvidia-Hardware H200 und A800. In rund 50 Stunden Bewertung spielte der Agent mehr als 95% der Zeit selbstständig. Die Autoren berichten von einer Leistung, die bei mehreren 3D-Spielaufgaben geübten Spielern ähnelt, und von wettbewerbsfähigen Werten in üblichen 2D-Spiel-Benchmarks.
Die Designentscheidung zählt über Spiele hinaus. Rohe Pixel und normale Eingabegeräte statt interner Spieldaten zu nutzen, ist dieselbe Wette, die allgemeine Agenten wie ChatGPT Work und Claude in Chrome eingehen. Gamer deutet an, dass große Mengen einfacher Tastatur- und Mausprotokolle nützliche Trainingsdaten für solche Agenten sind.
Der Haken wiegt schwer. Es ist ein Preprint ohne Peer Review. Der Großteil der genauen Bewertung findet im eigenen Spiel von miHoYo statt, zu dem das Team ungewöhnlichen Datenzugang hat. "Vergleichbar mit geübten Spielern" ist die Beschreibung der Autoren selbst, und das Papier räumt ein, dass das Denken in Spielen mit tieferer Strategie ein Engpass bleibt. Auch die Betriebskosten begrenzen vorerst einen breiteren Einsatz.