Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

KI-News & Forschung

Forschung ·

miHoYos Agent Gamer spielt 3D-Spiele anhand der Bildschirmpixel mit Tastatur und Maus

Gamer, ein Preprint des Honkai-AI-Teams von miHoYo und Partneruniversitäten, ist ein Vision-Language-Action-Modell, das nur den Bildschirm sieht und über Tastatur und Maus handelt. Es wurde mit Zehntausenden Stunden Spielverlauf trainiert, dann mit etwa 1.000 Stunden annotierter Abläufe und Reinforcement Learning. In rund 50 Stunden Tests spielte es mehr als 95% der Zeit selbstständig.

Ein Agent für die Computerbedienung, der nur Knöpfe in ordentlichen Webformularen klicken kann, nützt wenig. Spiele sind ein härterer Test: volle 3D-Szenen, Quests, die Stunden dauern, und Steuerung mit genauem Timing. Gamer, ein Preprint des Honkai-AI-Teams von miHoYo mit mehreren chinesischen Universitäten und der National University of Singapore, ist ein Modell, das solche Spiele nur anhand des Bildschirms und mit derselben Tastatur und Maus spielt, die ein Mensch benutzt.

Das Training läuft in Stufen. Zuerst setzte das Team das Pretraining mit Zehntausenden Stunden an Tastatur- und Mausaufzeichnungen aus Spielen und simulierten Umgebungen fort, damit das Modell lernt, wie Aktionen das Bild verändern. Dann erstellte es etwa 1.000 Stunden Anweisungsdaten aus ausgewählten Partien von Honkai: Star Rail und ließ ein Sprachmodell Aufgabenziele, Begründungen an wichtigen Entscheidungen und laufende Gedächtniszusammenfassungen ergänzen. Ein Schritt, den das Team Sparse-Thinking-Tuning nennt, kürzt unnötiges Nachdenken, und ein mehrstufiges Reinforcement-Learning-Verfahren bewältigt lange Sitzungen, begrenzte Kontextfenster und seltene Belohnungen. Das Basismodell ist Qwen3-VL-8B.

Geschwindigkeit zählt so viel wie Genauigkeit, denn das Spiel läuft weiter, während das Modell nachdenkt. Das Team baute Streaming-vLLM, eine Serving-Engine, die viele Spielsitzungen gleichzeitig betreibt, gespeicherten Zustand zwischen Zügen wiederverwendet und Antwortzeiten niedrig hält, getestet auf Nvidia-Hardware H200 und A800. In rund 50 Stunden Bewertung spielte der Agent mehr als 95% der Zeit selbstständig. Die Autoren berichten von einer Leistung, die bei mehreren 3D-Spielaufgaben geübten Spielern ähnelt, und von wettbewerbsfähigen Werten in üblichen 2D-Spiel-Benchmarks.

Die Designentscheidung zählt über Spiele hinaus. Rohe Pixel und normale Eingabegeräte statt interner Spieldaten zu nutzen, ist dieselbe Wette, die allgemeine Agenten wie ChatGPT Work und Claude in Chrome eingehen. Gamer deutet an, dass große Mengen einfacher Tastatur- und Mausprotokolle nützliche Trainingsdaten für solche Agenten sind.

Der Haken wiegt schwer. Es ist ein Preprint ohne Peer Review. Der Großteil der genauen Bewertung findet im eigenen Spiel von miHoYo statt, zu dem das Team ungewöhnlichen Datenzugang hat. "Vergleichbar mit geübten Spielern" ist die Beschreibung der Autoren selbst, und das Papier räumt ein, dass das Denken in Spielen mit tieferer Strategie ein Engpass bleibt. Auch die Betriebskosten begrenzen vorerst einen breiteren Einsatz.

Unser Fazit: Eine einzige Tastatur-und-Maus-Schnittstelle für alle Spiele ist die richtige Wette für allgemeine Computer-Agenten. Die Behauptung, es spiele so gut wie geübte Spieler, stammt von einem Spielepublisher, der vor allem mit seinem eigenen Titel Honkai: Star Rail testet, daher braucht es unabhängige Benchmarks.

Quelle: arXiv (Hugging Face Daily Papers)

Weitere Artikel