Die meisten Live-Transkriptionen korrigieren sich still selbst: Ein Wort erscheint und ändert sich einen Moment später, wenn mehr Audio ankommt. Für Untertitel, auf die man nur kurz blickt, ist das in Ordnung, aber ein Sprachagent oder Simultanübersetzer, der bereits auf die erste Fassung reagiert hat, kann das nicht zurücknehmen. Confucius4-R2T2 von NetEase Youdao, beschrieben in einem neuen Preprint mit offenen Gewichten und offenem Code, ist so gebaut, dass bereits angezeigter Text nie überarbeitet, sondern nur fortgesetzt wird.
Das Team ging von Qwen3-ASR-1.7B aus, das wir getestet haben, und trainierte nur dessen Sprachdecoder mit rund 1.500 Stunden firmeneigenem chinesischem und englischem Audio nach, ohne den Audio-Encoder mit etwa 300M Parametern anzutasten. Der Kniff liegt in den Trainingslabels. An jeder Stelle eines Clips ist das Ziel die längste frühere Ausgabe, die noch mit dem Anfang des vollständigen Transkripts des Modells selbst übereinstimmt, das Modell lernt also von sich selbst statt von einem separaten Lehrer. Ein eigenes Wait-Token erlaubt ihm abzuwarten, wenn das nächste Wort noch nicht feststeht, und eine Reinforcement-Learning-Stufe belohnt Genauigkeit und bestraft Wiederholungen und erfundene Fortsetzungen.
Für ein so kleines Modell sind die Ergebnisse stark. Mit Abschnitten von 160 Millisekunden und einem zur Neubewertung zurückgehaltenen Token lag der durchschnittliche Fehler über 13 englische und chinesische Testsätze bei 5.76%, gegenüber 5.15% für das Basismodell, das offline mit vollständigem Audio arbeitet. Im gleichen knappen Streaming-Setting kam das Basismodell auf durchschnittlich 21.01%, das Nachtraining beseitigt also den Großteil des Nachteils. R2T2 schlug im Mittel auch die drei kommerziellen Dienste im Vergleich, darunter AssemblyAI mit 8.27%, auch wenn zwei ungenannte kommerzielle Systeme bei Chinesisch genauer waren. Mit Abschnitten von 80 Millisekunden meldet das Paper eine mittlere Verzögerung unter einer halben Sekunde in beiden Sprachen, auf Kosten etwas Genauigkeit.
Wer auf Qwen3-ASR aufbaut, bekommt hier einen praktischen Upgrade-Pfad statt einer neuen Architektur: Encoder und Modellstruktur bleiben unverändert, bestehende Serving-Setups sollten also weiter passen. Das Basismodell kann bereits streamen, aber sein Teiltext kann sich ändern, und genau diese Eigenschaft entfernt R2T2. Am deutlichsten profitieren Entwickler von Sprachagenten, die bei jeder erkannten Phrase Aktionen auslösen.
Die Grenzen verdienen Aufmerksamkeit. Es handelt sich um ein Preprint ohne Peer Review, und das Trainingsaudio ist proprietär, die Gewinne lassen sich also nicht leicht nachvollziehen. Die Verzögerung wurde nur auf der Audio-Zeitachse gemessen, ohne echte Rechen-, Warteschlangen- oder Netzwerkzeit, und die Werte für die kommerziellen Dienste sind Näherungen, weil deren Pufferung nicht offengelegt ist. Das Paper nennt keine Lizenz für die Gewichte, prüfe also vor kommerzieller Nutzung das Repository. Ergebnisse für andere Sprachen stehen in einem Anhang, und ein Test mit deinem eigenen Audio bleibt vor einem Wechsel der vernünftige Schritt.