La plupart des transcriptions en direct se corrigent en silence : un mot apparaît, puis change un instant plus tard quand davantage d'audio arrive. Cela convient aux sous-titres qu'on regarde d'un œil, mais un agent vocal ou un interprète simultané qui a déjà agi sur la première version ne peut pas revenir en arrière. Confucius4-R2T2, de NetEase Youdao, décrit dans une nouvelle prépublication avec poids et code ouverts, est conçu pour que le texte déjà affiché ne soit jamais révisé, seulement prolongé.
L'équipe est partie de Qwen3-ASR-1.7B, que nous testons, et n'a post-entraîné que son décodeur de langage sur environ 1 500 heures d'audio chinois et anglais appartenant à l'entreprise, sans toucher à l'encodeur audio d'environ 300M paramètres. L'astuce tient aux étiquettes d'entraînement. À chaque instant d'un extrait, la cible est la plus longue sortie antérieure qui correspond encore au début de la transcription complète produite par le modèle lui-même : le modèle apprend donc de lui-même plutôt que d'un enseignant distinct. Un jeton Wait dédié lui permet d'attendre quand le mot suivant n'est pas encore fixé, et une étape d'apprentissage par renforcement récompense la précision tout en pénalisant les répétitions et les suites inventées.
Les résultats sont solides pour un modèle de cette taille. Avec des segments de 160 millisecondes et un jeton réservé pour être reconsidéré, son erreur moyenne sur 13 jeux de test anglais et chinois est de 5.76%, contre 5.15% pour le modèle de base travaillant hors ligne sur l'audio complet. Dans le même réglage de streaming serré, le modèle de base atteint en moyenne 21.01% : le post-entraînement efface donc l'essentiel de la pénalité. R2T2 bat aussi en moyenne les trois services commerciaux de la comparaison, dont AssemblyAI à 8.27%, même si deux systèmes commerciaux non nommés sont plus précis en chinois. Avec des segments de 80 millisecondes, l'article indique un retard moyen inférieur à une demi-seconde dans les deux langues, au prix d'un peu de précision.
Pour qui s'appuie sur Qwen3-ASR, c'est une voie d'amélioration pratique plutôt qu'une nouvelle architecture : l'encodeur et la structure du modèle ne changent pas, et les configurations de service existantes devraient donc rester valables. Le modèle de base gère déjà le streaming, mais son texte partiel peut changer, et c'est cette propriété que R2T2 supprime. Les développeurs d'agents vocaux qui déclenchent des actions à chaque phrase reconnue en sont les bénéficiaires les plus évidents.
Les limites méritent l'attention. Il s'agit d'une prépublication non relue par les pairs, et l'audio d'entraînement est propriétaire, si bien que les gains ne sont pas faciles à reproduire. Le retard n'a été mesuré que sur la chronologie audio, sans temps réel de calcul, de file d'attente ni de réseau, et les chiffres des services commerciaux sont approximatifs, car leur mise en mémoire tampon n'est pas publiée. L'article n'indique pas la licence des poids : vérifiez le dépôt avant un usage commercial. Les résultats dans d'autres langues figurent en annexe, et tester le modèle sur votre propre audio reste l'étape raisonnable avant de changer.