A maioria das transcrições ao vivo se corrige em silêncio: uma palavra aparece e muda um instante depois, quando chega mais áudio. Isso serve para legendas que se olha de relance, mas um agente de voz ou um intérprete simultâneo que já agiu com base na primeira versão não tem como voltar atrás. O Confucius4-R2T2, da NetEase Youdao, descrito num novo preprint com pesos e código abertos, foi feito para que o texto já exibido nunca seja revisado, apenas ampliado.
A equipe partiu do Qwen3-ASR-1.7B, que avaliamos, e fez pós-treinamento só do decodificador de linguagem com cerca de 1.500 horas de áudio próprio em chinês e inglês, sem mexer no codificador de áudio de cerca de 300M parâmetros. O truque está nos rótulos de treinamento. Em cada ponto de um trecho, o alvo é a saída anterior mais longa que ainda coincide com o início da transcrição completa do próprio modelo, de modo que o modelo aprende consigo mesmo, e não com um professor separado. Um token Wait dedicado permite que ele espere quando a próxima palavra ainda não está definida, e uma etapa de aprendizado por reforço premia a precisão e penaliza repetições e continuações inventadas.
Os resultados são fortes para um modelo tão pequeno. Com trechos de 160 milissegundos e um token reservado para reconsideração, o erro médio em 13 conjuntos de teste em inglês e chinês foi de 5.76%, contra 5.15% do modelo base trabalhando offline com o áudio completo. Na mesma configuração apertada de streaming, o modelo base teve média de 21.01%, então o pós-treinamento elimina a maior parte da perda. O R2T2 também superou, na média, os três serviços comerciais da comparação, incluindo o AssemblyAI com 8.27%, embora dois sistemas comerciais sem nome tenham sido mais precisos em chinês. Com trechos de 80 milissegundos, o artigo relata atraso médio abaixo de meio segundo nos dois idiomas, com alguma perda de precisão.
Para quem constrói sobre o Qwen3-ASR, é um caminho prático de melhoria, não uma arquitetura nova: o codificador e a estrutura do modelo não mudam, então as configurações de serviço existentes devem continuar servindo. O modelo base já faz streaming, mas o texto parcial dele pode mudar, e é essa propriedade que o R2T2 elimina. Quem desenvolve agentes de voz que disparam ações a cada frase reconhecida é quem mais se beneficia.
Os limites merecem atenção. É um preprint sem revisão por pares, e o áudio de treinamento é proprietário, então os ganhos não são fáceis de reproduzir. O atraso foi medido só na linha do tempo do áudio, sem tempo real de processamento, fila ou rede, e os números dos serviços comerciais são aproximados, porque o buffer deles não é divulgado. O artigo não informa a licença dos pesos, então confira o repositório antes de uso comercial. Resultados em outros idiomas estão num apêndice, e testar com o seu próprio áudio continua sendo o passo sensato antes de trocar.