La mayoría de las transcripciones en directo se corrigen en silencio: aparece una palabra y cambia un instante después, cuando llega más audio. Eso vale para subtítulos que se miran de pasada, pero un agente de voz o un traductor simultáneo que ya ha actuado sobre la primera versión no puede deshacerlo. Confucius4-R2T2, de NetEase Youdao, descrito en un nuevo preprint con pesos y código abiertos, está hecho para que el texto que ya ha mostrado nunca se revise, solo se amplíe.
El equipo partió de Qwen3-ASR-1.7B, que reseñamos, y post-entrenó solo su decodificador de lenguaje con unas 1.500 horas de audio propio en chino e inglés, sin tocar el codificador de audio de unos 300M parámetros. El truco está en las etiquetas de entrenamiento. En cada punto de un clip, el objetivo es la salida anterior más larga que todavía coincide con el inicio de la transcripción completa del propio modelo, de modo que el modelo aprende de sí mismo y no de un maestro aparte. Un token Wait específico le permite esperar cuando la siguiente palabra aún no está clara, y una etapa de aprendizaje por refuerzo premia la precisión y penaliza las repeticiones y las continuaciones inventadas.
Los resultados son sólidos para un modelo tan pequeño. Con fragmentos de 160 milisegundos y un token reservado para reconsiderar, su error medio en 13 conjuntos de prueba en inglés y chino fue del 5.76%, frente al 5.15% del modelo base trabajando sin conexión con el audio completo. En la misma configuración de streaming ajustada, el modelo base promedió un 21.01%, así que el post-entrenamiento elimina la mayor parte de la penalización. R2T2 también superó en promedio a los tres servicios comerciales de la comparación, incluido AssemblyAI con un 8.27%, aunque dos sistemas comerciales sin nombre fueron más precisos en chino. Con fragmentos de 80 milisegundos, el artículo indica un retraso medio inferior a medio segundo en ambos idiomas, a costa de algo de precisión.
Para quien trabaja sobre Qwen3-ASR, es una vía de mejora práctica más que una arquitectura nueva: el codificador y la estructura del modelo no cambian, así que las configuraciones de servicio existentes deberían seguir valiendo. El modelo base ya ofrece streaming, pero su texto parcial puede cambiar, y esa es la propiedad que R2T2 elimina. Quienes construyen agentes de voz que lanzan acciones con cada frase reconocida son los beneficiarios más claros.
Los límites merecen atención. Es un preprint sin revisión por pares, y el audio de entrenamiento es privado, así que las mejoras no se pueden reproducir con facilidad. El retraso se midió solo sobre la línea temporal del audio, sin tiempo real de procesamiento, colas ni red, y las cifras de los servicios comerciales son aproximadas porque no revelan su almacenamiento en búfer. El artículo no indica la licencia de los pesos, así que conviene revisar el repositorio antes de un uso comercial. Los resultados en otros idiomas están en un apéndice, y probarlo con tu propio audio sigue siendo el paso sensato antes de cambiar.