대부분의 실시간 받아쓰기는 조용히 스스로를 고칩니다. 단어가 나타났다가 음성이 더 들어오면 잠시 뒤 바뀝니다. 흘끗 보는 자막이라면 괜찮지만, 첫 번째 버전을 근거로 이미 행동한 음성 에이전트나 동시통역기는 이를 되돌릴 수 없습니다. 새 프리프린트로 소개되고 가중치와 코드가 공개된 NetEase Youdao의 Confucius4-R2T2는 이미 보여 준 텍스트를 절대 고치지 않고 뒤에 이어 붙이기만 하도록 만들어졌습니다.
팀은 저희가 리뷰한 Qwen3-ASR-1.7B에서 출발해 약 1,500시간 분량의 자체 중국어·영어 음성으로 언어 디코더만 사후 학습했고, 약 300M 파라미터의 음성 인코더는 건드리지 않았습니다. 비결은 학습 라벨에 있습니다. 음성의 각 시점에서 목표는 모델 자신이 전체 음성으로 만든 받아쓰기의 앞부분과 여전히 일치하는 이전 출력 가운데 가장 긴 것입니다. 따라서 모델은 별도의 교사 모델이 아니라 자기 자신에게서 배웁니다. 전용 Wait 토큰 덕분에 다음 단어가 아직 확정되지 않았을 때는 출력을 미룰 수 있고, 강화학습 단계는 정확도에 보상을 주고 반복과 지어낸 이어 쓰기에는 벌점을 줍니다.
이 정도 크기의 모델로서는 결과가 좋습니다. 160밀리초 단위로 끊고 토큰 하나를 재검토용으로 보류하는 설정에서, 영어와 중국어 테스트 세트 13개의 평균 오류율은 5.76%로, 전체 음성을 오프라인으로 처리한 기본 모델의 5.15%에 근접했습니다. 같은 빠듯한 스트리밍 설정에서 기본 모델의 평균은 21.01%였으므로, 사후 학습이 손실 대부분을 없앤 셈입니다. R2T2는 비교 대상인 상용 서비스 세 곳도 평균적으로 앞섰는데 여기에는 8.27%의 AssemblyAI도 포함되지만, 이름이 공개되지 않은 상용 시스템 두 곳은 중국어에서 더 정확했습니다. 80밀리초 단위에서는 두 언어 모두 평균 지연이 0.5초 미만이라고 논문은 밝혔지만, 정확도는 어느 정도 떨어집니다.
Qwen3-ASR을 기반으로 개발하는 사람에게 이것은 새 아키텍처라기보다 실용적인 개선 경로입니다. 인코더와 모델 구조가 그대로이므로 기존 서빙 환경을 그대로 쓸 수 있을 것입니다. 기본 모델도 스트리밍을 지원하지만 중간 텍스트가 바뀔 수 있고, R2T2가 없앤 것이 바로 그 성질입니다. 인식된 구절마다 동작을 실행하는 음성 에이전트 개발자가 가장 분명한 수혜자입니다.
한계도 눈여겨봐야 합니다. 이 논문은 동료 평가를 거치지 않은 프리프린트이고 학습 음성은 비공개라서 개선 결과를 쉽게 재현할 수 없습니다. 지연은 음성 타임라인에서만 측정했고 실제 처리, 대기열, 네트워크 시간은 포함하지 않았으며, 상용 서비스 수치는 버퍼링 방식이 공개되지 않아 근사치입니다. 논문은 가중치의 라이선스를 밝히지 않으므로 상업적으로 쓰기 전에 저장소를 확인해야 합니다. 중국어와 영어 외 언어의 결과는 부록에 있으며, 바꾸기 전에 자신의 음성으로 시험해 보는 것이 현명합니다.