ほとんどのリアルタイム文字起こしは、ひそかに自分を書き換えています。ある単語が表示され、音声がさらに届くと少し後で変わるのです。軽く目を通す字幕ならそれで構いませんが、最初の版に基づいてすでに動いてしまった音声エージェントや同時通訳はやり直せません。新しいプレプリントで説明され、重みとコードが公開されたNetEase YoudaoのConfucius4-R2T2は、一度表示したテキストを決して修正せず、後ろに追加するだけになるよう作られています。
チームは当サイトでもレビューしているQwen3-ASR-1.7Bを出発点に、約1,500時間の自社の中国語と英語の音声で言語デコーダーだけを事後学習し、約300Mパラメーターの音声エンコーダーには手を加えませんでした。工夫は学習ラベルにあります。音声の各時点での目標は、モデル自身が音声全体から作った文字起こしの先頭とまだ一致している、それ以前の出力のうち最も長いものです。つまりモデルは別の教師モデルではなく自分自身から学びます。専用のWaitトークンにより、次の単語が定まっていないときは出力を待つことができ、強化学習の段階では正確さに報酬を与え、繰り返しやでっち上げの続きには罰を与えます。
この規模のモデルとしては良好な結果です。160ミリ秒の区切りで1トークンを再検討用に保留する設定では、英語と中国語の13のテストセットでの平均誤り率は5.76%で、完全な音声をオフラインで処理したベースモデルの5.15%に迫りました。同じ厳しいストリーミング設定ではベースモデルの平均は21.01%だったため、事後学習で劣化の大半が解消されたことになります。R2T2は比較対象の商用サービス3つも平均で上回り、その中にはAssemblyAIの8.27%も含まれますが、名前の伏せられた商用システム2つは中国語でより正確でした。80ミリ秒の区切りでは、両言語とも平均遅延が0.5秒未満になると論文は報告していますが、その分正確さは多少落ちます。
Qwen3-ASRを使って開発している人にとって、これは新しいアーキテクチャというより実用的な改良の道筋です。エンコーダーとモデル構造は変わらないため、既存の推論環境はそのまま使えるはずです。ベースモデルもストリーミングに対応していますが、途中のテキストが変わることがあり、R2T2はまさにその性質を取り除きます。認識した語句ごとに処理を起動する音声エージェントの開発者が、最も明確な恩恵を受けます。
限界にも注意が必要です。これは査読前のプレプリントで、学習用の音声は非公開のため、改善を簡単には再現できません。遅延は音声のタイムライン上でだけ測定され、実際の処理、待ち行列、ネットワークの時間は含まれていません。商用サービスの数値も、バッファリングが公開されていないため概算です。論文は重みのライセンスを明記していないので、商用利用の前にリポジトリを確認してください。中国語と英語以外の結果は付録にあり、切り替える前に自分の音声で試すのが賢明です。