NVIDIA NemotronLabs RE-USEとは?
NVIDIA NemotronLabs RE-USEは汎用の音声強調モデルで、劣化した音声録音を受け取り、よりきれいな音声を返します。NVIDIAのモデルカードは、雑音、残響、音割れ、帯域制限、コーデックのノイズ、パケットロス、質の悪いマイクを修復対象として挙げています。8 kHzから48 kHzまで7種類のサンプリングレートのモノラル音声を受け付け、狭帯域の音声をより広い帯域へ拡張することもできます。カードはHugging Faceでの公開日を2026年10月22日としています。
パラメーター数は960万(9.6 million)で、30層の双方向Mambaネットワークを畳み込みのエンコーダーとデコーダーが挟む構成です。英語、ドイツ語、スペイン語、フランス語、中国語の約2,500時間の音声に合成した雑音や室内の残響を混ぜて訓練されており、NVIDIAは言語に依存しないとしています。話者が重なる場合は主な話者を残して他を抑えます。笑い声をよりよく残したい場合は別のバリアントが用意されています。