NVIDIA NemotronLabs RE-USE의 개요
NVIDIA NemotronLabs RE-USE는 범용 음성 향상 모델로, 손상된 음성 녹음을 받아 더 깨끗한 음성을 돌려줍니다. NVIDIA의 모델 카드는 잡음, 잔향, 클리핑, 대역 제한, 코덱 잡음, 패킷 손실, 품질 나쁜 마이크를 복원 대상으로 꼽습니다. 8 kHz부터 48 kHz까지 일곱 가지 샘플링 레이트의 모노 오디오를 받으며, 협대역 오디오를 더 넓은 대역으로 확장할 수도 있습니다. 카드는 Hugging Face 공개일을 2026년 10월 22일로 적고 있습니다.
매개변수는 960만 개(9.6 million)로, 30층 양방향 Mamba 네트워크를 합성곱 인코더와 디코더가 감싸는 구조입니다. 영어, 독일어, 스페인어, 프랑스어, 중국어로 된 약 2,500시간의 음성에 합성 잡음과 실내 잔향을 섞어 훈련했으며, NVIDIA는 언어에 상관없이 작동한다고 설명합니다. 화자가 겹치면 주 화자를 남기고 나머지를 억제합니다. 웃음소리를 더 잘 보존하는 별도 변형도 있습니다.
가중치는 상업적 이용을 허용하고 출력물에 제한을 두지 않는 관대한 라이선스인 OpenMDW-1.1입니다. 바탕이 된 연구는 2026년 NeurIPS와 IEEE SLT의 논문 두 편에 실렸습니다.
NVIDIA NemotronLabs RE-USE, 쓸 만한 가치가 있습니까?
RE-USE의 강점은 크기에 비해 고치는 범위가 넓다는 점입니다. URGENT 2025 비블라인드 테스트 세트에 서 NVIDIA는 PESQ 점수 2.57을 보고합니다. 매개변수 2억 5천만 개(250 million)인 Sidon은 1.73, 5억 개(500 million)인 UniPASE는 2.17입니다. 음성 인식 문자 정확도도 89.17%로 84.68%, 87.28%를 앞섭니다. 화자 유사도가 0.86으로 0.74, 0.81보다 높다는 것은 소리를 깨끗하게 하면서 목소리를 덜 바꾼다는 뜻입니다. 체감 품질 점수인 DNSMOS와 UTMOS 두 가지에서는 Sidon이 여전히 조금 앞섭니다. 모두 NVIDIA가 직접 측정한 결과입니다.
라이선스가 또 하나의 장점입니다. OpenMDW-1.1은 제한 없는 이용을 허락하고, 재배포할 때 고지문을 유지하라는 것만 요구하며, 정리된 오디오로 무엇을 하든 아무 조건이 없습니다. NVIDIA는 상업적 이용이 가능하다고 밝힙니다. 다만 제3자 권리를 처리할 책임은 사용자에게 있고, 모델이 특허나 저작권을 침해한다며 소송을 내면 권리가 사라집니다.
주의할 점: 크기는 작지만 배포된 그대로는 CPU용 모델이 아닙니다. 공식 추론 스크립트는 CUDA 장치를 찾지 못하면 "CPU mode is not supported"를 내고 멈추며, 카드는 시험한 하드웨어로 Linux와 A100을 적고 있고, Mamba 층은 CUDA 패키지 mamba-ssm에 의존합니다. 10초 미만 클립으로 훈련했기 때문에 약 30초가 넘는 파일은 잘라서 처리하는 별도 스크립트를 거칩니다.
결론: TTS나 음성 모델 훈련 전에 음성 데이터 세트를 정리하는 팀, 또는 이미 가진 GPU로 콜센터와 아카이브 오디오를 대량 복원하는 팀이라면 RE-USE는 먼저 시험해 볼 작고 관대한 라이선스의 후보입니다. 노트북에서 팟캐스트 하나를 한 번 정리하는 정도라면 호스팅 도구가 덜 번거롭습니다.
제 역할을 하는 곳
웹에서 모은 오디오로 1,000시간짜리 TTS 훈련 세트를 만드는 ML 엔지니어
화자를 바꾸지 않고 잡음, 잔향, 코덱 손상 제거
A100 같은 GPU에서 inference.sh로 파일을 일괄 처리합니다. NVIDIA는 URGENT 2025에서 화자 유사도 0.86을 보고하며, 더 큰 공개 모델보다 높습니다. NVIDIA가 직접 꼽은 용도도 바로 TTS와 음성 LLM용 데이터 정리입니다.
통신사의 컨택센터 분석팀
패킷 손실이 있는 8 kHz 전화 통화의 받아쓰기 품질 개선
대역 확장을 켜고 음성 인식 전에 통화를 RE-USE에 통과시킵니다. NVIDIA의 전체 테스트 세트에서 음성 인식 문자 정확도는 잡음 섞인 입력의 81.29%에서 89.17%로 올랐습니다. 긴 통화는 inference_chunk.sh로 처리합니다.
지역 방송사의 아키비스트
여러 언어로 된 오래된 인터뷰 테이프 복원
모델은 다섯 언어로 훈련됐고 언어에 상관없이 작동한다고 설명됩니다. 대화 자료에는 웃음소리 변형을 쓰고, 향상 과정에서 배경 화자가 억제될 수 있으니 원본은 보관하십시오.
도입 전 확인할 점
- 설정
- Mamba 환경을 갖추고(NVIDIA는 SEMamba의 Docker 이미지를 안내합니다) 저장소를 내려받은 뒤 WAV 파일을 noisy_audio/에 넣고 sh inference.sh를 실행합니다. 대역 확장에는 pip install resampy를 추가합니다.
- 연동
- YAML 설정이 딸린 단순한 PyTorch 스크립트(inference.py, inference_chunk.py)이며 NeMo, Riva, API 래퍼는 없습니다. Gradio 데모가 Hugging Face ZeroGPU Space에서 돌아갑니다.
- 데이터와 개인정보
- 자체 하드웨어에서 돌아가므로 오디오가 로컬에 남습니다. OpenMDW-1.1은 상업적 이용과 수정을 허용하고 출력물을 제한하지 않으며, 제3자 권리 처리는 사용자에게 맡깁니다. 훈련 데이터에는 NVIDIA 내부 화자 데이터 세트가 포함됩니다.
- 대규모 사용 시 비용
- 가중치는 무료이고 모델 매개변수가 960만 개라서 GPU 메모리는 제약이 되지 않습니다. Ampere급 GPU 한 장이면 됩니다. 호스팅 요금은 없습니다.
- 제한
- 공식 코드는 CUDA와 Linux 전용, 모노 입력, 10초 미만 클립으로 훈련, 겹친 화자는 억제됩니다. 프로젝트는 외부 기여를 받지 않습니다.
좋은 점
- 매개변수 960만 개, 공개 경쟁 모델은 2억 5천만과 5억 개
- 잡음, 잔향, 클리핑, 코덱 손상, 패킷 손실을 한 모델로 복원
- 8 kHz부터 48 kHz까지 입력 샘플링 레이트 일곱 가지
- OpenMDW-1.1: 상업적 이용 허용, 출력물 제한 없음
아쉬운 점
- 공식 스크립트는 CUDA GPU 필요, CPU 모드 없음
- 벤치마크는 NVIDIA 자체 측정
- 웃음소리 보존에는 별도 변형 필요
- 긴 파일은 분할 스크립트 필요
추천 대상
NVIDIA GPU를 갖추고 실제 환경의 대량 녹음을 관대한 라이선스로 정리해야 하는 음성·음성 AI 팀.
NVIDIA NemotronLabs RE-USE: 자주 묻는 질문
- NVIDIA NemotronLabs RE-USE, 쓸 만한 가치가 있습니까?
- NVIDIA 자체 시험에서 RE-USE는 25~50배 큰 공개 모델보다 손상된 음성을 잘 고치고 어디서 든 쓸 수 있는 라이선스를 갖췄지만, CUDA GPU가 있을 때의 이야기입니다. 평점은 5점 만점에 3.9점입니다.
- NVIDIA NemotronLabs RE-USE의 가격은 얼마입니까?
- 상업적 이용을 허용하는 OpenMDW-1.1로 무료입니다. 호스팅 API는 없으며 자체 NVIDIA GPU에서 돌립니다.
- NVIDIA NemotronLabs RE-USE의 단점은 무엇입니까?
- 공식 스크립트는 CUDA GPU 필요, CPU 모드 없음; 벤치마크는 NVIDIA 자체 측정; 웃음소리 보존에는 별도 변형 필요; 긴 파일은 분할 스크립트 필요.
- NVIDIA NemotronLabs RE-USE에 적합한 사람은 누구입니까?
- NVIDIA GPU를 갖추고 실제 환경의 대량 녹음을 관대한 라이선스로 정리해야 하는 음성·음성 AI 팀.
- 팀이나 프로덕션 환경에서 NVIDIA NemotronLabs RE-USE의 비용은 얼마입니까?
- 가중치는 무료이고 모델 매개변수가 960만 개라서 GPU 메모리는 제약이 되지 않습니다. Ampere급 GPU 한 장이면 됩니다. 호스팅 요금은 없습니다.
- NVIDIA NemotronLabs RE-USE에 회사 데이터를 맡겨도 안전합니까?
- 자체 하드웨어에서 돌아가므로 오디오가 로컬에 남습니다. OpenMDW-1.1은 상업적 이용과 수정을 허용하고 출력물을 제한하지 않으며, 제3자 권리 처리는 사용자에게 맡깁니다. 훈련 데이터에는 NVIDIA 내부 화자 데이터 세트가 포함됩니다.
답변 확인일: 2026년 11월 11일.