Was ist NVIDIA NemotronLabs RE-USE?
NVIDIA NemotronLabs RE-USE ist ein universelles Modell zur Sprachverbesserung: Es nimmt eine beschädigte Sprachaufnahme und gibt eine sauberere zurück. NVIDIAs Karte nennt Rauschen, Hall, Übersteuerung, begrenzte Bandbreite, Codec-Artefakte, Paketverlust und schlechte Mikrofone unter den Problemen, die es behebt. Es nimmt Mono-Audio mit sieben Abtastraten von 8 kHz bis 48 kHz an und kann Schmalband-Audio optional auf eine höhere Bandbreite erweitern. Als Veröffentlichungsdatum auf Hugging Face nennt die Karte den 22. Oktober 2026.
Es hat 9,6 Millionen Parameter: einen faltenden Encoder und Decoder um ein bidirektionales Mamba-Netz mit 30 Schichten. Trainiert wurde es mit etwa 2.500 Stunden Sprache auf Englisch, Deutsch, Spanisch, Französisch und Chinesisch, gemischt mit synthetischem Rauschen und Raumhall, und NVIDIA beschreibt es als sprachunabhängig. Bei überlappenden Sprechern behält es den Hauptsprecher und unterdrückt die anderen; für den besseren Erhalt von Lachen gibt es eine eigene Variante.
Die Gewichte stehen unter OpenMDW-1.1, einer freizügigen Lizenz, die kommerzielle Nutzung erlaubt und den Ausgaben keine Beschränkungen auferlegt. Die Forschung dahinter steht in zwei Papern von 2026, auf der NeurIPS und der IEEE SLT.
Lohnt sich NVIDIA NemotronLabs RE-USE?
Die Stärke von RE-USE ist, wie viel es für seine Größe behebt. Auf dem nicht verblindeten Testsatz von URGENT 2025 meldet NVIDIA einen PESQ-Wert von 2,57 gegenüber 1,73 für das Sidon mit 250 Millionen Parametern und 2,17 für das UniPASE mit 500 Millionen, und eine ASR-Zeichengenauigkeit von 89,17% gegenüber 84,68% und 87,28%. Die höhere Sprecherähnlichkeit, 0,86 gegenüber 0,74 und 0,81, bedeutet, dass es die Stimme beim Säubern weniger verändert. Sidon liegt bei zwei Werten für wahrgenommene Qualität, DNSMOS und UTMOS, noch vorn. Alle Zahlen stammen aus NVIDIAs Läufen.
Die Lizenz ist der zweite Vorzug. OpenMDW-1.1 erlaubt die Nutzung ohne Einschränkung, verlangt beim Weitergeben nur den Erhalt der Hinweise und sagt nichts darüber, was du mit dem gesäuberten Audio machst. NVIDIA erklärt es für kommerziell einsetzbar. Die Lizenz macht dich zugleich dafür verantwortlich, Rechte Dritter zu klären, und die Rechte erlöschen, wenn du klagst, das Modell verletze ein Patent oder Urheberrecht.
Der Haken: Trotz seiner Größe ist es im ausgelieferten Zustand kein CPU-Modell. Das offizielle Inferenzskript bricht mit "CPU mode is not supported" ab, wenn kein CUDA-Gerät gefunden wird, die Karte nennt Linux und eine A100 als getestete Hardware, und die Mamba-Schichten hängen am CUDA-Paket mamba-ssm. Trainiert wurde es mit Clips unter 10 Sekunden, Dateien über etwa 30 Sekunden laufen deshalb über ein eigenes Skript, das sie in Stücke teilt.
Unser Fazit: Für ein Team, das vor dem Training eines TTS- oder Sprachmodells einen Sprachdatensatz säubert oder Callcenter- und Archivaufnahmen in großen Mengen auf vorhandenen GPUs restauriert, ist RE-USE der kleine, freizügig lizenzierte Kandidat für den ersten Versuch. Für die einmalige Säuberung eines Podcasts auf dem Laptop macht ein gehostetes Werkzeug weniger Arbeit.
Wo es sich lohnt
Ein ML-Ingenieur, der aus gesammeltem Web-Audio einen TTS-Trainingssatz mit 1.000 Stunden aufbaut
Rauschen, Hall und Codec-Schäden entfernen, ohne zu verändern, wer spricht
Die Dateien mit inference.sh auf einer A100 oder Ähnlichem stapelweise verarbeiten; NVIDIA meldet eine Sprecherähnlichkeit von 0,86 auf URGENT 2025, über größeren offenen Modellen. Genau dieser Fall steht in NVIDIAs eigener Anwendungsbeschreibung: Daten für TTS und Sprach-LLMs säubern.
Ein Analyseteam für Contact Center bei einem Telekommunikationsanbieter
Die Transkription von 8-kHz-Telefonaten mit Paketverlust verbessern
Anrufe vor der Spracherkennung durch RE-USE schicken, mit eingeschalteter Bandbreitenerweiterung; auf NVIDIAs vollständigem Testsatz stieg die ASR-Zeichengenauigkeit von 81,29% bei der verrauschten Eingabe auf 89,17%. Lange Anrufe laufen über inference_chunk.sh.
Eine Archivarin bei einem Regionalsender
Alte Interviewbänder in mehreren Sprachen restaurieren
Das Modell wurde mit fünf Sprachen trainiert und gilt als sprachunabhängig. Für Gesprächsmaterial die Lachen-Variante nehmen und die Originale behalten, denn die Verbesserung kann Sprecher im Hintergrund unterdrücken.
Bevor du dich festlegst
- Einrichtung
- Eine Mamba-Umgebung einrichten (NVIDIA verweist auf die Docker-Images von SEMamba), das Repository laden, WAV-Dateien in noisy_audio/ legen und sh inference.sh ausführen; für die Bandbreitenerweiterung pip install resampy ergänzen.
- Integrationen
- Schlichte PyTorch-Skripte (inference.py, inference_chunk.py) mit YAML-Konfiguration; kein NeMo, kein Riva, kein API-Wrapper. Eine Gradio-Demo läuft in einem ZeroGPU-Space auf Hugging Face.
- Daten und Datenschutz
- Läuft auf deiner eigenen Hardware, das Audio bleibt also lokal. OpenMDW-1.1 erlaubt kommerzielle Nutzung und Änderungen, lässt Ausgaben unbeschränkt und überträgt dir die Klärung von Rechten Dritter; die Trainingsdaten enthalten einen internen Sprecherdatensatz von NVIDIA.
- Kosten im großen Maßstab
- Die Gewichte sind kostenlos und das Modell hat 9,6 Millionen Parameter, GPU-Speicher ist also nicht der Engpass; eine einzelne GPU der Ampere-Klasse reicht. Einen gehosteten Preis gibt es nicht.
- Grenzen
- Im offiziellen Code nur CUDA und Linux; Mono-Eingang; mit Clips unter 10 Sekunden trainiert; unterdrückt überlappende Sprecher; das Projekt nimmt keine Beiträge an.
Was gut ist
- 9,6 Millionen Parameter, gegenüber 250M und 500M bei offenen Konkurrenten
- Behebt Rauschen, Hall, Übersteuerung, Codec-Schäden und Paketverlust in einem Modell
- Sieben Eingangs-Abtastraten von 8 kHz bis 48 kHz
- OpenMDW-1.1: kommerzielle Nutzung erlaubt, Ausgaben unbeschränkt
Was nicht
- Das offizielle Skript braucht eine CUDA-GPU; kein CPU-Modus
- Die Benchmarks stammen von NVIDIA selbst
- Für den Erhalt von Lachen ist eine eigene Variante nötig
- Lange Dateien brauchen das Skript für Teilstücke
Am besten für
Sprach- und Voice-AI-Teams mit NVIDIA-GPUs, die große Mengen realer Aufnahmen unter einer freizügigen Lizenz säubern müssen.
NVIDIA NemotronLabs RE-USE: häufige Fragen
- Lohnt sich NVIDIA NemotronLabs RE-USE?
- Laut NVIDIAs eigenen Tests repariert RE-USE beschädigte Sprache besser als offene Modelle, die 25- bis 50-mal größer sind, mit einer Lizenz, die dich es überall nutzen lässt, sofern du eine CUDA-GPU hast. Wir bewerten es mit 3.9 von 5.
- Was kostet NVIDIA NemotronLabs RE-USE?
- Kostenlos unter OpenMDW-1.1, das kommerzielle Nutzung erlaubt. Keine gehostete API; du betreibst es auf deiner eigenen NVIDIA-GPU.
- Welche Nachteile hat NVIDIA NemotronLabs RE-USE?
- Das offizielle Skript braucht eine CUDA-GPU; kein CPU-Modus; Die Benchmarks stammen von NVIDIA selbst; Für den Erhalt von Lachen ist eine eigene Variante nötig; Lange Dateien brauchen das Skript für Teilstücke.
- Für wen eignet sich NVIDIA NemotronLabs RE-USE?
- Sprach- und Voice-AI-Teams mit NVIDIA-GPUs, die große Mengen realer Aufnahmen unter einer freizügigen Lizenz säubern müssen.
- Was kostet NVIDIA NemotronLabs RE-USE für ein Team oder im Produktivbetrieb?
- Die Gewichte sind kostenlos und das Modell hat 9,6 Millionen Parameter, GPU-Speicher ist also nicht der Engpass; eine einzelne GPU der Ampere-Klasse reicht. Einen gehosteten Preis gibt es nicht.
- Ist NVIDIA NemotronLabs RE-USE sicher für Firmendaten?
- Läuft auf deiner eigenen Hardware, das Audio bleibt also lokal. OpenMDW-1.1 erlaubt kommerzielle Nutzung und Änderungen, lässt Ausgaben unbeschränkt und überträgt dir die Klärung von Rechten Dritter; die Trainingsdaten enthalten einen internen Sprecherdatensatz von NVIDIA.
Antworten geprüft am 11. Nov. 2026.