Was ist audio.cpp?
audio.cpp ist eine native C++-Inferenz-Engine für Audiomodelle, gebaut auf ggml (der Tensor-Bibliothek hinter llama.cpp) von ShugoAI LLC und veröffentlicht unter Apache 2.0. Eine CLI, ein HTTP-Server und eine eingebettete Web-UI decken Text-to-Speech, Voice Cloning und Stimmkonvertierung, Spracherkennung, Sprachaktivitätserkennung, Diarisierung, Quellentrennung, Alignment und Musikgenerierung ab, ohne dass bei der Inferenz Python nötig ist. Version 0.9.2, veröffentlicht am 19. Oktober 2026, listet mehr als 110 Modellfamilien und 190 Varianten, von Qwen3-TTS und VibeVoice bis zu ASR der Whisper-Klasse, Demucs und ACE-Step.
Das Repository wurde im Juni 2026 angelegt und hat seitdem 23 Releases ausgeliefert. Es läuft auf CUDA, HIP/ROCm, Vulkan, Metal und CPU, mit vorgefertigten Binaries für Windows, Ubuntu und macOS, Docker-Images und einem Homebrew-Tap. Unsloth Studio nutzt es inzwischen für Sprache, Musik und Transkription. Jedes Modell behält seine ursprüngliche Lizenz, und viele der unterstützten Gewichte sind nicht kommerziell nutzbar.
Lohnt sich audio.cpp?
audio.cpp ersetzt eine Schublade voller Python-Umgebungen durch ein natives Binary, und schon das rechtfertigt es für alle, die mehr als zwei oder drei Audiomodelle betreiben. Jedes Sprachmodell kommt normalerweise mit eigenem Conda-Stack und festgelegter PyTorch-Version; hier laden mehr als 110 Familien über dieselbe CLI, dasselbe GGUF-Paketformat und denselben Server, der /v1/audio/speech, /v1/audio/transcriptions sowie Endpunkte für Alignment und Batch-Aufgaben bereitstellt. Eine JSON-Pipeline-Schicht verkettet sie, sodass ein Redub-Job in einem Befehl mit Qwen3-ASR transkribieren und mit Qwen3-TTS neu synthetisieren kann.
Die Geschwindigkeitsangaben stammen vom Maintainer, gemessen auf einer RTX 5090 gegen die Python-Referenz des jeweiligen Modells. Ausgewählte CUDA-Pfade für TTS laufen 1,8- bis 8-mal schneller, und Q8-GGUF-Pakete sollen bis zu 1,53-mal schneller sein und 37% weniger Spitzen-VRAM brauchen als 16-Bit-Gewichte. Das Projekt sagt offen, dass Quantisierung nicht umsonst ist: Bei Qwen3-TTS brachte q8_0 nur etwa 3,8% mehr Tempo, und bei Vevo2 wich die Ausgabe außerhalb von fp32 messbar von der Referenz ab. Ein unabhängiger Benchmark zur Transkription von Meetings, TranscrIA, ergab, dass seine Portierung von Nemotron ASR die Wortfehlerrate anderer Implementierungen in etwa einem Viertel der Laufzeit erreichte.
Die Lizenzfrage liegt eine Ebene tiefer. Die Engine steht unter Apache 2.0, aber docs/model_licenses.md kennzeichnet viele unterstützte Gewichte als nicht kommerziell, darunter Breeze TTS 2, Higgs Audio TTS, F5-TTS und CrisperWhisper, und einige als unklar. Ein Team, das Modelle aus dem Katalog der Web-UI auswählt, kann am Ende ein Produkt auf Gewichten ausliefern, die es nicht kommerziell nutzen darf, also ist die Lizenztabelle Pflichtlektüre.
CUDA ist der optimierte Pfad; Vulkan, Metal, HIP und CPU werden als Portabilitäts-Backends mit geringerer Abdeckung beschrieben, und Builds für AMD unter Windows kommen aus einem Community-Fork. Der Server behält jedes geladene Modell im Speicher, solange max_loaded_models nicht gesetzt ist, und manche Modellvorbereitung ruft noch einen Python-Modellmanager auf. Seine GGUF-Dateien sind nicht mit denen von llama.cpp oder whisper.cpp austauschbar. Für ein so junges Projekt mit 15 offenen Issues und Pull Requests bei 3.775 Sternen ist der Takt hoch und die Oberfläche noch in Bewegung.
Wo es sich lohnt
Ein Platform Engineer bei einem Unternehmen für Anrufanalyse mit 50 Leuten
Aufgezeichnete Anrufe auf einem hauseigenen GPU-Rechner transkribieren und diarisieren
audiocpp_server mit Nemotron oder Qwen3 ASR und einem Diarisierungsmodell betreiben, /v1/audio/transcriptions/details aufrufen und die Speicherbelegung mit max_loaded_models begrenzen. Die Hardware ist der einzige Kostenpunkt; vor dem Produktivbetrieb die Lizenzzeile jedes Modells prüfen.
Eine Entwicklerin von Desktop-Apps, die Offline-Sprachausgabe für Windows und macOS ausliefert
Lokales TTS mitliefern, ohne dass Nutzer Python installieren müssen
Gegen die C-API linken oder die vorgefertigten Binaries mit einem kleinen Modell wie Pocket TTS ausliefern, das der Maintainer auf CUDA mit etwa 31-facher Echtzeit gemessen hat. Die Apps yovoice und OpenDub gehen diesen Weg bereits.
Ein Studio für Videolokalisierung, das Schulungskurse synchronisiert
Lange Aufnahmen in eine Zielstimme umsynchronisieren
Die mitgelieferte Pipeline speech_redub ausführen, die lange Audiodateien aufteilt, mit Qwen3-ASR transkribiert und mit Qwen3-TTS in der Referenzstimme neu erzeugt; die Testeingabe ist eine siebenminütige Rede. Die Qwen-Modelle unter Apache-Lizenz halten die Ausgabe kommerziell nutzbar.
Bevor du dich festlegst
- Einrichtung
- Ein Release-Binary herunterladen, das CUDA- oder CPU-Image per docker run starten oder unter macOS per brew install; dann öffnet audiocpp_server --ui --ui-management auf Port 8080 eine Web-UI, die Modelle herunterlädt. Der Build aus dem Quellcode braucht GCC 13 oder MSVC 2022 plus das SDK des Backends.
- Integrationen
- HTTP-Endpunkte für Sprache, Transkription, Alignment und Batch-Aufgaben; eine C-ABI mit Community-Bindings für .NET und Python; JSON-Pipelines; Unsloth Studio, Project AIRI und pyVideoTrans binden es ein.
- Daten und Datenschutz
- Läuft vollständig lokal, ohne im README beschriebene Telemetrie. --ui-management aktiviert Downloads, Uploads und Modellwechsel, also lass diesen Modus in geteilten Netzen aus. Die Engine steht unter Apache 2.0; die Gewichte jedes Modells behalten ihre eigene Lizenz.
- Kosten im großen Maßstab
- Keine bezahlte Stufe; die Kosten sind GPU-Zeit. Der Speicherbedarf hängt vom Modell ab, und ein geladenes Modell bleibt bis zum Beenden des Servers im Speicher, solange max_loaded_models nicht gesetzt ist.
- Grenzen
- CUDA ist das optimierte Backend; die anderen haben geringere Leistung und Abdeckung. Quantisierung kann manche Pfade brechen (ACE-Step scheitert bei niedriger Präzision) oder die Qualität verschlechtern, und GGUF-Dateien aus llama.cpp oder whisper.cpp sind nicht kompatibel.
Was gut ist
- 110+ Audiomodellfamilien hinter einer CLI, einem Server und einer Web-UI
- Kein Python bei der Inferenz; Backends für CUDA, Vulkan, Metal, HIP und CPU
- Vorgefertigte Binaries, Docker-Images, Homebrew und eine C-API
- Eine veröffentlichte Lizenztabelle pro Modell kennzeichnet nicht kommerzielle Gewichte
Was nicht
- Die Geschwindigkeitsangaben stammen vom Maintainer, gemessen auf einer RTX 5090
- CUDA ist das einzige vollständig optimierte Backend
- Viele unterstützte Gewichte sind nicht kommerziell nutzbar
- Im Juni 2026 angelegt; Formate und Optionen ändern sich noch von Release zu Release
Am besten für
Engineers, die mehrere Sprach- oder Audiomodelle selbst hosten und eine native Runtime mit HTTP-API statt einer Python-Umgebung pro Modell wollen.
Alternativen zu audio.cpp
audio.cpp: häufige Fragen
- Lohnt sich audio.cpp?
- audio.cpp leistet für lokale Sprachverarbeitung, was llama.cpp für Chatmodelle geleistet hat, und betreibt nach vier Monaten bereits mehr als 110 Modellfamilien. Wir bewerten es mit 4.3 von 5.
- Was kostet audio.cpp?
- Kostenlos unter Apache 2.0. Keine bezahlte Edition. Modellgewichte behalten ihre eigenen Lizenzen, viele davon nicht kommerziell.
- Welche Nachteile hat audio.cpp?
- Die Geschwindigkeitsangaben stammen vom Maintainer, gemessen auf einer RTX 5090; CUDA ist das einzige vollständig optimierte Backend; Viele unterstützte Gewichte sind nicht kommerziell nutzbar; Im Juni 2026 angelegt; Formate und Optionen ändern sich noch von Release zu Release.
- Für wen eignet sich audio.cpp?
- Engineers, die mehrere Sprach- oder Audiomodelle selbst hosten und eine native Runtime mit HTTP-API statt einer Python-Umgebung pro Modell wollen.
- Was kostet audio.cpp für ein Team oder im Produktivbetrieb?
- Keine bezahlte Stufe; die Kosten sind GPU-Zeit. Der Speicherbedarf hängt vom Modell ab, und ein geladenes Modell bleibt bis zum Beenden des Servers im Speicher, solange max_loaded_models nicht gesetzt ist.
- Ist audio.cpp sicher für Firmendaten?
- Läuft vollständig lokal, ohne im README beschriebene Telemetrie. --ui-management aktiviert Downloads, Uploads und Modellwechsel, also lass diesen Modus in geteilten Netzen aus. Die Engine steht unter Apache 2.0; die Gewichte jedes Modells behalten ihre eigene Lizenz.
- Was sind die besten Alternativen zu audio.cpp?
- Die nächsten Alternativen, die wir getestet haben, sind llama.cpp, Ollama und llamafile.
Antworten geprüft am 26. Okt. 2026.