Qu’est-ce que audio.cpp ?
audio.cpp est un moteur d'inférence C++ natif pour modèles audio, bâti sur ggml (la bibliothèque de tenseurs derrière llama.cpp) par ShugoAI LLC et publié sous Apache 2.0. Un CLI, un serveur HTTP et une interface web embarquée couvrent la synthèse vocale, le clonage et la conversion de voix, la reconnaissance vocale, la détection d'activité vocale, la diarisation, la séparation de sources, l'alignement et la génération de musique, sans Python nécessaire au moment de l'inférence. La version 0.9.2, sortie le 19 octobre 2026, liste plus de 110 familles de modèles et 190 variantes, de Qwen3-TTS et VibeVoice à l'ASR de classe Whisper, Demucs et ACE-Step.
Le dépôt a été créé en juin 2026 et a livré 23 versions depuis. Il tourne sur CUDA, HIP/ROCm, Vulkan, Metal et CPU, avec des binaires précompilés pour Windows, Ubuntu et macOS, des images Docker et un tap Homebrew. Unsloth Studio l'utilise désormais pour la parole, la musique et la transcription. Chaque modèle garde sa licence d'origine, et beaucoup des poids pris en charge sont non commerciaux.
audio.cpp vaut-il le coup ?
audio.cpp remplace un tiroir plein d'environnements Python par un seul binaire natif, et cela seul le justifie pour quiconque fait tourner plus de deux ou trois modèles audio. Chaque modèle de parole arrive normalement avec sa propre pile Conda et sa version de PyTorch épinglée ; ici, plus de 110 familles se chargent via le même CLI, le même packaging GGUF et le même serveur, qui expose /v1/audio/speech, /v1/audio/transcriptions, l'alignement et des endpoints de tâches par lot. Une couche de pipeline JSON les enchaîne, si bien qu'un travail de redoublage peut transcrire avec Qwen3-ASR et resynthétiser avec Qwen3-TTS en une seule commande.
Les affirmations de vitesse sont celles du mainteneur, mesurées sur un RTX 5090 contre la référence Python de chaque modèle. Des chemins TTS CUDA sélectionnés tournent 1,8 à 8 fois plus vite, et les paquets GGUF Q8 sont rapportés jusqu'à 1,53 fois plus rapides avec 37 % de VRAM de pointe en moins que les poids 16 bits. Le projet est franc sur le fait que la quantisation n'est pas gratuite : sur Qwen3-TTS, q8_0 n'a acheté qu'environ 3,8 % de vitesse en plus, et sur Vevo2 la sortie non-fp32 a dérivé de façon mesurable par rapport à la référence. Un benchmark indépendant de transcription de réunions, TranscrIA, a trouvé que son portage ASR Nemotron égalait le taux d'erreur de mots des autres implémentations en environ un quart du temps réel.
La question de la licence se situe un niveau plus bas. Le moteur est Apache 2.0, mais docs/model_licenses.md marque beaucoup de poids pris en charge comme non commerciaux, dont Breeze TTS 2, Higgs Audio TTS, F5-TTS et CrisperWhisper, et certains comme peu clairs. Une équipe qui choisit des modèles depuis le catalogue de l'interface web peut finir par livrer un produit sur des poids qu'elle ne peut pas utiliser commercialement, si bien que le tableau des licences est une lecture obligatoire.
CUDA est le chemin optimisé ; Vulkan, Metal, HIP et CPU sont décrits comme des backends de portabilité avec une couverture moindre, et les builds AMD Windows viennent d'un fork communautaire. Le serveur garde en mémoire chaque modèle chargé sauf si max_loaded_models est défini, et une partie de la préparation des modèles appelle encore un gestionnaire de modèles Python. Ses fichiers GGUF ne sont pas interchangeables avec ceux de llama.cpp ou whisper.cpp. Pour un projet aussi jeune, avec 15 issues et pull requests ouvertes contre 3 775 étoiles, la cadence est élevée et la surface bouge encore.
Là où il fait la différence
Un ingénieur plateforme dans une entreprise d'analyse d'appels de 50 personnes
Transcrire et diariser des appels enregistrés sur un seul serveur GPU interne
Faites tourner audiocpp_server avec un ASR Nemotron ou Qwen3 et un modèle de diarisation, appelez /v1/audio/transcriptions/details, et plafonnez la résidence avec max_loaded_models. Le matériel est le seul coût ; vérifiez la ligne de licence de chaque modèle avant la production.
Un développeur d'appli desktop qui livre de la voix off hors ligne sur Windows et macOS
Embarquer du TTS local sans demander aux utilisateurs d'installer Python
Liez l'API C ou livrez les binaires précompilés avec un petit modèle comme Pocket TTS, que le mainteneur a mesuré à environ 31 fois le temps réel sur CUDA. Les applis yovoice et OpenDub prennent déjà cette voie.
Un studio de localisation vidéo qui double des cours de formation
Redoubler de longs enregistrements dans une voix cible
Faites tourner le pipeline speech_redub fourni, qui découpe l'audio long, transcrit avec Qwen3-ASR et régénère dans la voix de référence avec Qwen3-TTS ; l'entrée de test est un discours de sept minutes. Les modèles Qwen sous licence Apache gardent la sortie utilisable commercialement.
Avant de vous engager
- Mise en route
- Téléchargez un binaire de version, docker run l'image CUDA ou CPU, ou brew install sur macOS ; puis audiocpp_server --ui --ui-management ouvre une interface web sur le port 8080 qui télécharge les modèles. Construire depuis les sources a besoin de GCC 13 ou MSVC 2022 plus le SDK du backend.
- Intégrations
- Endpoints HTTP pour la parole, la transcription, l'alignement et les tâches par lot ; une ABI C avec des bindings communautaires .NET et Python ; des pipelines JSON ; Unsloth Studio, Project AIRI et pyVideoTrans l'intègrent.
- Données et confidentialité
- Tourne entièrement en local sans télémétrie décrite dans le README. --ui-management active les téléchargements, téléversements et le changement de modèle, alors gardez ce mode désactivé sur les réseaux partagés. Le moteur est Apache 2.0 ; les poids de chaque modèle gardent leur propre licence.
- Coût à grande échelle
- Pas de palier payant ; le coût est le temps GPU. La mémoire dépend du modèle, et un modèle chargé reste résident jusqu'à ce que le serveur s'arrête, sauf si max_loaded_models est défini.
- Limites
- CUDA est le backend optimisé ; les autres ont des performances et une couverture moindres. La quantisation peut casser certains chemins (ACE-Step échoue en basse précision) ou dégrader la qualité, et les fichiers GGUF de llama.cpp ou whisper.cpp ne sont pas compatibles.
Les points forts
- Plus de 110 familles de modèles audio derrière un CLI, un serveur et une interface web
- Pas de Python à l'inférence ; backends CUDA, Vulkan, Metal, HIP et CPU
- Binaires précompilés, images Docker, Homebrew et une API C
- Un tableau de licences par modèle signale les poids non commerciaux
Les points faibles
- Les chiffres de vitesse sont ceux du mainteneur, mesurés sur un RTX 5090
- CUDA est le seul backend pleinement optimisé
- Beaucoup de poids pris en charge sont non commerciaux
- Créé en juin 2026 ; formats et options changent encore d'une version à l'autre
Idéal pour
Les ingénieurs qui auto-hébergent plusieurs modèles de parole ou d'audio et veulent un seul runtime natif et une API HTTP plutôt qu'un environnement Python par modèle.
Alternatives à audio.cpp
audio.cpp : questions fréquentes
- audio.cpp vaut-il le coup ?
- audio.cpp fait pour la parole locale ce que llama.cpp a fait pour les modèles de chat, et quatre mois après ses débuts il fait déjà tourner plus de 110 familles de modèles. Nous lui donnons 4.3 sur 5.
- Combien coûte audio.cpp ?
- Gratuit sous Apache 2.0. Pas d'édition payante. Les poids des modèles gardent leurs propres licences, beaucoup d'entre elles non commerciales.
- Quels sont les inconvénients de audio.cpp ?
- Les chiffres de vitesse sont ceux du mainteneur, mesurés sur un RTX 5090; cUDA est le seul backend pleinement optimisé; beaucoup de poids pris en charge sont non commerciaux; créé en juin 2026 ; formats et options changent encore d'une version à l'autre.
- À qui s’adresse audio.cpp ?
- Les ingénieurs qui auto-hébergent plusieurs modèles de parole ou d'audio et veulent un seul runtime natif et une API HTTP plutôt qu'un environnement Python par modèle.
- Combien coûte audio.cpp pour une équipe ou en production ?
- Pas de palier payant ; le coût est le temps GPU. La mémoire dépend du modèle, et un modèle chargé reste résident jusqu'à ce que le serveur s'arrête, sauf si max_loaded_models est défini.
- audio.cpp est-il sûr pour les données de l’entreprise ?
- Tourne entièrement en local sans télémétrie décrite dans le README. --ui-management active les téléchargements, téléversements et le changement de modèle, alors gardez ce mode désactivé sur les réseaux partagés. Le moteur est Apache 2.0 ; les poids de chaque modèle gardent leur propre licence.
- Quelles sont les meilleures alternatives à audio.cpp ?
- Les alternatives les plus proches que nous avons testées sont llama.cpp, Ollama et llamafile.
Réponses vérifiées le 26 oct. 2026.