¿Qué es audio.cpp?
audio.cpp es un motor de inferencia nativo en C++ para modelos de audio, construido sobre ggml (la biblioteca de tensores que hay detrás de llama.cpp) por ShugoAI LLC y publicado con Apache 2.0. Una sola CLI, un servidor HTTP y una interfaz web integrada cubren texto a voz, clonación y conversión de voz, reconocimiento del habla, detección de actividad de voz, diarización, separación de fuentes, alineación y generación de música, sin necesidad de Python en la inferencia. La versión 0.9.2, publicada el 19 de octubre de 2026, enumera más de 110 familias de modelos y 190 variantes, de Qwen3-TTS y VibeVoice a ASR de la clase de Whisper, Demucs y ACE-Step.
El repositorio se creó en junio de 2026 y desde entonces ha publicado 23 versiones. Funciona con CUDA, HIP/ROCm, Vulkan, Metal y CPU, con binarios ya compilados para Windows, Ubuntu y macOS, imágenes Docker y un tap de Homebrew. Unsloth Studio lo usa ya para voz, música y transcripción. Cada modelo conserva su licencia original, y muchos de los pesos admitidos son de uso no comercial.
¿Merece la pena audio.cpp?
audio.cpp sustituye un cajón lleno de entornos de Python por un único binario nativo, y solo eso lo justifica para quien use más de dos o tres modelos de audio. Cada modelo de voz suele llegar con su propia pila de Conda y su versión fijada de PyTorch; aquí más de 110 familias se cargan con la misma CLI, el mismo empaquetado GGUF y el mismo servidor, que expone /v1/audio/speech, /v1/audio/transcriptions y endpoints de alineación y de tareas por lotes. Una capa de pipelines en JSON los encadena, de modo que un trabajo de redoblaje puede transcribir con Qwen3-ASR y volver a sintetizar con Qwen3-TTS en un solo comando.
Las cifras de velocidad son del mantenedor, medidas en una RTX 5090 frente a la implementación de referencia en Python de cada modelo. Algunas rutas de TTS en CUDA van de 1,8 a 8 veces más rápido, y los paquetes GGUF Q8 llegan, según se indica, a ser hasta 1,53 veces más rápidos con un 37% menos de VRAM máxima que los pesos de 16 bits. El proyecto reconoce con franqueza que la cuantización no sale gratis: en Qwen3-TTS, q8_0 solo aportó en torno a un 3,8% más de velocidad, y en Vevo2 la salida que no era fp32 se desvió de forma medible de la referencia. Un benchmark independiente de transcripción de reuniones, TranscrIA, encontró que su versión del ASR Nemotron igualaba la tasa de error por palabra de otras implementaciones en aproximadamente una cuarta parte del tiempo.
La cuestión de la licencia está un nivel más abajo. El motor es Apache 2.0, pero docs/model_licenses.md marca muchos de los pesos admitidos como no comerciales, entre ellos Breeze TTS 2, Higgs Audio TTS, F5-TTS y CrisperWhisper, y algunos como poco claros. Un equipo que elija modelos del catálogo de la interfaz web puede acabar lanzando un producto con pesos que quizá no pueda usar comercialmente, así que la tabla de licencias es de lectura obligada.
CUDA es la ruta optimizada; Vulkan, Metal, HIP y CPU se describen como backends de portabilidad con menor cobertura, y las versiones para AMD en Windows vienen de un fork de la comunidad. El servidor mantiene en memoria todos los modelos que ha cargado salvo que se configure max_loaded_models, y parte de la preparación de modelos todavía llama a un gestor de modelos en Python. Sus ficheros GGUF no son intercambiables con los de llama.cpp o whisper.cpp. Para un proyecto tan joven, con 15 incidencias y pull requests abiertas frente a 3.775 estrellas, el ritmo es alto y la superficie sigue cambiando.
Dónde se gana su sitio
Un ingeniero de plataforma en una empresa de analítica de llamadas de 50 personas
Transcribir y diarizar llamadas grabadas en una sola máquina con GPU propia
Ejecutar audiocpp_server con el ASR de Nemotron o Qwen3 y un modelo de diarización, llamar a /v1/audio/transcriptions/details y limitar los modelos residentes con max_loaded_models. El hardware es el único coste; hay que revisar la fila de licencia de cada modelo antes de pasar a producción.
Una desarrolladora de aplicaciones de escritorio que ofrece locución sin conexión en Windows y macOS
Incluir TTS local sin pedir a los usuarios que instalen Python
Enlazar la API en C o distribuir los binarios ya compilados con un modelo pequeño como Pocket TTS, que el mantenedor midió a unas 31 veces el tiempo real en CUDA. Las aplicaciones yovoice y OpenDub ya siguen ese camino.
Un estudio de localización de vídeo que dobla cursos de formación
Redoblar grabaciones largas con una voz de destino
Ejecutar el pipeline speech_redub incluido, que divide el audio largo, transcribe con Qwen3-ASR y lo regenera con la voz de referencia con Qwen3-TTS; la entrada de prueba es un discurso de siete minutos. Los modelos Qwen con licencia Apache mantienen el resultado utilizable comercialmente.
Antes de decidirte
- Puesta en marcha
- Descargar un binario de una versión, ejecutar con docker run la imagen de CUDA o de CPU, o usar brew install en macOS; después, audiocpp_server --ui --ui-management abre en el puerto 8080 una interfaz web que descarga modelos. Compilar desde el código fuente requiere GCC 13 o MSVC 2022 más el SDK del backend.
- Integraciones
- Endpoints HTTP para voz, transcripción, alineación y tareas por lotes; una ABI en C con bindings de la comunidad para .NET y Python; pipelines en JSON; Unsloth Studio, Project AIRI y pyVideoTrans lo integran.
- Datos y privacidad
- Se ejecuta completamente en local, sin telemetría descrita en el README. --ui-management activa descargas, subidas y cambio de modelo, así que conviene dejar ese modo desactivado en redes compartidas. El motor es Apache 2.0; los pesos de cada modelo conservan su propia licencia.
- Coste a escala
- No hay nivel de pago; el coste es el tiempo de GPU. La memoria depende del modelo, y un modelo cargado sigue residente hasta que el servidor se cierra salvo que se configure max_loaded_models.
- Límites
- CUDA es el backend optimizado; los demás tienen menos rendimiento y cobertura. La cuantización puede romper algunas rutas (ACE-Step falla con baja precisión) o empeorar la calidad, y los ficheros GGUF de llama.cpp o whisper.cpp no son compatibles.
Lo bueno
- Más de 110 familias de modelos de audio tras una sola CLI, un servidor y una interfaz web
- Sin Python en la inferencia; backends CUDA, Vulkan, Metal, HIP y CPU
- Binarios ya compilados, imágenes Docker, Homebrew y una API en C
- Tabla de licencias por modelo publicada que señala los pesos no comerciales
Lo malo
- Las cifras de velocidad son del mantenedor, medidas en una RTX 5090
- CUDA es el único backend totalmente optimizado
- Muchos de los pesos admitidos son no comerciales
- Creado en junio de 2026; formatos y opciones todavía cambian de una versión a otra
Ideal para
Ingenieros que autoalojan varios modelos de voz o audio y quieren un solo runtime nativo y una API HTTP en lugar de un entorno de Python por modelo.
Alternativas a audio.cpp
audio.cpp: preguntas frecuentes
- ¿Merece la pena audio.cpp?
- audio.cpp está haciendo por la voz local lo que llama.cpp hizo por los modelos de chat, y a los cuatro meses ya ejecuta más de 110 familias de modelos. Le damos un 4.3 sobre 5.
- ¿Cuánto cuesta audio.cpp?
- Gratuito con Apache 2.0. No hay edición de pago. Los pesos de los modelos conservan sus propias licencias, muchas de ellas no comerciales.
- ¿Qué inconvenientes tiene audio.cpp?
- Las cifras de velocidad son del mantenedor, medidas en una RTX 5090; cUDA es el único backend totalmente optimizado; muchos de los pesos admitidos son no comerciales; creado en junio de 2026; formatos y opciones todavía cambian de una versión a otra.
- ¿Para quién es audio.cpp?
- Ingenieros que autoalojan varios modelos de voz o audio y quieren un solo runtime nativo y una API HTTP en lugar de un entorno de Python por modelo.
- ¿Cuánto cuesta audio.cpp para un equipo o en producción?
- No hay nivel de pago; el coste es el tiempo de GPU. La memoria depende del modelo, y un modelo cargado sigue residente hasta que el servidor se cierra salvo que se configure max_loaded_models.
- ¿Es audio.cpp seguro para los datos de la empresa?
- Se ejecuta completamente en local, sin telemetría descrita en el README. --ui-management activa descargas, subidas y cambio de modelo, así que conviene dejar ese modo desactivado en redes compartidas. El motor es Apache 2.0; los pesos de cada modelo conservan su propia licencia.
- ¿Cuáles son las mejores alternativas a audio.cpp?
- Las alternativas más cercanas que hemos analizado son llama.cpp, Ollama y llamafile.
Respuestas comprobadas el 26 oct 2026.