O que é audio.cpp?
O audio.cpp é um motor de inferência nativo em C++ para modelos de áudio, construído sobre o ggml (a biblioteca de tensores por trás do llama.cpp) pela ShugoAI LLC e lançado sob Apache 2.0. Uma CLI, um servidor HTTP e uma interface web embutida cobrem texto para fala, clonagem e conversão de voz, reconhecimento de fala, detecção de atividade de voz, diarização, separação de fontes, alinhamento e geração de música, sem precisar de Python na inferência. A versão 0.9.2, lançada em 19 de outubro de 2026, lista mais de 110 famílias de modelos e 190 variantes, do Qwen3-TTS e do VibeVoice a ASR da classe Whisper, Demucs e ACE-Step.
O repositório foi criado em junho de 2026 e lançou 23 versões desde então. Ele roda em CUDA, HIP/ROCm, Vulkan, Metal e CPU, com binários prontos para Windows, Ubuntu e macOS, imagens Docker e um tap do Homebrew. O Unsloth Studio agora o usa para fala, música e transcrição. Cada modelo mantém a licença original, e muitos dos pesos suportados são não comerciais.
audio.cpp vale a pena?
O audio.cpp substitui uma gaveta cheia de ambientes Python por um único binário nativo, e só isso já o justifica para quem roda mais de dois ou três modelos de áudio. Cada modelo de fala normalmente chega com a própria stack Conda e uma versão fixada de PyTorch; aqui, mais de 110 famílias carregam pela mesma CLI, pelo mesmo empacotamento GGUF e pelo mesmo servidor, que expõe /v1/audio/speech, /v1/audio/transcriptions, alinhamento e endpoints de tarefas em lote. Uma camada de pipelines em JSON os encadeia, então um trabalho de redublagem pode transcrever com o Qwen3-ASR e ressintetizar com o Qwen3-TTS em um único comando.
As alegações de velocidade são do mantenedor, medidas em uma RTX 5090 contra a referência em Python de cada modelo. Caminhos selecionados de TTS em CUDA rodam de 1.8 a 8 vezes mais rápido, e pacotes GGUF Q8 são relatados como até 1.53 vez mais rápidos, com pico de VRAM 37% menor que os pesos de 16 bits. O projeto é franco ao dizer que a quantização não é almoço grátis: no Qwen3-TTS, q8_0 rendeu só cerca de 3.8% a mais de velocidade, e no Vevo2 a saída fora de fp32 se afastou de forma mensurável da referência. Um benchmark independente de transcrição de reuniões, o TranscrIA, constatou que o port do Nemotron ASR igualou a taxa de erro por palavra de outras implementações em cerca de um quarto do tempo.
A questão da licença fica um nível abaixo. O motor é Apache 2.0, mas docs/model_licenses.md marca muitos pesos suportados como não comerciais, incluindo Breeze TTS 2, Higgs Audio TTS, F5-TTS e CrisperWhisper, e alguns como incertos. Uma equipe que escolhe modelos pelo catálogo da interface web pode acabar lançando um produto sobre pesos que talvez não possa usar comercialmente, então a tabela de licenças é leitura obrigatória.
O CUDA é o caminho otimizado; Vulkan, Metal, HIP e CPU são descritos como backends de portabilidade com menor cobertura, e os builds para AMD no Windows vêm de um fork da comunidade. O servidor mantém na memória todos os modelos que carregou, a menos que max_loaded_models seja definido, e parte da preparação de modelos ainda chama um gerenciador de modelos em Python. Os arquivos GGUF dele não são intercambiáveis com os do llama.cpp ou do whisper.cpp. Para um projeto tão jovem, com 15 issues e pull requests abertos para 3,775 estrelas, o ritmo é alto e a superfície ainda está mudando.
Onde ele se destaca
Um engenheiro de plataforma em uma empresa de análise de chamadas de 50 pessoas
Transcrever e diarizar chamadas gravadas em uma única máquina com GPU interna
Rodar o audiocpp_server com o Nemotron ou o Qwen3 ASR e um modelo de diarização, chamar /v1/audio/transcriptions/details e limitar a residência com max_loaded_models. O hardware é o único custo; confira a linha de licença de cada modelo antes da produção.
Uma desenvolvedora de apps de desktop que entrega narração offline no Windows e no macOS
Incluir TTS local sem pedir aos usuários que instalem Python
Linkar a API em C ou distribuir os binários prontos com um modelo pequeno como o Pocket TTS, que o mantenedor mediu em cerca de 31 vezes o tempo real em CUDA. Os apps yovoice e OpenDub já seguem esse caminho.
Um estúdio de localização de vídeo que dubla cursos de treinamento
Redublar gravações longas em uma voz de destino
Rodar o pipeline speech_redub incluído, que divide o áudio longo, transcreve com o Qwen3-ASR e regenera na voz de referência com o Qwen3-TTS; a entrada de teste é um discurso de sete minutos. Os modelos Qwen com licença Apache mantêm a saída utilizável comercialmente.
Antes de decidir
- Configuração
- Baixe um binário de uma versão, rode com docker run a imagem CUDA ou CPU, ou use brew install no macOS; depois, audiocpp_server --ui --ui-management abre uma interface web na porta 8080 que baixa os modelos. Compilar a partir do código-fonte exige GCC 13 ou MSVC 2022, mais o SDK do backend.
- Integrações
- Endpoints HTTP para fala, transcrição, alinhamento e tarefas em lote; uma ABI em C com bindings da comunidade para .NET e Python; pipelines em JSON; Unsloth Studio, Project AIRI e pyVideoTrans o integram.
- Dados e privacidade
- Roda totalmente local, sem telemetria descrita no README. --ui-management ativa downloads, uploads e troca de modelos, então mantenha esse modo desligado em redes compartilhadas. O motor é Apache 2.0; os pesos de cada modelo mantêm a própria licença.
- Custo em escala
- Não há nível pago; o custo é tempo de GPU. A memória depende do modelo, e um modelo carregado fica residente até o servidor encerrar, a menos que max_loaded_models seja definido.
- Limites
- O CUDA é o backend otimizado; os outros têm desempenho e cobertura menores. A quantização pode quebrar alguns caminhos (o ACE-Step falha em baixa precisão) ou degradar a qualidade, e os arquivos GGUF do llama.cpp ou do whisper.cpp não são compatíveis.
O que é bom
- Mais de 110 famílias de modelos de áudio atrás de uma CLI, um servidor e uma interface web
- Sem Python na inferência; backends CUDA, Vulkan, Metal, HIP e CPU
- Binários prontos, imagens Docker, Homebrew e uma API em C
- Tabela publicada de licenças por modelo sinaliza os pesos não comerciais
O que não é
- Os números de velocidade são do mantenedor, medidos em uma RTX 5090
- O CUDA é o único backend totalmente otimizado
- Muitos pesos suportados são não comerciais
- Criado em junho de 2026; formatos e opções ainda mudam de versão para versão
Ideal para
Engenheiros que auto-hospedam vários modelos de fala ou áudio e querem um único runtime nativo e uma API HTTP em vez de um ambiente Python por modelo.
Alternativas ao audio.cpp
audio.cpp: perguntas frequentes
- audio.cpp vale a pena?
- O audio.cpp está fazendo pela fala local o que o llama.cpp fez pelos modelos de chat, e com quatro meses de vida já roda mais de 110 famílias de modelos. Damos nota 4.3 de 5.
- Quanto custa audio.cpp?
- Gratuito sob Apache 2.0. Não há edição paga. Os pesos dos modelos mantêm as próprias licenças, muitas delas não comerciais.
- Quais são as desvantagens de audio.cpp?
- Os números de velocidade são do mantenedor, medidos em uma RTX 5090; o CUDA é o único backend totalmente otimizado; muitos pesos suportados são não comerciais; criado em junho de 2026; formatos e opções ainda mudam de versão para versão.
- Para quem audio.cpp é indicado?
- Engenheiros que auto-hospedam vários modelos de fala ou áudio e querem um único runtime nativo e uma API HTTP em vez de um ambiente Python por modelo.
- Quanto custa audio.cpp para uma equipe ou em produção?
- Não há nível pago; o custo é tempo de GPU. A memória depende do modelo, e um modelo carregado fica residente até o servidor encerrar, a menos que max_loaded_models seja definido.
- audio.cpp é seguro para dados da empresa?
- Roda totalmente local, sem telemetria descrita no README. --ui-management ativa downloads, uploads e troca de modelos, então mantenha esse modo desligado em redes compartilhadas. O motor é Apache 2.0; os pesos de cada modelo mantêm a própria licença.
- Quais são as melhores alternativas ao audio.cpp?
- As alternativas mais próximas que analisamos são llama.cpp, Ollama e llamafile.
Respostas verificadas em 26 de out. de 2026.