O que é OmniVoice?
O OmniVoice é um modelo aberto de texto para fala do projeto k2-fsa (Next-gen Kaldi), publicado no Hugging Face no fim de março de 2026, com um artigo no arXiv em 1º de abril. Ele clona uma voz a partir de um trecho de referência de 3 a 10 segundos, cria uma voz a partir de atributos como gênero, idade, tom, sotaque ou sussurro, e aceita tags não verbais como [laughter] e correções de fonemas ou pinyin.
Sua aposta é a cobertura: mais de 600 idiomas, treinado com 581.000 horas de áudio selecionadas de dados de código aberto. Na arquitetura, é um modelo de estágio único e não autorregressivo, no estilo de um modelo de linguagem de difusão, inicializado a partir do Qwen3-0.6B, que mapeia o texto direto para tokens acústicos. O checkpoint principal tem cerca de 613 milhões de parâmetros e gera áudio de 24 kHz.
O código é Apache 2.0, mas o tokenizer de áudio incluído está sob a Higgs Audio 2 Community License da Boson AI. A versão mais recente do pacote é a 0.2.1 (16 de julho de 2026), e os pesos têm cerca de 2,3 milhões de downloads.
OmniVoice vale a pena?
O argumento a favor do OmniVoice se apoia na amplitude: mais de 600 idiomas em um único modelo zero-shot, enquanto a maioria dos rivais abertos, como Chatterbox, Kokoro e Qwen3-TTS, cobre no máximo algumas dezenas. Para um produto que precisa falar iorubá, khmer ou um dialeto regional do árabe, ele é uma das pouquíssimas opções abertas.
Ele também é rápido. O projeto informa um fator de tempo real de até 0,025, cerca de 40 vezes mais rápido que o tempo real, e o seu próprio benchmark em H100 no conjunto de teste chinês do Seed-TTS mostra 0,0899 com batch size 1, caindo para 0,0115 com batch size 8 e FlashInfer. Com cerca de 613 milhões de parâmetros, ele roda em CUDA, Apple Silicon e Intel Arc, e os mantenedores relatam testes em uma Arc A310 de 4 GB.
A licença é o porém. O código do modelo é Apache 2.0, mas o tokenizer de áudio distribuído com os pesos está sob a Higgs Audio 2 Community License da Boson AI, construída sobre a licença do Llama 3. Ela exige um aviso 'Built with Higgs Materials', e qualquer serviço com mais de 100.000 usuários ativos anuais precisa pedir uma licença ampliada, que a Boson pode recusar. É um teto muito mais baixo que os 700 milhões do Llama.
As alegações de qualidade além da velocidade e da cobertura são dos próprios autores. O artigo informa resultados de estado da arte em benchmarks de chinês, inglês e multilíngues, mas não encontramos nenhuma entrada em ranking independente, e o README avisa que a clonagem entre idiomas carrega o sotaque do falante de referência e que os números são lidos melhor depois de normalizados por extenso.
Onde ele se destaca
Uma ONG que monta uma linha telefônica de informações de saúde para a zona rural da África Oriental
Ler mensagens roteirizadas em idiomas locais com uma voz consistente
Clone um narrador a partir de um trecho curto e gere os áudios offline em uma única GPU; a base de usuários fica muito abaixo do limite de 100.000 usuários ativos anuais, então a licença comunitária cobre o uso.
Um engenheiro de localização em uma empresa de e-learning
Fazer rascunhos de locução em 20 idiomas antes de contratar narradores nativos
Gere em lote com a CLI omnivoice em uma H100, com fator de tempo real perto de 0,01; o custo são horas de GPU, e os rascunhos permitem que os revisores identifiquem cedo problemas no roteiro.
Um app de consumo com dois milhões de usuários mensais
Adicionar respostas de voz multilíngues
Acima de 100.000 usuários ativos anuais, a licença Higgs Audio 2 exige permissão da Boson, então negocie antes uma licença ampliada ou escolha um modelo com licença Apache ou MIT.
Antes de decidir
- Configuração
- Instale o PyTorch para o seu acelerador e depois pip install omnivoice; o omnivoice-demo abre uma interface web local, e um Space do Hugging Face e um notebook do Colab dispensam instalação.
- Integrações
- API em Python e ferramentas de linha de comando; pesos no Hugging Face; o Whisper é usado para transcrever automaticamente o trecho de referência se você omitir o texto; prompts de clonagem de voz reutilizáveis podem ser salvos em disco.
- Dados e privacidade
- Self-hosting, então o áudio fica no seu hardware. O código é Apache 2.0; a Higgs Audio 2 Community License do tokenizer de áudio exige atribuição e uma licença ampliada acima de 100.000 usuários ativos anuais. O README proíbe clonagem e personificação não autorizadas.
- Custo em escala
- Sem tarifas de API. Com o fator de tempo real de 0,0115 em batch 8 informado pelos autores para uma H100, uma hora de fala leva menos de um minuto de GPU.
- Limites
- Trechos de referência com mais de 10 segundos deixam a inferência mais lenta e podem prejudicar a qualidade; a clonagem entre idiomas mantém um sotaque; flash attention não está disponível em Intel XPU; nenhum resultado em ranking independente encontrado.
O que é bom
- Mais de 600 idiomas em um único modelo
- Clonagem de voz a partir de 3 a 10 segundos e design de voz por atributos
- Fator de tempo real de até 0,025 pelos números dos autores
- Roda em CUDA, Apple Silicon e Intel Arc
O que não é
- A licença do tokenizer limita o uso gratuito a 100.000 usuários ativos anuais
- As alegações de qualidade são autodeclaradas
- A clonagem entre idiomas carrega o sotaque da referência
- Sem API hospedada dos autores
Ideal para
Desenvolvedores que precisam de fala aberta e hospedada por conta própria em idiomas que os líderes comerciais e abertos não cobrem.
Alternativas ao OmniVoice
OmniVoice: perguntas frequentes
- OmniVoice vale a pena?
- O OmniVoice é o modelo aberto de TTS a escolher quando o idioma não está na lista de mais ninguém, desde que o seu advogado leia a licença do tokenizer. Damos nota 4.0 de 5.
- Quanto custa OmniVoice?
- Pesos gratuitos; código sob Apache 2.0, tokenizer de áudio sob a Boson Higgs Audio 2 Community License (licença ampliada necessária acima de 100.000 usuários ativos anuais).
- Quais são as desvantagens de OmniVoice?
- A licença do tokenizer limita o uso gratuito a 100.000 usuários ativos anuais; as alegações de qualidade são autodeclaradas; a clonagem entre idiomas carrega o sotaque da referência; sem API hospedada dos autores.
- Para quem OmniVoice é indicado?
- Desenvolvedores que precisam de fala aberta e hospedada por conta própria em idiomas que os líderes comerciais e abertos não cobrem.
- Quanto custa OmniVoice para uma equipe ou em produção?
- Sem tarifas de API. Com o fator de tempo real de 0,0115 em batch 8 informado pelos autores para uma H100, uma hora de fala leva menos de um minuto de GPU.
- OmniVoice é seguro para dados da empresa?
- Self-hosting, então o áudio fica no seu hardware. O código é Apache 2.0; a Higgs Audio 2 Community License do tokenizer de áudio exige atribuição e uma licença ampliada acima de 100.000 usuários ativos anuais. O README proíbe clonagem e personificação não autorizadas.
- Quais são as melhores alternativas ao OmniVoice?
- As alternativas mais próximas que analisamos são Chatterbox, Qwen3-TTS, Kokoro-82M e Eleven v4 and v4 Turbo.
Respostas verificadas em 26 de out. de 2026.