O que é VibeVoice?
VibeVoice é o repositório aberto da Microsoft Research para uma família de modelos de voz com o mesmo desenho: tokenizadores contínuos acústicos e semânticos que rodam a 7,5 quadros por segundo, um modelo de linguagem Qwen2.5 para o contexto e uma cabeça de difusão para o detalhe do áudio. O repositório traz código de inferência, demos, guias para servir com vLLM e scripts de ajuste fino de ASR; os pesos ficam no Hugging Face. Tudo está sob licença MIT.
São cinco modelos. VibeVoice-ASR (janeiro de 2026) transcreve até 60 minutos de uma vez, com rótulos de quem fala e marcas de tempo, em mais de 50 idiomas. VibeVoice-ASR-Streaming (setembro de 2026) gera texto enquanto o áudio chega, em 10 idiomas. VibeVoice-ASR-BitNet (julho de 2026) é uma versão para CPU de 1,58 GB servida por outro repositório, VibeASR.cpp. VibeVoice-Realtime-0.5B (dezembro de 2025) é um modelo de texto para fala em streaming com uma única voz. VibeVoice-TTS-1.5B (agosto de 2025) gera até 90 minutos de conversa com até quatro falantes, mas seu código foi removido em 5 de setembro de 2025 após uso indevido.
O repositório foi criado em 25 de agosto de 2025, tem cerca de 56.600 estrelas e 6.375 forks e não publica releases no GitHub; o último commit chegou em 8 de outubro de 2026. O README diz que todos os modelos são 'destinados apenas a pesquisa e desenvolvimento'.
VibeVoice vale a pena?
VibeVoice vale a pena pelos modelos de reconhecimento, não pela síntese de voz. O carro-chefe é o VibeVoice-ASR, avaliado separadamente como modelo, que processa uma hora de áudio numa única janela de 64K tokens e devolve quem falou, quando e o quê. Em volta dele o repositório ganhou uma variante em streaming, um caminho de serviço com vLLM, código de ajuste fino e uma versão BitNet de 1,58 GB que, segundo a Microsoft, roda mais rápido que o tempo real em três threads de CPU, comprimida a partir de 4,62 GB. O Hugging Face lista os pesos de ASR com cerca de 8,7 bilhões de parâmetros, então o modelo completo pede uma GPU de data center.
A história do texto para fala define o quanto confiar no resto. O VibeVoice-TTS-1.5B, cerca de 2,7 bilhões de parâmetros no Hugging Face apesar do nome, saiu em 25 de agosto de 2025 com geração de 90 minutos e quatro falantes e foi aceito como apresentação oral no ICLR 2026. Onze dias depois a Microsoft removeu o código, dizendo que a ferramenta tinha sido 'usada de formas incompatíveis com o propósito declarado'. Usuários do Hacker News viram o repositório ficar privado e retornar 404 antes de voltar; os pesos do TTS maior, de 7B, sumiram do Hugging Face e a demo hospedada está desativada. Os pesos de 1.5B continuam disponíveis, com um aviso sonoro de IA e uma marca d'água imperceptível em cada saída, e um fork da comunidade mantém vivo o código removido. Isso fica fora do suporte da Microsoft e dos seus termos de uso só para pesquisa.
O VibeVoice-Realtime-0.5B é o TTS para o qual a Microsoft ainda publica código, e ele é estreito de propósito. Fala com uma voz por vez, inglês em primeiro lugar, com nove idiomas experimentais; as vozes vêm como prompts embutidos, então não há clonagem a partir de uma amostra. O primeiro áudio chega em cerca de 200 a 300 milissegundos, conforme a página da documentação da Microsoft que você lê, e um contexto de 8K limita cada geração a uns 10 minutos. A Microsoft relata taxa de erro de palavras de 2,00% no LibriSpeech test-clean e diz que uma NVIDIA T4 ou um Apple M4 Pro acompanham o tempo real.
A licença e a ressalva puxam para lados opostos. A MIT permite uso comercial, mas o README e os cards dos modelos dizem que eles são para pesquisa e desenvolvimento e desaconselham uso comercial sem mais testes. Os guias de instalação partem de contêineres NVIDIA PyTorch iniciados com --privileged e --net=host, o que serve numa máquina de desenvolvimento e é errado num servidor compartilhado, e a demo de ASR em streaming serve uma página WebSocket na porta 7870. O commit mais recente, de 8 de outubro de 2026, removeu a busca de áudio por URL remota no ASR em streaming. Com 205 issues e pull requests abertos e nenhum release com tag, fixar um commit é o único jeito de saber o que você está rodando.
Onde ele se destaca
Um engenheiro de ML numa empresa de 300 pessoas que grava reuniões internas
Transcrever em lote e ao vivo com uma só família de modelos em GPUs próprias
Sirva o VibeVoice-ASR com vLLM para gravações de até uma hora e o VibeVoice-ASR-Streaming para legendas ao vivo, passando aos dois os nomes dos participantes como hotwords. O streaming cobre 10 idiomas contra mais de 50 do modelo em lote, então confira a lista de idiomas antes.
Um desenvolvedor criando uma interface de voz para um agente de LLM
Fazer o agente começar a falar antes de terminar a resposta
Envie o texto em streaming para o VibeVoice-Realtime-0.5B, que segundo a Microsoft gera o primeiro áudio em cerca de 200 a 300 milissegundos e roda em tempo real numa T4. Só há vozes embutidas, e tudo que não for inglês é experimental.
Uma pesquisadora de fala que estuda síntese de diálogos longos
Reproduzir os resultados de TTS com vários falantes do artigo do ICLR 2026
Os pesos de 1.5B e o artigo seguem públicos, mas a Microsoft não publica mais código de inferência para eles; o README aponta para o relatório técnico, e cada saída traz um aviso sonoro e uma marca d'água.
Antes de decidir
- Configuração
- Inicie o contêiner NVIDIA PyTorch indicado na documentação (verificado de 24.07 a 25.12), instale o flash attention se faltar e rode pip install -e . a partir de um clone; o TTS em tempo real precisa do extra [streamingtts] e o ASR em streaming precisa do ffmpeg. O VibeVoice-ASR também carrega nativamente no Transformers.
- Integrações
- Hugging Face Transformers para ASR, guias de vLLM para ASR em lote e em streaming, VibeASR.cpp para CPU, Azure AI Foundry Labs para um teste hospedado, demos em Gradio e FastAPI e um notebook do Colab para o TTS em tempo real.
- Dados e privacidade
- Hospedado por você, então áudio e texto ficam no seu hardware. Os comandos docker sugeridos usam --privileged e --net=host, e a demo de ASR em streaming escuta na porta 7870; mantenha os dois fora de redes compartilhadas. Licença MIT, mas o README descreve uso apenas para pesquisa e desenvolvimento.
- Custo em escala
- Não há preço hospedado. O custo é tempo de GPU: cerca de 8,7 bilhões de parâmetros para ASR, cerca de 2,7 bilhões para o TTS 1.5B e cerca de 1 bilhão para o modelo em tempo real 0.5B pela contagem do Hugging Face, ou tempo de CPU para a versão BitNet de 1,58 GB.
- Limites
- O ASR aceita 60 minutos por passada; o TTS em tempo real, cerca de 10 minutos por geração, uma voz, inglês em primeiro lugar. O TTS de formato longo não tem código de inferência oficial. Os benchmarks são da própria Microsoft e não há releases com tag para fixar.
O que é bom
- ASR de formato longo com rótulos de falante e marcas de tempo de uma vez
- ASR em streaming, serviço com vLLM e código de ajuste fino no mesmo repositório
- Versão BitNet do ASR, de 1,58 GB, roda em CPU
- Licença MIT no código e nos pesos
O que não é
- Código do TTS de formato longo removido em setembro de 2025; pesos do TTS de 7B retirados
- TTS em tempo real tem uma só voz, prioriza o inglês e não clona vozes
- README restringe todos os modelos a pesquisa e desenvolvimento
- Sem releases com tag; 205 issues e pull requests abertos
Ideal para
Equipes que transcrevem em servidores próprios áudio longo com vários falantes e querem um único repositório mantido para reconhecimento em lote, em streaming e em CPU, mais uma pequena voz em inglês em tempo real.
Alternativas ao VibeVoice
VibeVoice: perguntas frequentes
- VibeVoice vale a pena?
- VibeVoice virou uma linha aberta sólida de transcrição com uma pequena voz em tempo real ao lado, e o TTS de formato longo que o deixou famoso é justamente a parte que você não consegue mais rodar com o código da Microsoft. Damos nota 3.9 de 5.
- Quanto custa VibeVoice?
- Grátis sob licença MIT; pesos gratuitos no Hugging Face. VibeVoice-ASR também está no Azure AI Foundry Labs. Sem edição paga.
- Quais são as desvantagens de VibeVoice?
- Código do TTS de formato longo removido em setembro de 2025; pesos do TTS de 7B retirados; tTS em tempo real tem uma só voz, prioriza o inglês e não clona vozes; rEADME restringe todos os modelos a pesquisa e desenvolvimento; sem releases com tag; 205 issues e pull requests abertos.
- Para quem VibeVoice é indicado?
- Equipes que transcrevem em servidores próprios áudio longo com vários falantes e querem um único repositório mantido para reconhecimento em lote, em streaming e em CPU, mais uma pequena voz em inglês em tempo real.
- Quanto custa VibeVoice para uma equipe ou em produção?
- Não há preço hospedado. O custo é tempo de GPU: cerca de 8,7 bilhões de parâmetros para ASR, cerca de 2,7 bilhões para o TTS 1.5B e cerca de 1 bilhão para o modelo em tempo real 0.5B pela contagem do Hugging Face, ou tempo de CPU para a versão BitNet de 1,58 GB.
- VibeVoice é seguro para dados da empresa?
- Hospedado por você, então áudio e texto ficam no seu hardware. Os comandos docker sugeridos usam --privileged e --net=host, e a demo de ASR em streaming escuta na porta 7870; mantenha os dois fora de redes compartilhadas. Licença MIT, mas o README descreve uso apenas para pesquisa e desenvolvimento.
- Quais são as melhores alternativas ao VibeVoice?
- As alternativas mais próximas que analisamos são audio.cpp e VoiceStudio.
Respostas verificadas em 7 de nov. de 2026.