O que é VibeVoice-ASR?
O VibeVoice-ASR é um modelo aberto de reconhecimento de fala da Microsoft Research, lançado sob a licença MIT em 21 de janeiro de 2026. Ele processa até 60 minutos de áudio de uma só vez dentro de uma janela de 64K tokens e produz uma transcrição estruturada de quem falou, quando e o que disse, combinando transcrição, diarização de falantes e marcações de tempo. Ele suporta mais de 50 idiomas, lida com alternância de idiomas e aceita hotwords personalizadas para nomes e jargão.
Ele pertence à família VibeVoice, cuja história importa. A Microsoft lançou o modelo de texto para fala VibeVoice em agosto de 2025 e depois removeu seu código do GitHub em setembro de 2025, após descobrir que ele era 'usado de formas incompatíveis com a intenção declarada'. Os pesos de TTS continuam no Hugging Face, com um aviso audível de IA e marca d'água embutidos, mas marcados só para pesquisa. A linha de ASR continuou: um build BitNet adequado a CPU veio em julho de 2026 e uma versão Streaming em setembro de 2026.
VibeVoice-ASR vale a pena?
O VibeVoice-ASR é o modelo aberto a escolher quando a gravação é uma reunião longa, e não um clipe curto. Whisper e Parakeet devolvem palavras; descobrir quem falou quando exige um segundo modelo, com seus próprios erros. O modelo da Microsoft faz as duas coisas em até 60 minutos dentro de uma janela de 64K tokens, o que mantém os rótulos de falantes consistentes do primeiro ao último minuto.
A Microsoft agora publica seus números em texto, e não só em gráficos. No conjunto multilíngue de reuniões MLC-Challenge, ela relata uma taxa média de erro de diarização de 3,42% e WER de 12,07% em 11 idiomas, de 7,99% em inglês a 21,54% em português. Em inglês de campo distante, com um único microfone afastado (AMI-SDM), o WER sobe para 24,65%. São benchmarks de reuniões autodeclarados, não os conjuntos de fala lida que a maioria dos rankings usa, e o modelo ainda não aparece no placar de fala para texto do Artificial Analysis (61 modelos avaliados em 26 de outubro), onde o Parakeet hospedado marca 4,5% e o ElevenLabs Scribe v2 2,2%.
Ele é pesado para um transcritor. O Hugging Face lista cerca de 9 bilhões de parâmetros e 17 GB de pesos BF16, contra 0,6 bilhão do Parakeet, e o guia de instalação da Microsoft parte de um contêiner PyTorch da NVIDIA com flash attention. O build BitNet, VibeASR.cpp, reduz o modelo a 1,58 GB e roda mais rápido que o tempo real em três threads de CPU, segundo a Microsoft. A licença MIT permite uso comercial, mas o README diz que os modelos são 'destinados apenas a fins de pesquisa e desenvolvimento' e desaconselha o uso comercial sem mais testes, uma frase que as equipes jurídicas vão ler com atenção.
O histórico de uso indevido da família pertence à síntese de fala: a Microsoft retirou o código do VibeVoice TTS em setembro de 2025. A transcrição não traz risco de personificação, e a linha de ASR continuou saindo, com suporte no Transformers e uma listagem no Azure AI Foundry Labs em março de 2026 e um modelo de streaming com hotwords em setembro. Esse modelo de streaming cobre 10 idiomas, um quinto do alcance do modelo em lote.
Onde ele se destaca
Um engenheiro de plataforma em uma empresa de 200 pessoas com uma GPU de data center sobrando
Transcrever reuniões gravadas com rótulos de falantes sem enviar o áudio para fora
Sirva o modelo com vLLM e envie cada gravação de até uma hora como uma requisição, passando nomes dos participantes e termos do projeto como hotwords. Não há tarifa por minuto; o custo é o tempo de GPU, e o áudio nunca sai da rede.
Uma produtora de podcasts que publica 40 horas de entrevistas por mês
Obter transcrições com falantes identificados para notas dos episódios e legendas
Uma passada por episódio devolve quem disse o quê, com marcações de tempo, substituindo um pipeline de Whisper mais diarização. Para comparar, 2.400 minutos no ElevenLabs Scribe v2 saem por cerca de US$ 9 por mês, aos US$ 0,22 por hora da ElevenLabs, então hospedar por conta própria só compensa se a GPU já existir ou se o áudio precisar ficar dentro de casa.
Um pesquisador de campo que grava entrevistas em um notebook
Transcrever sem GPU nem serviço de nuvem
O VibeASR.cpp, o build BitNet, tem 1,58 GB e roda mais rápido que o tempo real em três threads de CPU, segundo a Microsoft. Sua precisão em relação ao modelo completo não está publicada nos números que lemos.
Antes de decidir
- Configuração
- O guia da Microsoft parte do contêiner NVIDIA PyTorch 25.12 e instala flash attention e o repositório com pip; o Transformers o carrega nativamente desde março de 2026, e um guia separado cobre o serviço com vLLM.
- Integrações
- Transformers, vLLM, VibeASR.cpp para CPU e Azure AI Foundry Labs; nenhum provedor de inferência do Hugging Face o hospeda. As instruções de fine-tuning estão no GitHub.
- Dados e privacidade
- Auto-hospedado, então o áudio fica no seu hardware. A licença MIT permite uso comercial, mas o README descreve os modelos como para pesquisa e desenvolvimento e pede mais testes antes de uma implantação comercial.
- Custo em escala
- Não existe preço hospedado. Hospedar por conta própria significa cerca de 17 GB de pesos BF16 em uma GPU, ou o build BitNet de 1,58 GB em CPU; como referência, a Together AI cobra US$ 1,50 por 1.000 minutos pelo Parakeet hospedado e a ElevenLabs cerca de US$ 3,67 (seus US$ 0,22 por hora) pelo Scribe v2.
- Limites
- 60 minutos por passada em uma janela de 64K tokens, então gravações mais longas precisam ser divididas. O WER autodeclarado vai de 7,99% em reuniões em inglês a 24,65% em campo distante no AMI-SDM; a variante de streaming cobre só 10 idiomas.
O que é bom
- Transcrição, rótulos de falantes e marcações de tempo de uma só vez
- Até 60 minutos por passada, mais de 50 idiomas, hotwords personalizadas
- Licença MIT; suporte a Transformers e vLLM
- Build BitNet de 1,58 GB roda em CPU
O que não é
- Cerca de 9B de parâmetros e 17 GB de pesos
- Só precisão autodeclarada; WER de 24,65% em campo distante no AMI-SDM
- O README desaconselha uso comercial sem mais testes
- Nenhum provedor de inferência hospedada; o acesso no Azure é pelo Foundry Labs
Ideal para
Equipes que transcrevem gravações longas com vários falantes em hardware próprio e querem rótulos de falantes sem uma etapa separada de diarização.
Alternativas ao VibeVoice-ASR
VibeVoice-ASR: perguntas frequentes
- VibeVoice-ASR vale a pena?
- O VibeVoice-ASR transforma uma reunião de uma hora em uma transcrição com falantes identificados de uma só vez, e todos os números de precisão dele ainda são da própria Microsoft. Damos nota 3.8 de 5.
- Quanto custa VibeVoice-ASR?
- Grátis sob a licença MIT. Também disponível no Azure AI Foundry Labs.
- Quais são as desvantagens de VibeVoice-ASR?
- Cerca de 9B de parâmetros e 17 GB de pesos; só precisão autodeclarada; WER de 24,65% em campo distante no AMI-SDM; o README desaconselha uso comercial sem mais testes; nenhum provedor de inferência hospedada; o acesso no Azure é pelo Foundry Labs.
- Para quem VibeVoice-ASR é indicado?
- Equipes que transcrevem gravações longas com vários falantes em hardware próprio e querem rótulos de falantes sem uma etapa separada de diarização.
- Quanto custa VibeVoice-ASR para uma equipe ou em produção?
- Não existe preço hospedado. Hospedar por conta própria significa cerca de 17 GB de pesos BF16 em uma GPU, ou o build BitNet de 1,58 GB em CPU; como referência, a Together AI cobra US$ 1,50 por 1.000 minutos pelo Parakeet hospedado e a ElevenLabs cerca de US$ 3,67 (seus US$ 0,22 por hora) pelo Scribe v2.
- VibeVoice-ASR é seguro para dados da empresa?
- Auto-hospedado, então o áudio fica no seu hardware. A licença MIT permite uso comercial, mas o README descreve os modelos como para pesquisa e desenvolvimento e pede mais testes antes de uma implantação comercial.
- Quais são as melhores alternativas ao VibeVoice-ASR?
- As alternativas mais próximas que analisamos são Parakeet TDT 0.6B v3, Whisper large-v3-turbo, ElevenLabs Scribe v2 e MOSS-Transcribe-Diarize 0.9B.
Respostas verificadas em 26 de out. de 2026.