¿Qué es VibeVoice-ASR?
VibeVoice-ASR es un modelo abierto de reconocimiento de voz de Microsoft Research, publicado bajo la licencia MIT el 21 de enero de 2026. Procesa hasta 60 minutos de audio en una sola pasada dentro de una ventana de 64K tokens y produce una transcripción estructurada de quién habló, cuándo y qué dijo, combinando transcripción, diarización de hablantes y marcas de tiempo. Admite más de 50 idiomas, maneja la alternancia entre idiomas y acepta palabras clave personalizadas para nombres y jerga.
Pertenece a la familia VibeVoice, cuya historia importa. Microsoft publicó el modelo de texto a voz VibeVoice en agosto de 2025 y retiró su código de GitHub en septiembre de 2025 tras descubrir que se estaba 'used in ways inconsistent with the stated intent'. Los pesos de TTS siguen en Hugging Face, con un aviso sonoro de IA y una marca de agua integrados, pero marcados solo para investigación. La línea de ASR ha seguido adelante: en julio de 2026 llegó una versión BitNet apta para CPU y en septiembre de 2026 una versión Streaming.
¿Merece la pena VibeVoice-ASR?
VibeVoice-ASR es el modelo abierto al que recurrir cuando la grabación es una reunión larga y no un clip corto. Whisper y Parakeet devuelven palabras; averiguar quién habló y cuándo es tarea de un segundo modelo con sus propios errores. El modelo de Microsoft hace ambas cosas con hasta 60 minutos en una sola ventana de 64K tokens, y eso es lo que mantiene coherentes las etiquetas de hablante del primer minuto al último.
Microsoft publica ahora sus cifras en texto y no solo en gráficos. En el conjunto multilingüe de reuniones MLC-Challenge declara una tasa media de error de diarización del 3,42% y un WER del 12,07% en 11 idiomas, desde el 7,99% en inglés hasta el 21,54% en portugués. En inglés de campo lejano con un solo micrófono distante (AMI-SDM), el WER sube al 24,65%. Son benchmarks de reuniones autodeclarados, no los conjuntos de habla leída que usan la mayoría de las clasificaciones, y el modelo sigue sin aparecer en la clasificación de voz a texto de Artificial Analysis (61 modelos evaluados a 26 de octubre), donde Parakeet alojado obtiene un 4,5% y ElevenLabs Scribe v2 un 2,2%.
Es pesado para un transcriptor. Hugging Face indica unos 9.000 millones de parámetros y 17 GB de pesos BF16, frente a 0,6B de Parakeet, y la guía de instalación de Microsoft parte de un contenedor PyTorch de NVIDIA con flash attention. La versión BitNet, VibeASR.cpp, reduce el modelo a 1,58 GB y funciona más rápido que el tiempo real con tres hilos de CPU, según Microsoft. La licencia MIT permite el uso comercial, pero el README dice que los modelos son 'intended for research and development purposes only' y desaconseja el uso comercial sin más pruebas, una frase que los equipos jurídicos leerán con atención.
El historial de mal uso de la familia corresponde a la síntesis de voz: Microsoft retiró el código de VibeVoice TTS en septiembre de 2025. La transcripción no conlleva riesgo de suplantación, y la línea de ASR ha seguido publicando versiones, con compatibilidad con Transformers y presencia en Azure AI Foundry Labs en marzo de 2026 y un modelo streaming con palabras clave en septiembre. Ese modelo streaming cubre 10 idiomas, una quinta parte de los del modelo por lotes.
Dónde se gana su sitio
Un ingeniero de plataforma de una empresa de 200 personas con una GPU de centro de datos libre
Transcribir reuniones grabadas con etiquetas de hablante sin enviar el audio fuera
Sirve el modelo con vLLM y envía cada grabación de hasta una hora como una sola petición, pasando los nombres de los asistentes y los términos del proyecto como palabras clave. No hay tarifa por minuto; el coste es el tiempo de GPU, y el audio nunca sale de la red.
Una productora de pódcasts que publica 40 horas de entrevistas al mes
Obtener transcripciones con los hablantes identificados para notas del programa y subtítulos
Una pasada por episodio devuelve quién dijo qué con marcas de tiempo y sustituye a una canalización de Whisper más diarización. Como comparación, 2.400 minutos en ElevenLabs Scribe v2 cuestan unos 9 $ al mes a los 0,22 $ por hora de ElevenLabs, así que alojarlo uno mismo solo compensa si la GPU ya existe o el audio debe quedarse en casa.
Un investigador de campo que graba entrevistas en un portátil
Transcribir sin GPU ni servicio en la nube
VibeASR.cpp, la versión BitNet, ocupa 1,58 GB y funciona más rápido que el tiempo real con tres hilos de CPU, según Microsoft. Su precisión frente al modelo completo no aparece en las cifras que leímos.
Antes de decidirte
- Puesta en marcha
- La guía de Microsoft parte del contenedor NVIDIA PyTorch 25.12 e instala flash attention y el repositorio con pip; Transformers lo carga de forma nativa desde marzo de 2026, y una guía aparte cubre el despliegue con vLLM.
- Integraciones
- Transformers, vLLM, VibeASR.cpp para CPU y Azure AI Foundry Labs; ningún proveedor de inferencia de Hugging Face lo aloja. Las instrucciones de ajuste fino están en GitHub.
- Datos y privacidad
- Autoalojado, así que el audio se queda en tu hardware. La licencia MIT permite el uso comercial, pero el README describe los modelos como de investigación y desarrollo y pide más pruebas antes de un despliegue comercial.
- Coste a escala
- No existe precio alojado. Alojarlo uno mismo supone unos 17 GB de pesos BF16 en una GPU, o la versión BitNet de 1,58 GB en CPU; como referencia, Together AI cobra 1,50 $ por 1.000 minutos por Parakeet alojado y ElevenLabs unos 3,67 $ (sus 0,22 $ por hora) por Scribe v2.
- Límites
- 60 minutos por pasada en una ventana de 64K tokens, así que las grabaciones más largas hay que dividirlas. El WER autodeclarado va del 7,99% en reuniones en inglés al 24,65% en AMI-SDM de campo lejano; la variante streaming solo cubre 10 idiomas.
Lo bueno
- Transcripción, etiquetas de hablante y marcas de tiempo en una sola pasada
- Hasta 60 minutos por pasada, más de 50 idiomas, palabras clave personalizadas
- Licencia MIT; compatible con Transformers y vLLM
- La versión BitNet de 1,58 GB funciona en CPU
Lo malo
- Unos 9.000 millones de parámetros y 17 GB de pesos
- Solo precisión autodeclarada; WER del 24,65% en AMI-SDM de campo lejano
- El README desaconseja el uso comercial sin más pruebas
- Ningún proveedor de inferencia alojada; en Azure se accede a través de Foundry Labs
Ideal para
Equipos que transcriben grabaciones largas con varios hablantes en su propio hardware y quieren etiquetas de hablante sin un paso de diarización aparte.
Alternativas a VibeVoice-ASR
VibeVoice-ASR: preguntas frecuentes
- ¿Merece la pena VibeVoice-ASR?
- VibeVoice-ASR convierte una reunión de una hora en una transcripción con los hablantes identificados de una sola pasada, y todas sus cifras de precisión siguen siendo de la propia Microsoft. Le damos un 3.8 sobre 5.
- ¿Cuánto cuesta VibeVoice-ASR?
- Gratuito bajo la licencia MIT. También disponible en Azure AI Foundry Labs.
- ¿Qué inconvenientes tiene VibeVoice-ASR?
- Unos 9.000 millones de parámetros y 17 GB de pesos; solo precisión autodeclarada; WER del 24,65% en AMI-SDM de campo lejano; el README desaconseja el uso comercial sin más pruebas; ningún proveedor de inferencia alojada; en Azure se accede a través de Foundry Labs.
- ¿Para quién es VibeVoice-ASR?
- Equipos que transcriben grabaciones largas con varios hablantes en su propio hardware y quieren etiquetas de hablante sin un paso de diarización aparte.
- ¿Cuánto cuesta VibeVoice-ASR para un equipo o en producción?
- No existe precio alojado. Alojarlo uno mismo supone unos 17 GB de pesos BF16 en una GPU, o la versión BitNet de 1,58 GB en CPU; como referencia, Together AI cobra 1,50 $ por 1.000 minutos por Parakeet alojado y ElevenLabs unos 3,67 $ (sus 0,22 $ por hora) por Scribe v2.
- ¿Es VibeVoice-ASR seguro para los datos de la empresa?
- Autoalojado, así que el audio se queda en tu hardware. La licencia MIT permite el uso comercial, pero el README describe los modelos como de investigación y desarrollo y pide más pruebas antes de un despliegue comercial.
- ¿Cuáles son las mejores alternativas a VibeVoice-ASR?
- Las alternativas más cercanas que hemos analizado son Parakeet TDT 0.6B v3, Whisper large-v3-turbo, ElevenLabs Scribe v2 y MOSS-Transcribe-Diarize 0.9B.
Respuestas comprobadas el 26 oct 2026.