¿Qué es VibeVoice?
VibeVoice es el repositorio abierto de Microsoft Research para una familia de modelos de voz que comparten un mismo diseño: tokenizadores continuos acústicos y semánticos que funcionan a 7,5 fotogramas por segundo, un modelo de lenguaje Qwen2.5 para el contexto y una cabeza de difusión para el detalle del audio. El repositorio contiene código de inferencia, demos, guías para servir con vLLM y scripts de ajuste fino para ASR; los pesos están en Hugging Face. Todo tiene licencia MIT.
Hay cinco modelos. VibeVoice-ASR (enero de 2026) transcribe hasta 60 minutos de una pasada, con etiquetas de hablante y marcas de tiempo, en más de 50 idiomas. VibeVoice-ASR-Streaming (septiembre de 2026) emite texto mientras llega el audio, en 10 idiomas. VibeVoice-ASR-BitNet (julio de 2026) es una versión para CPU de 1,58 GB que se sirve desde otro repositorio, VibeASR.cpp. VibeVoice-Realtime-0.5B (diciembre de 2025) es un modelo de texto a voz en streaming con un solo hablante. VibeVoice-TTS-1.5B (agosto de 2025) genera hasta 90 minutos de conversación con hasta cuatro hablantes, pero su código se retiró el 5 de septiembre de 2025 tras detectarse usos indebidos.
El repositorio se creó el 25 de agosto de 2025, tiene unas 56.600 estrellas y 6.375 forks y no publica releases en GitHub; el último commit llegó el 8 de octubre de 2026. El README dice que todos los modelos están 'pensados solo para investigación y desarrollo'.
¿Merece la pena VibeVoice?
VibeVoice merece seguimiento por sus modelos de reconocimiento, no por su síntesis de voz. El modelo principal es VibeVoice-ASR, reseñado aparte como modelo, que procesa una hora de audio en una sola ventana de 64K tokens y devuelve quién habló, cuándo y qué dijo. A su alrededor el repositorio ha sumado una variante en streaming, una vía para servir con vLLM, código de ajuste fino y una versión BitNet de 1,58 GB que, según Microsoft, va más rápida que el tiempo real con tres hilos de CPU, comprimida desde 4,62 GB. Hugging Face cifra los pesos de ASR en unos 8,7 mil millones de parámetros, así que el modelo completo pide una GPU de centro de datos.
La historia del texto a voz condiciona cuánto fiarse del resto. VibeVoice-TTS-1.5B, unos 2,7 mil millones de parámetros en Hugging Face pese al nombre, salió el 25 de agosto de 2025 con generación de 90 minutos y cuatro hablantes, y fue aceptado como presentación oral en ICLR 2026. Once días después Microsoft retiró el código, alegando que la herramienta se había 'usado de formas no acordes con el propósito declarado'. Usuarios de Hacker News vieron cómo el repositorio pasaba a privado y devolvía un 404 antes de volver; los pesos del TTS mayor, de 7B, se retiraron de Hugging Face y la demo alojada está desactivada. Los pesos de 1.5B siguen descargables, con un aviso sonoro de IA y una marca de agua imperceptible en cada salida, y un fork de la comunidad mantiene vivo el código retirado. Eso queda fuera del soporte de Microsoft y de sus condiciones de uso solo para investigación.
VibeVoice-Realtime-0.5B es el TTS para el que Microsoft aún publica código, y es estrecho a propósito. Habla con una sola voz a la vez, primero en inglés, con nueve idiomas experimentales; las voces vienen como prompts incrustados, así que no se puede clonar a partir de una muestra. El primer audio llega en unos 200 a 300 milisegundos según qué página de la documentación de Microsoft leas, y un contexto de 8K limita cada generación a unos 10 minutos. Microsoft declara una tasa de error de palabras del 2,00% en LibriSpeech test-clean y dice que una NVIDIA T4 o un Apple M4 Pro aguantan el tiempo real.
La licencia y la advertencia tiran en direcciones opuestas. MIT permite el uso comercial, pero el README y las fichas de modelo dicen que los modelos son para investigación y desarrollo y desaconsejan el despliegue comercial sin más pruebas. Las guías de instalación parten de contenedores NVIDIA PyTorch lanzados con --privileged y --net=host, algo aceptable en una máquina de desarrollo y erróneo en un servidor compartido, y la demo de ASR en streaming sirve una página WebSocket en el puerto 7870. El último commit, del 8 de octubre de 2026, eliminó la descarga de audio desde URL remotas en el ASR en streaming. Con 205 issues y pull requests abiertos y sin releases etiquetadas, fijar un commit es la única forma de saber qué estás ejecutando.
Dónde se gana su sitio
Un ingeniero de ML en una empresa de 300 personas que graba sus reuniones internas
Transcribir por lotes y en directo con una sola familia de modelos en GPU propias
Sirve VibeVoice-ASR con vLLM para grabaciones de hasta una hora y VibeVoice-ASR-Streaming para subtítulos en directo, pasando a ambos los nombres de los asistentes como hotwords. El streaming cubre 10 idiomas frente a más de 50 del modelo por lotes, así que revisa antes la lista de idiomas.
Un desarrollador que construye una interfaz de voz para un agente LLM
Que el agente empiece a hablar antes de terminar su respuesta
Pasa el texto en streaming a VibeVoice-Realtime-0.5B, que según Microsoft produce el primer audio en unos 200 a 300 milisegundos y funciona en tiempo real en una T4. Solo hay voces integradas, y todo lo que no sea inglés es experimental.
Una investigadora en voz que estudia la síntesis de diálogos largos
Reproducir los resultados de TTS multihablante del artículo de ICLR 2026
Los pesos de 1.5B y el artículo siguen públicos, pero Microsoft ya no publica código de inferencia para ellos; el README enlaza el informe técnico, y cada salida lleva un aviso sonoro y una marca de agua.
Antes de decidirte
- Puesta en marcha
- Arranca el contenedor NVIDIA PyTorch que indica la documentación (verificado de 24.07 a 25.12), instala flash attention si falta y luego pip install -e . desde un clon; el TTS en tiempo real necesita el extra [streamingtts] y el ASR en streaming necesita ffmpeg. VibeVoice-ASR también carga de forma nativa en Transformers.
- Integraciones
- Hugging Face Transformers para ASR, guías de vLLM para ASR por lotes y en streaming, VibeASR.cpp para CPU, Azure AI Foundry Labs para una prueba alojada, demos en Gradio y FastAPI, y un cuaderno de Colab para el TTS en tiempo real.
- Datos y privacidad
- Se aloja en tus servidores, así que el audio y el texto se quedan en tu hardware. Los comandos docker sugeridos usan --privileged y --net=host, y la demo de ASR en streaming escucha en el puerto 7870; mantén ambos fuera de redes compartidas. Licencia MIT, pero el README describe un uso solo para investigación y desarrollo.
- Coste a escala
- No hay precio alojado. El coste es tiempo de GPU: unos 8,7 mil millones de parámetros para ASR, unos 2,7 mil millones para el TTS 1.5B y unos mil millones para el modelo en tiempo real 0.5B según el recuento de Hugging Face, o tiempo de CPU para la versión BitNet de 1,58 GB.
- Límites
- El ASR admite 60 minutos por pasada; el TTS en tiempo real, unos 10 minutos por generación, un hablante y prioridad al inglés. El TTS de formato largo no tiene código de inferencia oficial. Las pruebas de rendimiento son de la propia Microsoft y no hay releases etiquetadas que fijar.
Lo bueno
- ASR de formato largo con etiquetas de hablante y marcas de tiempo en una pasada
- ASR en streaming, servicio con vLLM y código de ajuste fino en el mismo repositorio
- La versión BitNet de ASR, de 1,58 GB, funciona en CPU
- Licencia MIT en código y pesos
Lo malo
- Código del TTS de formato largo retirado en septiembre de 2025; pesos del TTS de 7B retirados
- El TTS en tiempo real es de un solo hablante, prioriza el inglés y no clona voces
- El README limita todos los modelos a investigación y desarrollo
- Sin releases etiquetadas; 205 issues y pull requests abiertos
Ideal para
Equipos que transcriben en sus propios servidores audio largo con varios hablantes y quieren un único repositorio mantenido para reconocimiento por lotes, en streaming y en CPU, más una pequeña voz en inglés en tiempo real.
Alternativas a VibeVoice
VibeVoice: preguntas frecuentes
- ¿Merece la pena VibeVoice?
- VibeVoice es ya una sólida línea abierta de transcripción con una pequeña voz en tiempo real al lado, y el TTS de formato largo que lo hizo famoso es justo la parte que ya no puedes ejecutar con el código de Microsoft. Le damos un 3.9 sobre 5.
- ¿Cuánto cuesta VibeVoice?
- Gratis con licencia MIT; pesos gratuitos en Hugging Face. VibeVoice-ASR también está en Azure AI Foundry Labs. Sin edición de pago.
- ¿Qué inconvenientes tiene VibeVoice?
- Código del TTS de formato largo retirado en septiembre de 2025; pesos del TTS de 7B retirados; el TTS en tiempo real es de un solo hablante, prioriza el inglés y no clona voces; el README limita todos los modelos a investigación y desarrollo; sin releases etiquetadas; 205 issues y pull requests abiertos.
- ¿Para quién es VibeVoice?
- Equipos que transcriben en sus propios servidores audio largo con varios hablantes y quieren un único repositorio mantenido para reconocimiento por lotes, en streaming y en CPU, más una pequeña voz en inglés en tiempo real.
- ¿Cuánto cuesta VibeVoice para un equipo o en producción?
- No hay precio alojado. El coste es tiempo de GPU: unos 8,7 mil millones de parámetros para ASR, unos 2,7 mil millones para el TTS 1.5B y unos mil millones para el modelo en tiempo real 0.5B según el recuento de Hugging Face, o tiempo de CPU para la versión BitNet de 1,58 GB.
- ¿Es VibeVoice seguro para los datos de la empresa?
- Se aloja en tus servidores, así que el audio y el texto se quedan en tu hardware. Los comandos docker sugeridos usan --privileged y --net=host, y la demo de ASR en streaming escucha en el puerto 7870; mantén ambos fuera de redes compartidas. Licencia MIT, pero el README describe un uso solo para investigación y desarrollo.
- ¿Cuáles son las mejores alternativas a VibeVoice?
- Las alternativas más cercanas que hemos analizado son audio.cpp y VoiceStudio.
Respuestas comprobadas el 7 nov 2026.