Qu’est-ce que VibeVoice ?
VibeVoice est le dépôt ouvert de Microsoft Research pour une famille de modèles vocaux qui partagent une même conception : des tokeniseurs acoustiques et sémantiques continus à 7,5 trames par seconde, un modèle de langage Qwen2.5 pour le contexte et une tête de diffusion pour le détail audio. Le dépôt contient le code d'inférence, des démos, des guides de service avec vLLM et des scripts d'ajustement pour l'ASR ; les poids sont sur Hugging Face. Tout est sous licence MIT.
Cinq modèles sont listés. VibeVoice-ASR (janvier 2026) transcrit jusqu'à 60 minutes en une passe, avec étiquettes de locuteur et horodatage, dans plus de 50 langues. VibeVoice-ASR-Streaming (septembre 2026) produit du texte pendant que l'audio arrive, en 10 langues. VibeVoice-ASR-BitNet (juillet 2026) est une version CPU de 1,58 Go servie par un dépôt distinct, VibeASR.cpp. VibeVoice-Realtime-0.5B (décembre 2025) est un modèle de synthèse vocale en streaming à une seule voix. VibeVoice-TTS-1.5B (août 2025) génère jusqu'à 90 minutes de conversation avec jusqu'à quatre locuteurs, mais son code a été retiré le 5 septembre 2025 après des abus.
Le dépôt a été créé le 25 août 2025, compte environ 56 600 étoiles et 6 375 forks et ne publie aucune release GitHub ; le dernier commit date du 8 octobre 2026. Le README qualifie tous les modèles de 'destinés uniquement à la recherche et au développement'.
VibeVoice vaut-il le coup ?
VibeVoice vaut d'être suivi pour ses modèles de reconnaissance, pas pour sa synthèse vocale. Le modèle phare est VibeVoice-ASR, présenté à part comme modèle, qui traite une heure d'audio dans une seule fenêtre de 64K tokens et indique qui a parlé, quand et pour dire quoi. Autour de lui, le dépôt s'est enrichi d'une variante en streaming, d'une voie de service vLLM, de code d'ajustement et d'une version BitNet de 1,58 Go qui, selon Microsoft, tourne plus vite que le temps réel sur trois threads CPU, compressée depuis 4,62 Go. Hugging Face indique environ 8,7 milliards de paramètres pour les poids ASR : le modèle complet demande donc un GPU de centre de données.
L'histoire de la synthèse vocale détermine la confiance à accorder au reste. VibeVoice-TTS-1.5B, environ 2,7 milliards de paramètres sur Hugging Face malgré son nom, est sorti le 25 août 2025 avec une génération de 90 minutes à quatre locuteurs et a été accepté en présentation orale à ICLR 2026. Onze jours plus tard, Microsoft a retiré le code, expliquant que l'outil avait été 'utilisé de façons non conformes à l'intention déclarée'. Des utilisateurs de Hacker News ont vu le dépôt passer en privé et renvoyer une 404 avant de revenir ; les poids du TTS plus grand, de 7B, ont été retirés de Hugging Face et la démo hébergée est désactivée. Les poids 1.5B restent téléchargeables, avec un avertissement IA audible et un filigrane imperceptible dans chaque sortie, et un fork communautaire maintient le code retiré. Cela sort du support de Microsoft et de ses conditions réservées à la recherche.
VibeVoice-Realtime-0.5B est le TTS pour lequel Microsoft publie encore du code, et il est volontairement restreint. Il parle d'une seule voix à la fois, d'abord en anglais, avec neuf langues expérimentales ; les voix sont fournies sous forme de prompts intégrés, donc pas de clonage à partir d'un échantillon. Le premier son arrive en 200 à 300 millisecondes environ selon la page de la documentation de Microsoft consultée, et un contexte de 8K plafonne une génération à environ 10 minutes. Microsoft annonce un taux d'erreur de mots de 2,00 % sur LibriSpeech test-clean et affirme qu'une NVIDIA T4 ou un Apple M4 Pro tiennent le temps réel.
La licence et la mise en garde tirent en sens contraires. La MIT autorise l'usage commercial, mais le README et les fiches de modèle réservent les modèles à la recherche et au développement et déconseillent un déploiement commercial sans tests supplémentaires. Les guides d'installation partent de conteneurs NVIDIA PyTorch lancés avec --privileged et --net=host, acceptable sur une machine de développement et inadapté à un serveur partagé, et la démo d'ASR en streaming sert une page WebSocket sur le port 7870. Le dernier commit, du 8 octobre 2026, a supprimé la récupération d'audio par URL distante dans l'ASR en streaming. Avec 205 issues et pull requests ouvertes et aucune release étiquetée, figer un commit est le seul moyen de savoir ce que vous exécutez.
Là où il fait la différence
Un ingénieur ML dans une entreprise de 300 personnes qui enregistre ses réunions internes
Transcrire par lots et en direct avec une seule famille de modèles sur ses propres GPU
Servez VibeVoice-ASR avec vLLM pour les enregistrements jusqu'à une heure et VibeVoice-ASR-Streaming pour les sous-titres en direct, en passant aux deux les noms des participants comme hotwords. Le streaming couvre 10 langues contre plus de 50 pour le traitement par lots : vérifiez d'abord la liste des langues.
Un développeur qui construit une interface vocale pour un agent LLM
Faire parler l'agent avant que sa réponse soit terminée
Envoyez le texte en flux à VibeVoice-Realtime-0.5B, qui selon Microsoft produit le premier son en 200 à 300 millisecondes environ et tourne en temps réel sur une T4. Seules les voix intégrées sont disponibles, et tout ce qui n'est pas en anglais est expérimental.
Une chercheuse en parole qui étudie la synthèse de dialogues longs
Reproduire les résultats de TTS multilocuteur de l'article ICLR 2026
Les poids 1.5B et l'article restent publics, mais Microsoft ne fournit plus de code d'inférence pour eux ; le README renvoie au rapport technique, et chaque sortie porte un avertissement audible et un filigrane.
Avant de vous engager
- Mise en route
- Lancez le conteneur NVIDIA PyTorch indiqué par la documentation (vérifié de 24.07 à 25.12), installez flash attention s'il manque, puis pip install -e . depuis un clone ; le TTS temps réel demande l'extra [streamingtts] et l'ASR en streaming demande ffmpeg. VibeVoice-ASR se charge aussi nativement dans Transformers.
- Intégrations
- Hugging Face Transformers pour l'ASR, guides vLLM pour l'ASR par lots et en streaming, VibeASR.cpp pour le CPU, Azure AI Foundry Labs pour un essai hébergé, démos Gradio et FastAPI, et un notebook Colab pour le TTS temps réel.
- Données et confidentialité
- Auto-hébergé : l'audio et le texte restent sur votre matériel. Les commandes docker suggérées utilisent --privileged et --net=host, et la démo d'ASR en streaming écoute sur le port 7870 ; gardez les deux hors des réseaux partagés. Licence MIT, mais le README décrit un usage limité à la recherche et au développement.
- Coût à grande échelle
- Aucun prix hébergé. Le coût est du temps GPU : environ 8,7 milliards de paramètres pour l'ASR, environ 2,7 milliards pour le TTS 1.5B et environ 1 milliard pour le modèle temps réel 0.5B selon le d écompte de Hugging Face, ou du temps CPU pour la version BitNet de 1,58 Go.
- Limites
- L'ASR traite 60 minutes par passe ; le TTS temps réel environ 10 minutes par génération, une voix, l'anglais d'abord. Le TTS long format n'a pas de code d'inférence officiel. Les benchmarks sont ceux de Microsoft, et aucune release étiquetée ne permet de figer une version.
Les points forts
- ASR long format avec étiquettes de locuteur et horodatage en une passe
- ASR en streaming, service vLLM et code d'ajustement dans le même dépôt
- La version BitNet de l'ASR, 1,58 Go, tourne sur CPU
- Licence MIT pour le code et les poids
Les points faibles
- Code du TTS long format retiré en septembre 2025 ; poids du TTS 7B retirés
- Le TTS temps réel n'a qu'une voix, privilégie l'anglais et ne clone pas
- Le README réserve tous les modèles à la recherche et au développement
- Aucune release étiquetée ; 205 issues et pull requests ouvertes
Idéal pour
Les équipes qui transcrivent en interne de longs enregistrements à plusieurs locuteurs et veulent un seul dépôt maintenu pour la reconnaissance par lots, en streaming et sur CPU, plus une petite voix anglaise temps réel.
Alternatives à VibeVoice
VibeVoice : questions fréquentes
- VibeVoice vaut-il le coup ?
- VibeVoice est désormais une solide gamme ouverte de transcription flanquée d'une petite voix temps réel, et le TTS long format qui l'a rendu célèbre est justement la partie que le code de Microsoft ne permet plus d'exécuter. Nous lui donnons 3.9 sur 5.
- Combien coûte VibeVoice ?
- Gratuit sous licence MIT ; poids gratuits sur Hugging Face. VibeVoice-ASR est aussi dans Azure AI Foundry Labs. Pas d'édition payante.
- Quels sont les inconvénients de VibeVoice ?
- Code du TTS long format retiré en septembre 2025 ; poids du TTS 7B retirés; le TTS temps réel n'a qu'une voix, privilégie l'anglais et ne clone pas; le README réserve tous les modèles à la recherche et au développement; aucune release étiquetée ; 205 issues et pull requests ouvertes.
- À qui s’adresse VibeVoice ?
- Les équipes qui transcrivent en interne de longs enregistrements à plusieurs locuteurs et veulent un seul dépôt maintenu pour la reconnaissance par lots, en streaming et sur CPU, plus une petite voix anglaise temps réel.
- Combien coûte VibeVoice pour une équipe ou en production ?
- Aucun prix hébergé. Le coût est du temps GPU : environ 8,7 milliards de paramètres pour l'ASR, environ 2,7 milliards pour le TTS 1.5B et environ 1 milliard pour le modèle temps réel 0.5B selon le décompte de Hugging Face, ou du temps CPU pour la version BitNet de 1,58 Go.
- VibeVoice est-il sûr pour les données de l’entreprise ?
- Auto-hébergé : l'audio et le texte restent sur votre matériel. Les commandes docker suggérées utilisent --privileged et --net=host, et la démo d'ASR en streaming écoute sur le port 7870 ; gardez les deux hors des réseaux partagés. Licence MIT, mais le README décrit un usage limité à la recherche et au développement.
- Quelles sont les meilleures alternatives à VibeVoice ?
- Les alternatives les plus proches que nous avons testées sont audio.cpp et VoiceStudio.
Réponses vérifiées le 7 nov. 2026.