Was ist VibeVoice?
VibeVoice ist das offene Repository von Microsoft Research für eine Familie von Sprachmodellen mit gemeinsamem Aufbau: kontinuierliche akustische und semantische Tokenizer mit 7,5 Frames pro Sekunde, ein Qwen2.5-Sprachmodell für den Kontext und ein Diffusionskopf für die Audiodetails. Das Repo enthält Inferenzcode, Demos, Anleitungen für das Serving mit vLLM und Fine-Tuning-Skripte für ASR; die Gewichte liegen auf Hugging Face. Alles steht unter MIT-Lizenz.
Fünf Modelle sind gelistet. VibeVoice-ASR (Januar 2026) transkribiert bis zu 60 Minuten in einem Durchgang mit Sprecherkennzeichnung und Zeitstempeln in über 50 Sprachen. VibeVoice-ASR-Streaming (September 2026) gibt Text aus, während das Audio noch eintrifft, in 10 Sprachen. VibeVoice-ASR-BitNet (Juli 2026) ist ein 1,58 GB großer CPU-Build, der über ein eigenes Repo, VibeASR.cpp, läuft. VibeVoice-Realtime-0.5B (Dezember 2025) ist ein Text-to-Speech-Modell mit Streaming und einer einzigen Stimme. VibeVoice-TTS-1.5B (August 2025) erzeugt bis zu 90 Minuten Gespräch mit bis zu vier Sprechern, doch sein Code wurde am 5. September 2025 nach Missbrauch entfernt.
Das Repo wurde am 25. August 2025 angelegt, hat rund 56.600 Sterne und 6.375 Forks und veröffentlicht keine GitHub-Releases; der letzte Commit kam am 8. Oktober 2026. Laut README sind alle Modelle 'nur für Forschung und Entwicklung gedacht'.
Lohnt sich VibeVoice?
VibeVoice lohnt sich wegen der Erkennungsmodelle, nicht wegen der Sprachsynthese. Das Hauptmodell ist VibeVoice-ASR, separat als Modell besprochen, das eine Stunde Audio in einem einzigen 64K-Token-Fenster verarbeitet und zurückgibt, wer wann was gesagt hat. Darum herum hat das Repo eine Streaming-Variante, einen vLLM-Serving-Pfad, Fine-Tuning-Code und einen 1,58 GB großen BitNet-Build bekommen, der laut Microsoft auf drei CPU-Threads schneller als Echtzeit läuft, komprimiert von 4,62 GB. Hugging Face beziffert die ASR-Gewichte auf etwa 8,7 Milliarden Parameter; das volle Modell braucht also eine Rechenzentrums-GPU.
Die Geschichte der Sprachsynthese bestimmt, wie weit man dem Rest trauen kann. VibeVoice-TTS-1.5B, trotz des Namens laut Hugging Face etwa 2,7 Milliarden Parameter groß, erschien am 25. August 2025 mit 90 Minuten Ausgabe und vier Sprechern und wurde als Oral auf der ICLR 2026 angenommen. Elf Tage später entfernte Microsoft den Code mit der Begründung, das Werkzeug sei 'in einer Weise genutzt worden, die nicht dem erklärten Zweck entspricht'. Nutzer auf Hacker News sahen, wie das Repo auf privat ging und einen 404 lieferte, bevor es zurückkam; die Gewichte des größeren 7B-TTS verschwanden von Hugging Face, und die gehostete Demo ist abgeschaltet. Die 1.5B-Gewichte sind weiter herunterladbar, mit einem hörbaren KI-Hinweis und einem unhörbaren Wasserzeichen in jeder Ausgabe, und ein Community-Fork hält den entfernten Code am Leben. Das liegt außerhalb von Microsofts Support und seiner Bedingung, die Modelle nur für Forschung zu nutzen.
VibeVoice-Realtime-0.5B ist das TTS, für das Microsoft noch Code liefert, und es ist bewusst eng gefasst. Es spricht mit einer Stimme zur Zeit, vorrangig Englisch, mit neun experimentellen Sprachen; die Stimmen kommen als eingebettete Prompts, Klonen aus einer Probe ist also nicht möglich. Der erste Ton kommt nach etwa 200 bis 300 Millisekunden, je nachdem, welche Seite von Microsofts Doku man liest, und ein 8K-Kontext begrenzt eine Ausgabe auf etwa 10 Minuten. Microsoft meldet eine Wortfehlerrate von 2,00% auf LibriSpeech test-clean und sagt, eine NVIDIA T4 oder ein Apple M4 Pro halte Echtzeit.
Lizenz und Vorbehalt ziehen in entgegengesetzte Richtungen. MIT erlaubt kommerzielle Nutzung, doch README und Modellkarten nennen die Modelle für Forschung und Entwicklung bestimmt und raten von kommerziellem Einsatz ohne weitere Tests ab. Die Installationsanleitungen starten NVIDIA-PyTorch-Container mit --privileged und --net=host, was auf einem Entwicklungsrechner in Ordnung und auf einem geteilten Server falsch ist, und die Streaming-ASR-Demo liefert eine WebSocket-Seite auf Port 7870 aus. Der jüngste Commit vom 8. Oktober 2026 entfernte das Abrufen von Audio über entfernte URLs aus dem Streaming-ASR. Bei 205 offenen Issues und Pull Requests und ohne getaggte Releases bleibt das Festlegen auf einen Commit der einzige Weg zu wissen, was man ausführt.
Wo es sich lohnt
Ein ML-Engineer in einem Unternehmen mit 300 Mitarbeitenden, das interne Meetings aufzeichnet
Batch- und Live-Transkription mit einer Modellfamilie auf eigenen GPUs
VibeVoice-ASR mit vLLM für Aufnahmen bis zu einer Stunde und VibeVoice-ASR-Streaming für Live-Untertitel bereitstellen und beiden die Namen der Teilnehmenden als Hotwords mitgeben. Streaming deckt 10 Sprachen ab, Batch über 50, also vorher die Sprachliste prüfen.
Ein Entwickler, der eine Sprachschnittstelle für einen LLM-Agenten baut
Den Agenten sprechen lassen, bevor seine Antwort fertig ist
Gestreamten Text in VibeVoice-Realtime-0.5B leiten, das laut Microsoft den ersten Ton nach etwa 200 bis 300 Millisekunden liefert und auf einer T4 in Echtzeit läuft. Es gibt nur eingebaute Stimmen, und alles außer Englisch ist experimentell.
Eine Sprachforscherin, die Synthese langer Dialoge untersucht
Die Mehrsprecher-TTS-Ergebnisse aus dem ICLR-2026-Paper nachvollziehen
Die 1.5B-Gewichte und das Paper sind weiter öffentlich, doch Microsoft liefert keinen Inferenzcode mehr dafür; das README verlinkt den technischen Bericht, und jede Ausgabe trägt einen hörbaren Hinweis und ein Wasserzeichen.
Bevor du dich festlegst
- Einrichtung
- Den in der Doku genannten NVIDIA-PyTorch-Container starten (24.07 bis 25.12 geprüft), Flash Attention bei Bedarf installieren und dann pip install -e . aus einem Klon; das Echtzeit-TTS braucht das Extra [streamingtts], das Streaming-ASR braucht ffmpeg. VibeVoice-ASR lädt auch nativ in Transformers.
- Integrationen
- Hugging Face Transformers für ASR, vLLM-Anleitungen für Batch- und Streaming-ASR, VibeASR.cpp für die CPU, Azure AI Foundry Labs für einen gehosteten Test, Demos mit Gradio und FastAPI sowie ein Colab-Notebook für das Echtzeit-TTS.
- Daten und Datenschutz
- Selbst gehostet, Audio und Text bleiben also auf deiner Hardware. Die vorgeschlagenen Docker-Befehle nutzen --privileged und --net=host, und die Streaming-ASR-Demo lauscht auf Port 7870; beides gehört nicht in geteilte Netze. MIT-Lizenz, doch das README beschreibt die Nutzung nur für Forschung und Entwicklung.
- Kosten im großen Maßstab
- Kein gehosteter Preis. Die Kosten sind GPU-Zeit: etwa 8,7 Milliarden Parameter für ASR, etwa 2,7 Milliarden für das 1.5B-TTS und etwa 1 Milliarde für das 0.5B-Echtzeitmodell nach Zählung von Hugging Face, oder CPU-Zeit für den 1,58 GB großen BitNet-Build.
- Grenzen
- ASR verarbeitet 60 Minuten pro Durchgang, Echtzeit-TTS etwa 10 Minuten pro Ausgabe, eine Stimme, vorrangig Englisch. Für das Langform-TTS gibt es keinen offiziellen Inferenzcode. Benchmarks stammen von Microsoft selbst, und es gibt keine getaggten Releases zum Festlegen.
Was gut ist
- Langform-ASR mit Sprecherkennzeichnung und Zeitstempeln in einem Durchgang
- Streaming-ASR, vLLM-Serving und Fine-Tuning-Code im selben Repo
- 1,58 GB großer BitNet-ASR-Build läuft auf der CPU
- MIT-Lizenz für Code und Gewichte
Was nicht
- Code des Langform-TTS im September 2025 entfernt; 7B-TTS-Gewichte zurückgezogen
- Echtzeit-TTS nur mit einer Stimme, vorrangig Englisch, ohne Stimmklonen
- README erklärt alle Modelle als nur für Forschung und Entwicklung
- Keine getaggten Releases; 205 offene Issues und Pull Requests
Am besten für
Teams, die lange Aufnahmen mit mehreren Sprechern selbst gehostet transkribieren und ein gepflegtes Repo für Batch-, Streaming- und CPU-Erkennung wollen, dazu eine kleine englische Echtzeitstimme.
Alternativen zu VibeVoice
VibeVoice: häufige Fragen
- Lohnt sich VibeVoice?
- VibeVoice ist inzwischen eine starke offene Transkriptionsreihe mit einer kleinen Echtzeitstimme daneben, und ausgerechnet das Langform-TTS, das es bekannt gemacht hat, lässt sich mit Microsofts Code nicht mehr betreiben. Wir bewerten es mit 3.9 von 5.
- Was kostet VibeVoice?
- Kostenlos unter MIT-Lizenz; Gewichte kostenlos auf Hugging Face. VibeVoice-ASR ist auch in Azure AI Foundry Labs verfügbar. Keine kostenpflichtige Edition.
- Welche Nachteile hat VibeVoice?
- Code des Langform-TTS im September 2025 entfernt; 7B-TTS-Gewichte zurückgezogen; Echtzeit-TTS nur mit einer Stimme, vorrangig Englisch, ohne Stimmklonen; README erklärt alle Modelle als nur für Forschung und Entwicklung; Keine getaggten Releases; 205 offene Issues und Pull Requests.
- Für wen eignet sich VibeVoice?
- Teams, die lange Aufnahmen mit mehreren Sprechern selbst gehostet transkribieren und ein gepflegtes Repo für Batch-, Streaming- und CPU-Erkennung wollen, dazu eine kleine englische Echtzeitstimme.
- Was kostet VibeVoice für ein Team oder im Produktivbetrieb?
- Kein gehosteter Preis. Die Kosten sind GPU-Zeit: etwa 8,7 Milliarden Parameter für ASR, etwa 2,7 Milliarden für das 1.5B-TTS und etwa 1 Milliarde für das 0.5B-Echtzeitmodell nach Zählung von Hugging Face, oder CPU-Zeit für den 1,58 GB großen BitNet-Build.
- Ist VibeVoice sicher für Firmendaten?
- Selbst gehostet, Audio und Text bleiben also auf deiner Hardware. Die vorgeschlagenen Docker-Befehle nutzen --privileged und --net=host, und die Streaming-ASR-Demo lauscht auf Port 7870; beides gehört nicht in geteilte Netze. MIT-Lizenz, doch das README beschreibt die Nutzung nur für Forschung und Entwicklung.
- Was sind die besten Alternativen zu VibeVoice?
- Die nächsten Alternativen, die wir getestet haben, sind audio.cpp und VoiceStudio.
Antworten geprüft am 7. Nov. 2026.