Was ist VibeVoice-ASR?
VibeVoice-ASR ist ein offenes Spracherkennungsmodell von Microsoft Research, veröffentlicht am 21. Januar 2026 unter der MIT-Lizenz. Es verarbeitet bis zu 60 Minuten Audio in einem einzigen Durchgang innerhalb eines Fensters von 64K Tokens und erzeugt ein strukturiertes Transkript dessen, wer wann was gesagt hat, und kombiniert dabei Transkription, Sprecherzuordnung und Zeitstempel. Es unterstützt mehr als 50 Sprachen, kommt mit Sprachwechseln innerhalb eines Gesprächs zurecht und nimmt eigene Hotwords für Namen und Fachbegriffe an.
Es gehört zur VibeVoice-Familie, deren Vorgeschichte zählt. Microsoft veröffentlichte das Text-to-Speech-Modell VibeVoice im August 2025 und entfernte dessen Code im September 2025 von GitHub, nachdem es festgestellt hatte, dass es 'used in ways inconsistent with the stated intent' wurde. Die TTS-Gewichte sind weiter auf Hugging Face, mit eingebautem hörbarem KI-Hinweis und Wasserzeichen, aber nur für die Forschung gekennzeichnet. Die ASR-Linie wurde fortgesetzt: Im Juli 2026 folgte ein CPU-freundlicher BitNet-Build und im September 2026 eine Streaming-Version.
Lohnt sich VibeVoice-ASR?
VibeVoice-ASR ist das offene Modell der Wahl, wenn die Aufnahme ein langes Meeting ist und kein kurzer Clip. Whisper und Parakeet liefern Wörter; herauszufinden, wer wann gesprochen hat, erledigt ein zweites Modell mit eigenen Fehlern. Microsofts Modell macht beides über bis zu 60 Minuten in einem Fenster von 64K Tokens, und genau das hält die Sprecherzuordnung von der ersten bis zur letzten Minute konsistent.
Microsoft veröffentlicht seine Zahlen inzwischen als Text und nicht nur als Diagramme. Für das mehrsprachige Meeting-Set MLC-Challenge meldet es über 11 Sprachen eine durchschnittliche Diarisierungs-Fehlerrate von 3,42 % und eine WER von 12,07 %, von 7,99 % auf Englisch bis 21,54 % auf Portugiesisch. Bei englischen Fernfeldaufnahmen von einem einzelnen entfernten Mikrofon (AMI-SDM) steigt die WER auf 24,65 %. Das sind selbst gemeldete Meeting-Benchmarks, nicht die Sets mit vorgelesener Sprache, die die meisten Ranglisten verwenden, und das Modell fehlt weiterhin auf der Speech-to-Text-Rangliste von Artificial Analysis (61 bewertete Modelle, Stand 26. Oktober), wo gehostetes Parakeet 4,5 % und ElevenLabs Scribe v2 2,2 % erreicht.
Für ein Transkriptionsmodell ist es schwer. Hugging Face nennt etwa 9 Milliarden Parameter und 17 GB BF16-Gewichte, gegenüber 600 Millionen bei Parakeet, und Microsofts Installationsanleitung beginnt mit einem NVIDIA-PyTorch-Container mit Flash Attention. Der BitNet-Build VibeASR.cpp verkleinert das Modell auf 1,58 GB und läuft laut Microsoft auf drei CPU-Threads schneller als in Echtzeit. Die MIT-Lizenz erlaubt kommerzielle Nutzung, doch das README nennt die Modelle 'intended for research and development purposes only' und rät ohne weitere Tests von kommerzieller Nutzung ab, ein Satz, den Rechtsabteilungen genau lesen werden.
Die Missbrauchsgeschichte der Familie betrifft die Sprachsynthese: Microsoft zog den Code von VibeVoice TTS im September 2025 zurück. Transkription birgt kein Risiko der Imitation, und die ASR-Linie erscheint weiter, mit Unterstützung in Transformers und einem Eintrag in Azure AI Foundry Labs im März 2026 sowie einem Streaming-Modell mit Hotwords im September. Dieses Streaming-Modell deckt 10 Sprachen ab, ein Fünftel des Umfangs des Batch-Modells.
Wo es sich lohnt
Ein Plattform-Engineer in einem Unternehmen mit 200 Mitarbeitenden und einer freien Rechenzentrums-GPU
Aufgezeichnete Meetings mit Sprecherzuordnung transkribieren, ohne Audio nach außen zu schicken
Stelle das Modell mit vLLM bereit und schicke jede Aufnahme von bis zu einer Stunde als einen Request, mit den Namen der Teilnehmenden und Projektbegriffen als Hotwords. Es gibt keine Gebühr pro Minute; die Kosten sind GPU-Zeit, und das Audio verlässt nie das Netzwerk.
Eine Podcast-Produktionsfirma, die 40 Stunden Interviews im Monat veröffentlicht
Transkripte mit Sprecherzuordnung für Shownotes und Untertitel erhalten
Ein Durchgang pro Folge liefert, wer was gesagt hat, mit Zeitstempeln, und ersetzt eine Pipeline aus Whisper plus Diarisierung. Zum Vergleich: 2.400 Minuten mit ElevenLabs Scribe v2 kosten zum Preis von ElevenLabs von 0,22 $ pro Stunde etwa 9 $ im Monat. Selbsthosten lohnt sich also nur, wenn die GPU schon vorhanden ist oder das Audio im Haus bleiben muss.
Eine Feldforscherin, die Interviews auf einem Laptop aufnimmt
Ohne GPU oder Cloud-Dienst transkribieren
VibeASR.cpp, der BitNet-Build, ist 1,58 GB groß und läuft laut Microsoft auf drei CPU-Threads schneller als in Echtzeit. Seine Genauigkeit im Vergleich zum vollen Modell ist in den Zahlen, die wir gelesen haben, nicht veröffentlicht.
Bevor du dich festlegst
- Einrichtung
- Microsofts Anleitung beginnt mit dem Container NVIDIA PyTorch 25.12 und installiert Flash Attention und das Repository per pip; Transformers lädt das Modell seit März 2026 nativ, und eine separate Anleitung beschreibt das Serving mit vLLM.
- Integrationen
- Transformers, vLLM, VibeASR.cpp für die CPU und Azure AI Foundry Labs; kein Inferenzanbieter auf Hugging Face hostet es. Anleitungen zum Fine-Tuning stehen auf GitHub.
- Daten und Datenschutz
- Selbst gehostet, Audio bleibt also auf deiner Hardware. Die MIT-Lizenz erlaubt kommerzielle Nutzung, doch das README beschreibt die Modelle als für Forschung und Entwicklung gedacht und verlangt vor einem kommerziellen Einsatz weitere Tests.
- Kosten im großen Maßstab
- Einen gehosteten Preis gibt es nicht. Selbsthosten heißt etwa 17 GB BF16-Gewichte auf einer GPU oder der BitNet-Build mit 1,58 GB auf der CPU; zum Vergleich verlangt Together AI 1,50 $ pro 1.000 Minuten für gehostetes Parakeet und ElevenLabs etwa 3,67 $ (seine 0,22 $ pro Stunde) für Scribe v2.
- Grenzen
- 60 Minuten pro Durchgang in einem Fenster von 64K Tokens, längere Aufnahmen müssen also geteilt werden. Die selbst gemeldete WER reicht von 7,99 % bei englischen Meetings bis 24,65 % bei Fernfeldaufnahmen in AMI-SDM; die Streaming-Variante deckt nur 10 Sprachen ab.
Was gut ist
- Transkript, Sprecherzuordnung und Zeitstempel in einem Durchgang
- Bis zu 60 Minuten pro Durchgang, mehr als 50 Sprachen, eigene Hotwords
- MIT-Lizenz; Unterstützung für Transformers und vLLM
- BitNet-Build mit 1,58 GB läuft auf der CPU
Was nicht
- Etwa 9 Mrd. Parameter und 17 GB Gewichte
- Nur selbst gemeldete Genauigkeit; 24,65 % WER bei Fernfeldaufnahmen in AMI-SDM
- Das README rät ohne weitere Tests von kommerzieller Nutzung ab
- Kein gehosteter Inferenzanbieter; Zugang über Azure nur via Foundry Labs
Am besten für
Teams, die lange Aufnahmen mit mehreren Sprechern auf eigener Hardware transkribieren und eine Sprecherzuordnung ohne separaten Diarisierungsschritt wollen.
Alternativen zu VibeVoice-ASR
VibeVoice-ASR: häufige Fragen
- Lohnt sich VibeVoice-ASR?
- VibeVoice-ASR macht aus einem einstündigen Meeting in einem Durchgang ein Transkript mit Sprecherzuordnung, und jede Genauigkeitsangabe dazu stammt bisher von Microsoft selbst. Wir bewerten es mit 3.8 von 5.
- Was kostet VibeVoice-ASR?
- Kostenlos unter der MIT-Lizenz. Auch in Azure AI Foundry Labs verfügbar.
- Welche Nachteile hat VibeVoice-ASR?
- Etwa 9 Mrd. Parameter und 17 GB Gewichte; Nur selbst gemeldete Genauigkeit; 24,65 % WER bei Fernfeldaufnahmen in AMI-SDM; Das README rät ohne weitere Tests von kommerzieller Nutzung ab; Kein gehosteter Inferenzanbieter; Zugang über Azure nur via Foundry Labs.
- Für wen eignet sich VibeVoice-ASR?
- Teams, die lange Aufnahmen mit mehreren Sprechern auf eigener Hardware transkribieren und eine Sprecherzuordnung ohne separaten Diarisierungsschritt wollen.
- Was kostet VibeVoice-ASR für ein Team oder im Produktivbetrieb?
- Einen gehosteten Preis gibt es nicht. Selbsthosten heißt etwa 17 GB BF16-Gewichte auf einer GPU oder der BitNet-Build mit 1,58 GB auf der CPU; zum Vergleich verlangt Together AI 1,50 $ pro 1.000 Minuten für gehostetes Parakeet und ElevenLabs etwa 3,67 $ (seine 0,22 $ pro Stunde) für Scribe v2.
- Ist VibeVoice-ASR sicher für Firmendaten?
- Selbst gehostet, Audio bleibt also auf deiner Hardware. Die MIT-Lizenz erlaubt kommerzielle Nutzung, doch das README beschreibt die Modelle als für Forschung und Entwicklung gedacht und verlangt vor einem kommerziellen Einsatz weitere Tests.
- Was sind die besten Alternativen zu VibeVoice-ASR?
- Die nächsten Alternativen, die wir getestet haben, sind Parakeet TDT 0.6B v3, Whisper large-v3-turbo, ElevenLabs Scribe v2 und MOSS-Transcribe-Diarize 0.9B.
Antworten geprüft am 26. Okt. 2026.