VibeVoiceとは？
VibeVoice は、Microsoft Research が公開する音声モデル群のリポジトリです。各モデルは共通の設計を持ちます。毎秒7.5フレームで動く連続的な音響トークナイザーと意味トークナイザー、文脈を扱う Qwen2.5 言語モデル、音の細部を生成する拡散ヘッドです。リポジトリには推論コード、デモ、vLLM での配信ガイド、ASR のファインチューニング用スクリプトが含まれ、重みは Hugging Face にあります。すべて MIT ライセンスです。
掲載モデルは5つです。VibeVoice-ASR（2026年1月）は最大60分の音声を一度に処理し、話者ラベルとタイムスタンプ付きで50以上の言語を文字起こしします。VibeVoice-ASR-Streaming（2026年9月）は音声の到着中にテキストを出力し、10言語に対応します。VibeVoice-ASR-BitNet（2026年7月）は1.58 GBの CPU 向け版で、別リポジトリの VibeASR.cpp で動きます。VibeVoice-Realtime-0.5B（2025年12月）は単一話者のストリーミング音声合成モデルです。VibeVoice-TTS-1.5B（2025年8月）は最大4人の話者で最大90分の会話を生成しますが、悪用を受けてコードが2025年9月5日に撤去されました。
リポジトリは2025年8月25日に作成され、スターは約56,600、フォークは6,375で、GitHub のリリースは公開されていません。最後のコミットは2026年10月8日です。README はすべてのモデ ルを「研究開発目的のみを意図したもの」としています。
VibeVoiceは使う価値があるか？
VibeVoice を追う価値は音声認識モデルにあり、音声合成にはありません。中心は別途モデルとしてレビューしている VibeVoice-ASR で、1時間の音声を64Kトークンの1つのウィンドウで処理し、誰がいつ何を話したかを返します。その周りにストリーミング版、vLLM での配信手段、ファインチューニング用コード、そして1.58 GBの BitNet 版が加わりました。BitNet 版は4.62 GBから圧縮され、Microsoft によれば3つの CPU スレッドで実時間より速く動きます。Hugging Face では ASR の重みは約87億パラメータとされ、フルモデルにはデータセンター級の GPU が必要です。
音声合成の経緯は、残りをどこまで信頼するかに関わります。VibeVoice-TTS-1.5B は名前に反して Hugging Face 上では約27億パラメータで、2025年8月25日に90分・4話者の生成能力とともに公開され、ICLR 2026 で口頭発表に採択されました。その11日後、Microsoft は「意図された目的に沿わない形で使われた」としてコードを撤去しました。Hacker News の利用者は、リポジトリが非公開になり404を返したあとに戻ってくるのを目にしています。より大きな7B の TTS の重みは Hugging Face から取り下げられ、ホスト版のデモも停止されています。1.5B の重みは今もダウンロードでき、すべての出力に AI 生成であることを告げる音声と聞き取れない透かしが入ります。撤去されたコードはコミュニティのフォークが維持していますが、それは Microsoft のサポートと研究目的限定の条件の外にあります。
VibeVoice-Realtime-0.5B は Microsoft が今もコードを提供している TTS で、意図的に用途を絞っています。一度に話すのは1つの声だけで、英語が中心、9つの言語は実験扱いです。声は埋め込み済みのプロンプトとして提供されるため、サンプルからのクローンはできません。最初の音が出るまでは約200〜300ミリ秒で、どちらの数字かは Microsoft のどのドキュメントを読むかで変わります。8Kのコンテキストにより1回の生成は約10分が上限です。Microsoft は LibriSpeech test-clean で単語誤り率2.00%を報告し、NVIDIA T4 や Apple M4 Pro で実時間を保てるとしています。
ライセンスと注意書きは逆方向を向いています。MIT は商用利用を認めますが、README とモデルカードは研究開発用とし、追加の検証なしでの商用展開を勧めていません。インストールガイドは --privileged と --net=host で起動する NVIDIA PyTorch コンテナから始まります。開発機なら問題ありませんが、共有サーバーでは不適切です。ストリーミング ASR のデモはポート7870で WebSocket のページを配信します。2026年10月8日の最新コミットでは、ストリーミング ASR からリモート URL の音声取得が削除されました。オープンな issue と pull request が205件あり、タグ付きリリースもないため、何を動かしているかを把握するにはコミットを固定するしかありません。
真価を発揮する場面
社内会議を録音している300人規模の企業の ML エンジニア
自社 GPU 上で1つのモデル群を使い、バッチとライブの両方で文字起こしする
最長1時間の録音には VibeVoice-ASR を vLLM で、ライブ字幕には VibeVoice-ASR-Streaming を配信し、どちらにも参加者の名前をホットワードとして渡します。ストリーミングは10言語、バッチは50以上なので、先に言語リストを確認してください。
LLM エージェントの音声フロントエンドを作る開発者
回答が終わる前にエージェントが話し始めるようにする
ストリーミングされるテキストを VibeVoice-Realtime-0.5B に渡します。Microsoft によれば最初の音は約200〜300ミリ秒で出て、T4 で実時間に動きます。使えるのは組み込みの声だけで、英語以外は実験扱いです。
長い対話の音声合成を研究する音声研究者
ICLR 2026 論文の複数話者 TTS の結果を再現する
1.5B の重みと論文は公開されたままですが、Microsoft はもうその推論コードを提供していません。README は技術報告へのリンクを載せており、すべての出力には音声の注意書きと透かしが入ります。
導入前に確認すること
- 導入
- ドキュメントが指定する NVIDIA PyTorch コンテナ（24.07〜25.12で検証済み）を起動し、なければ flash attention を入れ、クローンから pip install -e . を実行します。リアルタイム TTS には [streamingtts] エクストラが、ストリーミング ASR には ffmpeg が必要です。VibeVoice-ASR は Transformers でもネイティブに読み込めます。
- 連携
- ASR 用の Hugging Face Transformers、バッチとストリーミング ASR 向けの vLLM ガイド、CPU 向けの VibeASR.cpp、ホスト型の試用には Azure AI Foundry Labs、Gradio と FastAPI のデモ、リアルタイム TTS 用の Colab ノートブックがあります。
- データとプライバシー
- 自前でホストするため、音声とテキストは自分のハードウェアに残ります。推奨される docker コマンドは --privileged と --net=host を使い、ストリーミング ASR のデモはポート7870で待ち受けます。どちらも共有ネットワークには置かないでください。MIT ライセンスですが、README は研究開発用途のみと説明しています。
- 大規模利用時のコスト
- ホスト版の価格はありません。コストは GPU 時間で、Hugging Face の集計では ASR が約87億パラメータ、1.5B TTS が約27億、0.5B のリアルタイムモデルが約10億です。1.58 GBの BitNet 版なら CPU 時間で済みます。
- 制限
- ASR は1回60分まで。リアルタイム TTS は1回の生成で約10分、単一話者、英語中心です。長尺 TTS には公式の推論コードがありません。ベンチマークは Microsoft 自身のもので、固定できるタグ付きリリースもありません。
良い点
- 長尺 ASR で話者ラベルとタイムスタンプを一度に出力
- ストリーミング ASR、vLLM 配信、ファインチューニング用コードが同じリポジトリに
- 1.58 GBの BitNet 版 ASR は CPU で動作
- コードと重みの両方が MIT ライセンス
気になる点
- 長尺 TTS のコードは2025年9月に撤去、7B TTS の重みも取り下げ
- リアルタイム TTS は単一話者、英語中心で、声のクローン不可
- README はすべてのモデルを研究開発用に限定
- タグ付きリリースなし、オープンな issue と pull request が205件
おすすめの人
複数話者の長い音声を自前の環境で文字起こしし、バッチ ・ストリーミング・CPU の認識を1つの保守されたリポジトリでまかないたいチームに。小さな英語のリアルタイム音声も付いてきます。
VibeVoiceの代替
VibeVoice：よくある質問
- VibeVoiceは使う価値があるか？
- VibeVoice はいまや小さなリアルタイム音声を添えた強力なオープン文字起こしシリーズで、名を上げた長尺 TTS こそが Microsoft のコードではもう動かせない部分です。 評価は5点満点中3.9点です。
- VibeVoiceの料金は？
- MIT ライセンスで無料。重みも Hugging Face で無料です。VibeVoice-ASR は Azure AI Foundry Labs でも使えます。有料版はありません。
- VibeVoiceの欠点は？
- 長尺 TTS のコードは2025年9月に撤去、7B TTS の重みも取り下げ; リアルタイム TTS は単一話者、英語中心で、声のクローン不可; README はすべてのモデルを研究開発用に限定; タグ付きリリースなし、オープンな issue と pull request が205件.
- VibeVoiceは誰に向いているか？
- 複数話者の長い音声を自前の環境で文字起こしし、バッチ・ストリーミング・CPU の認識を1つの保守されたリポジトリでまかないたいチームに。小さな英語のリアルタイム音声も付いてきます。
- チームや本番環境でVibeVoiceを使うと費用はいくらか？
- ホスト版の価格はありません。コストは GPU 時間で、Hugging Face の集計では ASR が約87億パラメータ、1.5B TTS が約27億、0.5B のリアルタイムモデルが約10億です。1.58 GBの BitNet 版なら CPU 時間で済みます。
- VibeVoiceは企業データを扱っても安全か？
- 自前でホストするため、音声とテキストは自分のハードウェアに残ります。推奨される docker コマンドは --privileged と --net=host を使い、ストリーミング ASR のデモはポート7870で待ち受けます。どちらも共有ネットワークには置かないでください。MIT ライセンスですが、README は研究開発用途のみと説明しています。
- VibeVoiceの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はaudio.cpp 、 VoiceStudioです。
回答確認日：2026年11月7日