OmniVoiceとは?
OmniVoiceはk2-fsaプロジェクト(Next-gen Kaldi)のオープンなテキスト読み上げモデルで、2026年3月末にHugging Faceで公開され、4月1日にarXivに論文が掲載されました。3〜10秒の参照クリップから声をクローンし、性別、年齢、声 の高さ、訛り、ささやき声といった属性から声をデザインし、[laughter]のような非言語タグや、音素やピンインによる修正も受け付けます。
売りは対応範囲です。オープンソースのデータから精選した581,000時間の音声で学習し、600を超える言語に対応します。アーキテクチャは拡散言語モデル型の単一段階の非自己回帰モデルで、Qwen3-0.6Bから初期化され、テキストを直接音響トークンに変換します。主要なチェックポイントは約6億1,300万パラメータで、24 kHzの音声を出力します。
コードはApache 2.0ですが、同梱の音声トークナイザーにはBoson AIのHiggs Audio 2 Community Licenseが適用されます。最新のパッケージのリリースは0.2.1(2026年7月16日)で、重みのダウンロード数は約230万回です。
OmniVoiceは使う価値があるか?
OmniVoiceの強みは幅広さです。1つのゼロショットモデルで600を超える言語に対応し、Chatterbox、Kokoro、Qwen3-TTSといったオープンな競合の多くは多くても数十言語です。ヨルバ語、クメール語、アラビア語の地域方言を話す必要がある製品にとって、数少ないオープンな選択肢の1つです。
速度も速いモデルです。プロジェクトはリアルタイム係数が最低0.025、つまり実時間の約40倍の速さと報告しており、Seed-TTSの中国語テストセットでの自前のH100ベンチマークでは、バッチサイズ1で0.0899、FlashInferを使ったバッチサイズ8で0.0115に下がります。約6億1,300万(613 million)パラメータで、CUDA、Apple Silicon、Intel Arcで動き、メンテナーは4 GBのArc A310でのテストを報告しています。
注意点:ライセンスです。モデルのコードはApache 2.0ですが、重みと一緒に配布さ れる音声トークナイザーは、Llama 3のライセンスを基にしたBoson AIのHiggs Audio 2 Community Licenseの対象です。「Built with Higgs Materials」の表示が必要で、年間アクティブユーザーが100,000人を超えるサービスは拡張ライセンスを申請しなければならず、Bosonはそれを拒否できます。Llamaの7億(700 million)よりはるかに低い上限です。
速度と対応範囲以外の品質の主張は著者自身によるものです。論文は中国語、英語、多言語のベンチマークで最先端の結果を報告していますが、独立したリーダーボードへの掲載は見つかりませんでした。またREADMEは、言語をまたいだクローンでは参照話者の訛りが残ること、数字は単語に正規化したほうが正しく読まれることを注意しています。
真価を発揮する場面
東アフリカの農村部向けに健康情報のホットラインを作るNGO
決まったメッセージを現地の言語で一貫した声で読み上げる
短いクリップから1人のナレーターの声をクローンし、GPU 1台でオフラインで音声を生成します。利用者数は年間アクティブユーザー100,000人の基準を大きく下回るため、コミュニティライセンスの範囲内です。
eラーニング企業のローカライズエンジニア
ネイティブのナレーターを雇う前に20言語でナ レーションの下書きを作る
H100上でomnivoiceのCLIを使い、リアルタイム係数0.01近くでバッチ生成します。費用はGPU時間で、下書きによってレビュアーは台本の問題を早めに見つけられます。
月間ユーザー200万人の消費者向けアプリ
多言語の音声応答を追加する
年間アクティブユーザーが100,000人を超えるとHiggs Audio 2のライセンスでBosonの許可が必要になるため、先に拡張ライセンスを交渉するか、ApacheまたはMITライセンスのモデルを選びます。
導入前に確認すること
- 導入
- 使うアクセラレーター用のPyTorchをインストールしてからpip install omnivoiceを実行します。omnivoice-demoでローカルのWeb UIが起動し、Hugging Face SpaceとColabノートブックはインストール不要です。
- 連携
- Python APIとコマンドラインツール、Hugging Faceの重み。参照クリップのテキストを省略するとWhisperで自動的に書き起こされます。再利用できる音声クローンのプロンプトをディスクに保存できます。
- データとプライバシー
