AIの音声の多くはクラウド上にあります。1文ごとにサーバーとのあいだを往復するため、お金がかかり、遅延が生じ、入力した文章がよそへ送られます。GradiumのPhononは逆の道を選びました。同社の音声合成モデルは、スマートフォン、ノートパソコン、シングルボードコンピューター、ブラウザーのタブ上で、ネットワークなしに動くほど小さく、公開から2週間で同社がその成果をまとめました。
サイズは約65 MBと75 MBの2種類です。Phonon 31mは英語を話し、Apache 2.0で公開されているため、商用製品にも無料で組み込めます。Phonon 40mはフランス語、ドイツ語、スペイン語、ポルトガル語を加えたもので、非商用ライセンスCC BY-NCです。このモデルの商用利用は、生成する音声の量ではなく利用者数に応じて料金が決まります。100を超える内蔵の声があり、Gradium Studioで独自の声を複製したり設計したりでき、多くのシステムがつまずく電話番号、日付、コードも扱えるように作られています。Gradiumによると、Phononは最初の2週間で200,000回以上ダウンロードされました。
注目すべきはベンチマークの結果です。23言語のモデルを聞き取りやすさ、速度、自然さで評価するHugging Faceの新しいOpen TTS Leaderboardで、Phononはドイツ語とスペイン語の聞き取りやすさで1位となり、Gradiumが評価したすべての言語で上位3位に入りました。並んでいるのは最大100倍の大きさのモデルです。CPUでのストリーミングのベンチマークでも、声が話し始めるまでの遅延である最初の音声までの時間で首位でした。Gradiumは、CPU、GPU、スマートフォンのチップにまたがる10以上のバックエンドを備えた独自の推論フレームワークpttsを作り、モデルはバージョン5.21からHugging Face Transformersにも入っています。
当サイトのGradium Phononのレビューでは、すでに31Mの英語モデルを、Kokoroより小さく聴き手にも好まれた、今アプリに組み込むべき小さな声と評価していました。デバイス上で動く音声は、健康や教育、オフラインのツールなど、文章をクラウドに送れないアプリや、電波がなくても使える声を求める人にとって重要です。デモには、Wi-Fiを切ったApple Watchがコーヒーのいれ方を案内するものもあります。
ある程度の慎重さは必要です。ランキングの順位はGradium自身の記事によるもので、単語誤り率で測る聞き取りやすさは、長い文章を読み上げたときに声がどれだけ自然かについてはほとんど語りません。多言語モデルの非商用ライセンスは、料金を払わない限り多くの企業にとって選択肢から外れる理由になり、韓国語、アラビア語、日本語など5言語以外は、パートナー向けの個別の学習としてしか提供されていません。