Sesame CSM-1Bとは?
CSM-1Bは、音声アシスタントMayaとMilesを手がける米国企業Sesameのオープンな会話音声モデル(Conversational Speech Model)で、2025年3月13日に公開されました。Llamaのバックボーンと、24 kHzのMimi音声コードを生成する小さめの音声デコーダーで構成されます。名前とは異なり、Hugging Faceのページではデコーダーを含めて約20億パラメータとされています。2025年5月のバージョン4.52.1から、Hugging Face Transformersでネイティブにサポートされています。
CSMは完成した声ではなくベースモデルです。文脈がなければ話者をランダムに選び、会話の前のターンをテキストと音声で渡したときに最も良い音になります。これによりサンプルから声を引き継ぐこともできます。話すのは英語で、他の言語は弱いです。テキストは生成できないので、別の言語モデルが必要です。重みはApache 2.0で、利用条件への同意が必要です。Sesame自身のアプリで使われている微調整済みモデルは非公開のままです。
Sesame CSM-1Bは使う価値があるか?
CSM-1Bを知っておく価値があるのは、会話の文脈を中心に作られたオープンモデルであり、今もSesameが公開した唯一の重みだからです。対話の前のターンを、テキスト、音声、話者IDとともに渡すと、それに合わせて話し方を変えます。これこそが、Sesameのデモの声を読み上げではな くその場にいるように聞こえさせていた点です。
ダウンロードできるのはそのデモではありません。カードは、オープンモデルがどの声でも微調整されていないと明言しており、2026年10月のSesameアプリのアシスタントは、より新しい非公開のバージョンで動いています。そのままでは、文脈の音声を渡さない限り呼び出すたびにランダムな声になり、英語のみで、レイテンシ、速度、VRAMの数字は公開されていません。公開から20か月たった今、Hugging Faceには32の微調整版があり、直近1か月のダウンロードは約86,000回と、VoxCPM2の977,000回を大きく下回ります。
最大の長所はエコシステムです。Transformersのネイティブ対応により、バッチ処理、CUDA Graphs、標準のTrainerでの微調整が使えます。DeepInfraがOpenRouter経由で100万文字あたり$7で提供しており、BosonやFish Audioの$15の約半額です。Artificial Analysisのアリーナには載っていないため、独立した品質の数字はありません。
注意点:安全性は文言頼みです。カードは、明示的な同意のない実在の人物の模倣、フェイクニュース、詐欺電話を禁じ、研究と教育専用としていますが、Apacheライセンスにそうした制限はなく、コードも強制しません。GitHubリポジトリには透かし用のファイルがありますが、その動作は文書化されていません。リポジトリへの最後のコミットは2025年5月です。
結論:CSM-1Bは、英語の会話音声を自分たちで微調整するチームには良い出発点です。今すぐ使える声が欲しいなら、新しいモデルの方が先に進めます。
真価を発揮する場面
社内にMLエンジニアがいる音声アシスタントのスタートアップ
会話の流れに反応する英語のブランド音声を微調整したい
声優の声を録音し、TransformersのTrainerで微調整し、推論時に前のターンを文脈として渡します。Apache 2.0なので、成果物を商用で出荷できます。
会話AIの研究者
対話の文脈で抑揚がどう変わるかを調べたい
前のターンをSegmentsとして渡した場合と渡さない場合で同じセリフを生成し、比べます。24 kHzのMimiコーデックの出力と話者IDのおかげで、条件をそろえた実験がしやすくなります。
GPUなしで電話ボットを試作する開発者
自前ホスティングを決める前にCSMの話し方を試したい
DeepInfraが100万文字あたり$7で提供するOpenRouterの音声エンドポイントから呼び出します。1,000万文字分のテストで約$70です。
導入前に確認すること
- 導入
- Hugging Faceで利用条件に同意し(元のリポジトリではLlama-3.2-1Bへのアクセスも必要)、Transformers 4.52.1以降でCsmForConditionalGenerationを読み込みます。CUDA GPUが前提で、CUDA 12.4と12.6で動作確認されています。
- 連携
- Hugging Face Transformers、pipeline、Trainer。OpenRouterの/api/v1/audio/speechエンドポイント経由のDeepInfraで、mp3またはpcmを返します。
- データとプライバシー
- 自前でホストすれば音声は手元に残ります。OpenRouter経由ではリクエストはDeepInfraに送られ、EU域内ルーティングでは使えません。禁止用途はカードに書かれていますが、強制はされません。
- 大規模利用時のコスト
- 重みは無料で、ホスト版は100万文字あたり$7、OpenRouterの上乗せはありません。
- 制限
- 英語のみ、一貫した声には文脈の音声が必要、テキストは生成できず、レイテンシやメモリの数字は公開されていません。
良い点
- 会話の履歴を使って話し方を調整する
- 重みはApache 2.0
- バッチ処理と微調整に対応したTransformersのネイティブサポート
- OpenRouter経由で100万文字あたり$7でホスト
気になる点
- 英語のみで、他の言語は「おそらくうまくいかない」
- ベースモデルのため、文脈の音声がないと声がランダム
- レイテンシ、速度、VRAMの数字が非公開
- 2025年5月以降リポジトリへのコミットがない
おすすめの人
寛容なライセンスのオープンなベースで、英語の会話音声を自分たちで微調整したい研究チームやプロダクトチーム。