本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

Speech-to-speechモデル

Speech-to-speechモデル(音声対音声モデル)とは、話し言葉の音声を受け取り、いったんテキストに変換して戻すことなく、直接話し言葉の音声を出力するモデルです。リアルタイムの音声会話や翻訳に使われます。

別名: realtime voice, realtime API, S2S, full-duplex voice model

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

音声アシスタントを作る古典的な方法はパイプラインです。speech-to-text、次に言語モデル、そしてtext-to-speechです。各段階で遅延が加わり、音声がテキストに落とし込まれるときに声の調子が失われます。Speech-to-speechモデルは、聞いて話す1つのモデルでパイプラインを置き換えます。

仕組み

KyutaiのMoshiの論文は、パイプラインの問題を整理しました。数秒の遅延、感情や発話以外の音の喪失、割り込みを無視する厳格なターン制です。Moshiは音声をニューラル音声コーデックのトークンとして表し、自分の発話とユーザーの発話を並列のストリームでモデル化するため、話しながら聞くことができます。Moshi repoから実行できます。GPT Live 1のようなホスト型モデルは、音声を双方向にストリーミングするリアルタイムAPIを通じて提供されています。

開発者が注目する理由

レイテンシが低く割り込みができるため、音声エージェントが電話のように感じられます。モデルは感情、笑い、強調を聞き取り、表現することもできます。

トレードオフ

パイプラインの方が中身を確かめやすく、制御もしやすいものです。書き起こしを記録したり、言語モデルを入れ替えたり、テキストのガードレールを適用したりできます。Speech-to-speechモデルでは、聞いてから答えるまでの間に何が起きているかが見えにくく、1分あたりの費用も高くなる傾向があります。そのため、多くの製品は今もパイプラインを使っています。

関連用語

音声エージェント
音声エージェント(voice agent)とは、リアルタイムで音声の会話を行うAIエージェントです。人の話を聞き、何を言うか、何をするかを決め、合成音声で答えます。多くの場合、電話回線やアプリを通じて使われます。
Text-to-speech(音声合成)
Text-to-speech(TTS、音声合成)とは、書かれたテキストを話し言葉の音声に変えるソフトウェアです。現在のTTSは、テキストから発話の音を予測し、それを波形として描き出すニューラルネットワークを使います。
Speech-to-text(音声認識)
Speech-to-text(音声認識)とは、自動音声認識(ASR)とも呼ばれ、話し言葉の音声を書き言葉のテキストに変換するソフトウェアです。書き起こし、字幕、音声コマンド、そして音声エージェントの聞き取りの部分を支えています。
ストリーミング(LLMの出力)
ストリーミング(streaming)とは、完全な応答を待たずに、トークンが生成されるそばからLLMの出力を少しずつクライアントに送ることです。完全な回答にはずっと長くかかる場合でも、ユーザーにはすぐにテキストが表示されます。
Time to first token(TTFT)
Time to first token(TTFT、最初のトークンまでの時間)とは、ユーザーが言語モデルにリクエストを送ってから応答の最初のトークンを受け取るまでの待ち時間で、キューでの待ち、プロンプトの処理、ネットワークの時間を含みます。
ガードレール(AI)
ガードレール(guardrails)とは、言語モデルの周りに置く実行時のチェックです。入力と出力を調べ、ブロックしたり、書き換えたり、別の経路に回したりします。これにより、アプリケーションが話題から外れず、有害なコンテンツを避け、モデルだけでは確実に守れないルールに従うようにします。

出典