音声エージェント
音声エージェント(voice agent)とは、リアルタイムで音声の会話を行うAIエージェントです。人の話を聞き、何を言うか、何をするかを決め、合成音声で答えます。多くの場合、電話回線やアプリを通じて使われます。
別名: voice AI agent
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
音声エージェントは、サポート窓口への対応、予約、営業の見込み客の選別、ハンズフリーのアシスタントなどを担います。評価されるのは、何を知っているかより、会話がどれだけ自然に感じられるかです。素早い返答、相手の話にかぶせないこと、割り込まれたときの円滑な立て直しです。
仕組み
一般的な設計は、3つのモデルのパイプラインです。Speech-to-textが通話相手の音声を言葉に変え、言語モデルが返答を決めて必要なツールを呼び、text-to-speechが答えを話します。各段階はストリーミングするため、返答全体が書き上がる前に声が話し始められます。新しい設計では、音声を受け取って音声を返す単一のspeech-to-speechモデルを使います。遅延を減らし声の調子を保てますが、各ステップの制御はしにくくなります。
モデルの周りには難しい部分があります。通話相手が話し終えたことを知るためのターン検出、割り込まれたときのbarge-inの処理、電話の通信、カレンダーやCRMへのツール呼び出しです。LiveKit Agentsのようなフレームワークや、Vapi、Retell AIのようなプラットフォームは、これらの部品をまとめて提供しています。
レイテンシが重要な理由
人は、テキストよりも話し言葉での間にはるかに敏感です。各段階が遅延を加えるため、開発者はモデルのtime to first tokenと、声の最初の音声までの時間を追跡します。
限界
背景の雑音、なまり、発話の重なりは書き起こしの誤りを生み、パイプラインの残りの部分がそれを引き継ぎます。多くの地域には、通話相手がAIと話していることの開示や、通話の録音に関する規則があります。事業を行う地域の法律を確認してください。
関連用語
- Speech-to-speechモデル
- Speech-to-speechモデル(音声対音声モデル)とは、話し言葉の音声を受け取り、いったんテキストに変換して戻すことなく、直接話し言葉の音声を出力するモデルです。リアルタイムの音声会話や翻訳に使われます。
- Text-to-speech(音声合成)
- Text-to-speech(TTS、音 声合成)とは、書かれたテキストを話し言葉の音声に変えるソフトウェアです。現在のTTSは、テキストから発話の音を予測し、それを波形として描き出すニューラルネットワークを使います。
- Speech-to-text(音声認識)
- Speech-to-text(音声認識)とは、自動音声認識(ASR)とも呼ばれ、話し言葉の音声を書き言葉のテキストに変換するソフトウェアです。書き起こし、字幕、音声コマンド、そして音声エージェントの聞き取りの部分を支えています。
- AI エージェント
- AI エージェント(AI agent)とは、言語モデルが次の手順を自分で決めるシステムです。固定の台本に従うのではなく、ツールを呼び出し、結果を読み、タスクが終わるまで繰り返します。
- Time to first token(TTFT)
- Time to first token(TTFT、最初のトークンまでの時間)とは、ユーザーが言語モデルにリクエストを送ってから応答の最初のトークンを受け取るまでの待ち時間で、キューでの待ち、プロンプトの処理、ネットワークの時間を含みます。
- ボイスクローニング
- ボイスクローニング(voice cloning)とは、AIを使い、特定の人の録音から学んだその人の声で音声合成システムに話させることです。短いサンプルだけで済むシステムもあります。