음성 에이전트(Voice agent)
음성 에이전트(voice agent)는 실시간으로 음성 대화를 나누는 AI 에이전트로, 사람의 말을 듣고, 무엇을 말하거나 할지 정하고, 합성 음성으로 답하며, 흔히 전화선이나 앱을 통해 작동합니다.
다른 이름: voice AI agent
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
음성 에이전 트는 고객 지원 전화를 받고, 예약을 잡고, 영업 잠재 고객을 선별하고, 핸즈프리 어시스턴트 역할을 합니다. 무엇을 아느냐보다 대화가 얼마나 자연스럽게 느껴지느냐로 평가받습니다. 빠른 응답, 상대의 말에 끼어들지 않기, 끼어들기를 당했을 때 매끄럽게 회복하기입니다.
작동 방식
흔한 설계는 세 모델의 파이프라인입니다. 음성 인식이 발신자의 오디오를 단어로 바꾸고, 언어 모델이 답을 정하고 필요한 도구를 호출하며, 음성 합성이 답을 말합니다. 단계마다 스트리밍하므로 전체 답이 다 쓰이기 전에 목소리가 시작될 수 있습니다. 더 새로운 설계는 오디오를 받아 오디오를 내놓는 단일 음성 대 음성 모델을 쓰며, 지연을 줄이고 목소리의 어조를 유지할 수 있지만 각 단계에 대한 통제는 줄어듭니다.
모델 주변에는 어려운 부분들이 있습니다. 발신자가 말을 마쳤는지 아는 차례 감지, 발신자가 끼어들 때의 barge-in 처리, 전화망 연동, 그리고 캘린더나 CRM에 대한 도구 호출입니다. LiveKit Agents 같은 프레임워크와 Vapi, Retell AI 같은 플랫폼이 이런 요소를 묶어 제공합니다.
지연이 중요한 이유
사람들은 텍스트보다 말에서의 멈춤을 훨씬 더 잘 알아챕니다. 단계마다 지연이 더해지 므로, 개발자는 모델의 첫 토큰까지의 시간과 목소리의 첫 오디오까지의 시간을 추적합니다.
한계
배경 소음, 억양, 동시 발화는 전사 오류를 일으키고, 파이프라인의 나머지가 그 오류를 물려받습니다. 많은 지역에서 발신자가 AI와 대화하고 있음을 알리는 것과 통화 녹음에 관한 규칙이 있으니, 운영하는 곳의 법을 확인하십시오.
관련 용어
- 음성 대 음성 모델(Speech-to-speech model)
- 음성 대 음성 모델(speech-to-speech model)은 음성을 먼저 텍스트로 바꿨다가 되돌리지 않고, 말소리 오디오를 받아 말소리 오디오를 직접 내놓는 모델입니다. 실시간 음성 대화와 통역에 쓰입니다.
- 음성 합성(Text-to-speech)
- 음성 합성(text-to-speech, TTS)은 글로 쓴 텍스트를 말소리 오디오로 바꾸는 소프트웨어입니다. 현대 TTS는 텍스트로부터 말소리를 예측하는 신경망을 쓰고, 이를 파형으로 렌더링합니다.
- 음성 인식(Speech-to-text)
- 음성 인식(speech-to-text)은 자동 음성 인식(ASR)이라고도 하며, 말소리 오디오를 글로 바꾸는 소프트웨어입니다. 전사, 자막, 음성 명령, 그리고 음성 에이전트의 듣는 쪽을 맡습니다.
- AI 에이전트
- AI 에이전트(AI agent)는 언어 모델이 다음 단계를 스스로 정하는 시스템입니다. 고정된 스크립트를 따르는 대신 도구를 호출하고, 결과를 읽고, 작업이 끝날 때까지 이를 반복합니다.
- 첫 토큰까지의 시간(Time to first token)
- 첫 토큰까지의 시간(time to first token, TTFT)은 사용자가 언어 모델에 요청을 보낸 뒤 응답의 첫 토큰을 받기까지 기다리는 시간으로, 대기열, 프롬프트 처리, 네트워크 시간을 포함합니다.
- 보이스 클로닝(Voice cloning)
- 보이스 클로닝(voice cloning)은 AI를 써서 음성 합성 시스템이 특정인의 녹음으로부터 배운 그 사람의 목소리로 말하게 하는 것입니다. 일부 시스템은 짧은 샘플만 있으면 됩니다.