음성 대 음성 모델(Speech-to-speech model)
음성 대 음성 모델(speech-to-speech model)은 음성을 먼저 텍스트로 바꿨다가 되돌리지 않고, 말소리 오디오를 받아 말소리 오디오를 직접 내놓는 모델입니다. 실시간 음성 대화와 통역에 쓰입니다.
다른 이름: realtime voice, realtime API, S2S, full-duplex voice model
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
음성 어시스턴트를 만드는 고전적인 방법은 파이프라인입니다. 음성 인식, 그다음 언어 모델, 그다음 음성 합성입니다. 단계마다 지연이 더해지고, 말이 텍스트로 축소되면서 목소리의 어조가 사라집니다. 음성 대 음성 모델은 이 파이프라인을 듣고 말하는 하나의 모델로 대체합니다.
작동 방식
Kyutai의 Moshi 논문은 파이프라인의 문제를 정리했습니다. 몇 초에 이르는 지연, 감정과 말 이외의 소리의 손실, 끼어들기를 무시하는 엄격한 차례 주고받기입니다. Moshi는 오디오를 신경 오디오 코덱의 토큰으로 표현하고, 자신의 말과 사용자의 말을 병렬 스트림으로 모델링하므로 말하는 동안에도 들을 수 있습니다. Moshi 저장소에서 실행할 수 있습니다. GPT Live 1 같은 호스팅 모델은 오디오를 양방향으로 스트리밍하는 실시간 API로 제공됩니다.
개발자가 관심을 두는 이유
지연이 낮고 끼어들 수 있으면 음성 에이전트가 전화 통화처럼 느껴집니다. 모델은 감정, 웃음, 강조를 듣고 만들어 낼 수도 있습니다.
장단점
파이프라인은 들여다보고 제어하기가 더 쉽습니다. 녹취록을 기록하고, 언어 모델을 바꾸 거나, 텍스트 가드레일을 적용할 수 있습니다. 음성 대 음성 모델은 듣는 것과 답하는 것 사이에 무슨 일이 일어나는지 덜 보여 주며, 분당 비용이 더 드는 경향이 있습니다. 그래서 많은 제품이 여전히 파이프라인을 씁니다.
관련 용어
- 음성 에이전트(Voice agent)
- 음성 에이전트(voice agent)는 실시간으로 음성 대화를 나누는 AI 에이전트로, 사람의 말을 듣고, 무엇을 말하거나 할지 정하고, 합성 음성으로 답하며, 흔히 전화선이나 앱을 통해 작동합니다.
- 음성 합성(Text-to-speech)
- 음성 합성(text-to-speech, TTS)은 글로 쓴 텍스트를 말소리 오디오로 바꾸는 소프트웨어입니다. 현대 TTS는 텍스트로부터 말소리를 예측하는 신경망을 쓰고, 이를 파형으로 렌더링합니다.
- 음성 인식(Speech-to-text)
- 음성 인식(speech-to-text)은 자동 음성 인식(ASR)이라고도 하며, 말소리 오디오를 글로 바꾸는 소프트웨어입니다. 전사, 자막, 음성 명령, 그리고 음성 에이전트의 듣는 쪽을 맡습니다.
- 스트리밍(LLM 출력)
- 스트리밍(streaming)은 전체 응답을 기다리지 않고, 토큰이 생성되는 대로 LLM의 출력을 조금씩 클라이언트에 보내는 방식입니다. 완전한 답이 훨씬 오래 걸려도 사용자는 곧바로 텍스트가 나타나는 것을 봅니다.
- 첫 토큰까지의 시간(Time to first token)
- 첫 토큰까지의 시간(time to first token, TTFT)은 사용자가 언어 모델에 요청을 보낸 뒤 응답의 첫 토큰을 받기까지 기다리는 시간으로, 대기열, 프롬프트 처리, 네트워크 시간을 포함합니다.
- 가드레일(AI)
- 가드레일(guardrails)은 언어 모델 주변에 두는 실행 시점 점검 장치로, 입력과 출력을 검사해 막거나, 다시 쓰거나, 다른 곳으로 돌립니다. 애플리케이션이 주제를 벗어나지 않고, 해로운 콘텐츠를 피하고, 모델만으로는 꾸준히 지키지 못할 규칙을 따르게 합니다.