본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

음성 대 음성 모델(Speech-to-speech model)

음성 대 음성 모델(speech-to-speech model)은 음성을 먼저 텍스트로 바꿨다가 되돌리지 않고, 말소리 오디오를 받아 말소리 오디오를 직접 내놓는 모델입니다. 실시간 음성 대화와 통역에 쓰입니다.

다른 이름: realtime voice, realtime API, S2S, full-duplex voice model

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

음성 어시스턴트를 만드는 고전적인 방법은 파이프라인입니다. 음성 인식, 그다음 언어 모델, 그다음 음성 합성입니다. 단계마다 지연이 더해지고, 말이 텍스트로 축소되면서 목소리의 어조가 사라집니다. 음성 대 음성 모델은 이 파이프라인을 듣고 말하는 하나의 모델로 대체합니다.

작동 방식

Kyutai의 Moshi 논문은 파이프라인의 문제를 정리했습니다. 몇 초에 이르는 지연, 감정과 말 이외의 소리의 손실, 끼어들기를 무시하는 엄격한 차례 주고받기입니다. Moshi는 오디오를 신경 오디오 코덱의 토큰으로 표현하고, 자신의 말과 사용자의 말을 병렬 스트림으로 모델링하므로 말하는 동안에도 들을 수 있습니다. Moshi 저장소에서 실행할 수 있습니다. GPT Live 1 같은 호스팅 모델은 오디오를 양방향으로 스트리밍하는 실시간 API로 제공됩니다.

개발자가 관심을 두는 이유

지연이 낮고 끼어들 수 있으면 음성 에이전트가 전화 통화처럼 느껴집니다. 모델은 감정, 웃음, 강조를 듣고 만들어 낼 수도 있습니다.

장단점

파이프라인은 들여다보고 제어하기가 더 쉽습니다. 녹취록을 기록하고, 언어 모델을 바꾸거나, 텍스트 가드레일을 적용할 수 있습니다. 음성 대 음성 모델은 듣는 것과 답하는 것 사이에 무슨 일이 일어나는지 덜 보여 주며, 분당 비용이 더 드는 경향이 있습니다. 그래서 많은 제품이 여전히 파이프라인을 씁니다.

관련 용어

음성 에이전트(Voice agent)
음성 에이전트(voice agent)는 실시간으로 음성 대화를 나누는 AI 에이전트로, 사람의 말을 듣고, 무엇을 말하거나 할지 정하고, 합성 음성으로 답하며, 흔히 전화선이나 앱을 통해 작동합니다.
음성 합성(Text-to-speech)
음성 합성(text-to-speech, TTS)은 글로 쓴 텍스트를 말소리 오디오로 바꾸는 소프트웨어입니다. 현대 TTS는 텍스트로부터 말소리를 예측하는 신경망을 쓰고, 이를 파형으로 렌더링합니다.
음성 인식(Speech-to-text)
음성 인식(speech-to-text)은 자동 음성 인식(ASR)이라고도 하며, 말소리 오디오를 글로 바꾸는 소프트웨어입니다. 전사, 자막, 음성 명령, 그리고 음성 에이전트의 듣는 쪽을 맡습니다.
스트리밍(LLM 출력)
스트리밍(streaming)은 전체 응답을 기다리지 않고, 토큰이 생성되는 대로 LLM의 출력을 조금씩 클라이언트에 보내는 방식입니다. 완전한 답이 훨씬 오래 걸려도 사용자는 곧바로 텍스트가 나타나는 것을 봅니다.
첫 토큰까지의 시간(Time to first token)
첫 토큰까지의 시간(time to first token, TTFT)은 사용자가 언어 모델에 요청을 보낸 뒤 응답의 첫 토큰을 받기까지 기다리는 시간으로, 대기열, 프롬프트 처리, 네트워크 시간을 포함합니다.
가드레일(AI)
가드레일(guardrails)은 언어 모델 주변에 두는 실행 시점 점검 장치로, 입력과 출력을 검사해 막거나, 다시 쓰거나, 다른 곳으로 돌립니다. 애플리케이션이 주제를 벗어나지 않고, 해로운 콘텐츠를 피하고, 모델만으로는 꾸준히 지키지 못할 규칙을 따르게 합니다.

출처