보이스 클로닝(Voice cloning)
보이스 클로닝(voice cloning)은 AI를 써서 음성 합성 시스템이 특정인의 녹음으로부터 배운 그 사람의 목소리로 말하게 하는 것입니다. 일부 시스템은 짧은 샘플만 있으면 됩니다.
다른 이름: voice clone, voice replication, custom voice
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
복제된 목소리를 쓰면 음성 합성 모델이 어떤 텍스트든 샘플 속 사람처럼 들리게 읽을 수 있습니다. 더빙, 저자가 직접 낭독하는 오디오북, 말하는 능력을 잃은 사람의 목소리 복원, 브랜드 음성 에이전트 등에 쓰입니다.
작동 방식
Baidu 연구진은 2018년에 두 가지 주요 방식을 설명했습니다. 화자 적응(speaker adaptation)은 여러 화자 모델을 새 목소리의 클립 몇 개로 파인튜닝합니다. 화자 인코딩(speaker encoding)은 클립을 목소리의 간결한 표현인 화자 임베딩으로 바꾸는 별도 네트워크를 학습시키고, 음성 모델은 그 임베딩을 따릅니다. 인코딩은 목소리마다 추가 학습이 필요 없어 더 빠르고 저렴합니다. 현대 제로샷 TTS 모델은 인코딩 아이디어를 확장합니다. ElevenLabs 같은 호스팅 서비스와 Chatterbox 같은 오픈 모델이 클로닝을 제공합니다.
동의와 악용
그럴듯한 클론은 친척이나 임원을 사칭한 가짜 전화 같은 사기에 쓰이거나, 공인이 하지 않은 말을 한 것처럼 꾸미는 데 쓰일 수 있습니다. 복제된 오디오와 영상을 결합한 것은 흔한 형태의 딥페이크입니다. 많은 제공업체가 사용자에게 화자의 허락을 받았는지 확인을 요구하며, 일부는 오디오 워터마크를 더합니다. 다른 사람의 목소리 사용에 관한 법은 나라마다 다르니, 적용되는 규칙을 확인하십시오.
한계
짧은 샘플로 만든 클론은 억양, 감정, 호흡 패턴을 놓칠 수 있으며, 원본 오디오에 잡음이 많으면 품질이 떨어집니다.
관련 용어
- 음성 합성(Text-to-speech)
- 음성 합성(text-to-speech, TTS)은 글로 쓴 텍스트를 말소리 오디오로 바꾸는 소프트웨어입니다. 현대 TTS는 텍스트로부터 말소리를 예측하는 신경망을 쓰고, 이를 파형으로 렌더링합니다.
- 딥페이크
- 딥페이크(deepfake)는 AI로 만들거나 변조한 이미지, 오디오, 영상 콘텐츠로, 실제 인물, 장소, 사건을 일어나지 않은 방식으로 그럴듯하게 보여 주어 진짜로 통할 수 있는 것을 말합니다.
- AI 워터마킹
- AI 워터마킹(AI watermarking)은 AI 모델이 텍스트, 이미지, 오디오, 영상을 생성하는 순간 그 안에 숨겨진, 기계가 감지할 수 있는 신호를 심는 기술입니다. 나중에 소프트웨어가 그 콘텐츠를 AI가 생성한 것으로 식별할 수 있게 합니다.
- 음성 대 음성 모델(Speech-to-speech model)
- 음성 대 음성 모델(speech-to-speech model)은 음성을 먼저 텍스트로 바꿨다가 되돌리지 않고, 말소리 오디오를 받아 말소리 오디오를 직접 내놓는 모델입니다. 실시간 음성 대화와 통역에 쓰입니다.
- 음성 에이전트(Voice agent)
- 음성 에이전트(voice agent)는 실시간으로 음성 대화를 나누는 AI 에이전트로, 사람의 말을 듣고, 무엇을 말하거나 할지 정하고, 합성 음성으로 답하며, 흔히 전화선이나 앱을 통해 작동합니다.