립싱크(AI 영상)
AI 립싱크(lip sync)는 모델을 써서 영상이나 이미지 속 인물의 입 움직임을 번역하거나 고쳐 쓴 대사 같은 새 오디오 트랙에 맞게 바꾸는 것입니다.
다른 이름: lip-sync, lipsync, AI lip sync, audio-driven talking face
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
립싱크는 AI 더빙을 자연스럽게 보이게 만드는 요소 입니다. 화자의 말을 텍스트 음성 변환이나 음성 복제로 번역하면 원래의 입 움직임이 더 이상 맞지 않습니다. 립싱크 모델은 입 영역을 다시 생성해 새 음성과 맞춥니다.
작동 방식
2020년에 나온 Wav2Lip은 널리 쓰이는 공개 모델입니다. 각 프레임의 얼굴 아래쪽을 오디오에 맞게 편집하며, 입술과 소리가 맞는지 판단하는 별도의 전문가 네트워크를 상대로 학습했습니다. 그 판정자 덕분에 본 적 없는 얼굴에도, 제약 없는 평범한 영상에서도 동작하게 되었습니다. 더 새로운 모델은 한 걸음 더 나아가 오디오로 얼굴이나 머리 전체를 움직이며, 이것이 AI 아바타의 바탕입니다.
용도
영상을 다른 언어로 더빙하기, 재촬영 없이 후반 작업에서 대사 하나 고치기, 개인화된 영상 메시지, 말하는 아바타 등입니다. HeyGen과 Synthesia 같은 서비스가 이를 바탕으로 만들어졌습니다.
한계
치아, 옆모습, 수염, 빠른 고개 돌림, 얼굴 근처의 손은 어렵습니다. 입 주변이 흐릿해 보일 수 있습니다. 동의 없이 실제 인물에 적용한 립싱크는 핵심적인 딥페이크 기법이므로, 플랫폼 규칙과 법이 적용될 수 있습니다.
관련 용어
- AI 아바타
- AI 아바타(AI avatar)는 생성된 영상 속 인물로, 실제 사람을 바탕으로 하는 경우가 많습니다. 대본이나 실시간 응답을 얼굴, 입술, 머리의 움직임을 맞춰 말합니다.
- 텍스트 투 비디오(Text-to-video)
- 텍스트 투 비디오(text-to-video)는 글로 쓴 프롬프트로부터 짧은 동영상 클립을 생성하는 작업입니다. 모델은 프레임 하나하나가 그럴듯하면서도 프레임 사이의 움직임이 일관된 결과를 만들어야 합니다.
- 딥페이크
- 딥페이크(deepfake)는 AI로 만들거나 변조한 이미지, 오디오, 영상 콘텐츠로, 실제 인물, 장소, 사건을 일어나지 않은 방식으로 그럴듯하게 보여 주어 진짜로 통할 수 있는 것을 말합니다.
- 보이스 클로닝(Voice cloning)
- 보이스 클로닝(voice cloning)은 AI를 써서 음성 합성 시스템이 특정인의 녹음으로부터 배운 그 사람의 목소리로 말하게 하는 것입니다. 일부 시스템은 짧은 샘플만 있으면 됩니다.
- 음성 합성(Text-to-speech)
- 음성 합성(text-to-speech, TTS)은 글로 쓴 텍스트를 말소리 오디오로 바꾸는 소프트웨어입니다. 현대 TTS는 텍스트로부터 말소리를 예측하는 신경망을 쓰고, 이를 파형으로 렌더링합니다.