본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

텍스트 투 비디오(Text-to-video)

텍스트 투 비디오(text-to-video)는 글로 쓴 프롬프트로부터 짧은 동영상 클립을 생성하는 작업입니다. 모델은 프레임 하나하나가 그럴듯하면서도 프레임 사이의 움직임이 일관된 결과를 만들어야 합니다.

다른 이름: video generation, T2V, AI video generator

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

텍스트 투 비디오는 텍스트 투 이미지에 두 번째 문제, 즉 시간을 더합니다. 좋은 프레임 하나로는 충분하지 않습니다. 모든 프레임에 걸쳐 객체는 형태를 유지하고, 조명은 안정적이며, 움직임은 물리적으로 그럴듯해야 합니다.

작동 방식

많은 동영상 모델은 이미지 확산 모델에서 출발해 프레임을 가로질러 보는 레이어를 더합니다. Meta의 Make-A-Video 논문은 이 아이디어를 쉽게 설명했습니다. 겉모습은 텍스트와 이미지 쌍에서 배우고, 움직임은 레이블 없는 동영상에서 배운다는 것입니다. Stable Video Diffusion은 먼저 이미지로, 그다음 대규모 동영상 세트로, 그다음 더 작은 고품질 세트로 단계적으로 학습했습니다.

실제 사용

Kling과 Runway 같은 호스팅 서비스, 그리고 Veo 3.1 같은 모델은 프롬프트로 몇 초짜리 클립을 만듭니다. 많은 경우 정지 이미지를 첫 프레임으로 받기도 하며, 이것이 이미지 투 비디오입니다. 더 많은 선택지는 동영상 모델에 나와 있습니다.

한계

클립은 짧고, 더 긴 장면은 보통 이어 붙여 만듭니다. 세밀한 디테일, 손, 글자, 인과 관계가 자주 무너집니다. 1초에 프레임이 많으므로 생성 비용이 이미지보다 훨씬 비쌉니다. 사실적인 출력은 딥페이크 우려도 낳습니다.

관련 용어

이미지 투 비디오
이미지 투 비디오(image-to-video)는 정지 이미지를 짧은 영상 클립으로 바꾸는 작업으로, 보통 이미지를 첫 프레임으로 쓰고 텍스트 프롬프트로 움직임을 설명합니다.
확산 모델
확산 모델(diffusion model)은 여러 단계에 걸쳐 노이즈를 조금씩 제거하면서 무작위 노이즈를 이미지 같은 데이터로 바꾸는 법을 배우는 생성 모델입니다.
텍스트 투 이미지(Text-to-image)
텍스트 투 이미지(text-to-image)는 프롬프트라고 부르는 글 설명으로부터 새 그림을 생성하는 작업입니다. 현재 대부분의 텍스트 투 이미지 모델은 텍스트를 조건으로 하는 확산 모델입니다.
립싱크(AI 영상)
AI 립싱크(lip sync)는 모델을 써서 영상이나 이미지 속 인물의 입 움직임을 번역하거나 고쳐 쓴 대사 같은 새 오디오 트랙에 맞게 바꾸는 것입니다.
딥페이크
딥페이크(deepfake)는 AI로 만들거나 변조한 이미지, 오디오, 영상 콘텐츠로, 실제 인물, 장소, 사건을 일어나지 않은 방식으로 그럴듯하게 보여 주어 진짜로 통할 수 있는 것을 말합니다.
월드 모델(World model)
월드 모델(world model)은 환경이 작동하는 방식을 다음에 일어날 일을 예측할 수 있을 만큼 배운 AI 모델로, 흔히 동영상이나 센서 데이터로 학습하며, 에이전트가 그 시뮬레이션 안에서 계획하거나 학습할 수 있게 합니다.

출처