이미지, 동영상, 오디오
이미지, 동영상, 음성, 음악을 생성하고 편집하는 모델의 용어입니다.
- AI 아바타
- AI 아바타(AI avatar)는 생성된 영상 속 인물로, 실제 사람을 바탕으로 하는 경우가 많습니다. 대본이나 실시간 응답을 얼굴, 입술, 머리의 움직임을 맞춰 말합니다.
- AI 이미지 업스케일링
- AI 이미지 업스케일링(AI image upscaling), 또는 초해상도(super-resolution)는 신경망으로 이미지를 확대하면서 그럴듯한 디테일을 채워 넣어, 단순한 크기 조정보다 결과가 더 선명해 보이게 하는 기술입니다.
- ControlNet
- ControlNet은 텍스트 이미지 확산 모델이 텍스트 프롬프트에 더해 엣지 맵, 깊이 맵, 사람의 자세 같은 구조 가이드를 따르게 하는 신경망 애드온입니다.
- 가이던스 스케일(CFG)
- 가이던스 스케일(guidance scale), 또는 CFG 스케일은 확산 이미지 생성기에서 출력이 프롬프트를 얼마나 강하게 따를지 조절하는 설정입니다. 값이 높을수록 프롬프트를 더 충실히 따르지만 다양성이 줄어듭니다.
- 립싱크(AI 영상)
- AI 립싱크(lip sync)는 모델을 써서 영상이나 이미지 속 인물의 입 움직임을 번역하거나 고쳐 쓴 대사 같은 새 오디오 트랙에 맞게 바꾸는 것입니다.
- 보이스 클로닝(Voice cloning)
- 보이스 클로닝(voice cloning)은 AI를 써서 음성 합성 시스템이 특정인의 녹음으로부터 배운 그 사람의 목소리로 말하게 하는 것입니다. 일부 시스템은 짧은 샘플만 있으면 됩니다.
- 음성 대 음성 모델(Speech-to-speech model)
- 음성 대 음성 모델(speech-to-speech model)은 음성을 먼저 텍스트로 바꿨다가 되돌리지 않고, 말소리 오디오를 받아 말소리 오디오를 직접 내놓는 모델입니다. 실시간 음성 대화와 통역에 쓰입니다.
- 음성 인식(Speech-to-text)
- 음성 인식(speech-to-text)은 자동 음성 인식(ASR)이라고도 하며, 말소리 오디오를 글로 바꾸는 소프트웨어입니다. 전사, 자막, 음성 명령, 그리고 음성 에이전트의 듣는 쪽을 맡습니다.
- 음성 합성(Text-to-speech)
- 음성 합성(text-to-speech, TTS)은 글로 쓴 텍스트를 말소리 오디오로 바꾸는 소프트웨어입니다. 현대 TTS는 텍스트로부터 말소리를 예측하는 신경망을 쓰고, 이를 파형으로 렌더링합니다.
- 이미지 투 비디오
- 이미지 투 비디오(image-to-video)는 정지 이미지를 짧은 영상 클립으로 바꾸는 작업으로, 보통 이미지를 첫 프레임으로 쓰고 텍스트 프롬프트로 움직임을 설명합니다.
- 이미지 투 이미지
- 이미지 투 이미지(image-to-image)는 기존 이미지와 프롬프트로 새 이미지를 생성하는 작업으로, 원본 구조의 일부를 유지하면서 스타일, 디테일, 내용을 바꿉니다.
- 인페인팅과 아웃페인팅
- 인페인팅(inpainting)은 이미지에서 마스크를 씌운 영역을 그림의 나머지와 어울리는 새로 생성한 내용으로 채우는 것입니다. 아웃페인팅(outpainting)은 같은 개념을 가장자리 바깥에 적용해 이미지를 프레임 너머로 넓히는 것입니다.
- 텍스트 투 3D(Text-to-3D)
- 텍스트 투 3D(text-to-3D)는 글로 쓴 프롬프트로부터 3D 객체나 장면을 생성하는 작업입니다. 이미지 투 3D는 한 장 이상의 사진으로 같은 일을 합니다. 결과물은 어느 각도에서든 볼 수 있습니다.
- 텍스트 투 뮤직(Text-to-music)
- 텍스트 투 뮤직(text-to-music)은 장르, 분위기, 악기, 템포 같은 글 설명으로부터 음악 오디오를 생성하는 작업입니다. 일부 시스템은 가사를 쓰고 노래까지 부릅니다.
- 텍스트 투 비디오(Text-to-video)
- 텍스트 투 비디오(text-to-video)는 글로 쓴 프롬프트로부터 짧은 동영상 클립을 생성하는 작업입니다. 모델은 프레임 하나하나가 그럴듯하면서도 프레임 사이의 움직임이 일관된 결과를 만들어야 합니다.
- 텍스트 투 이미지(Text-to-image)
- 텍스트 투 이미지(text-to-image)는 프롬프트라고 부르는 글 설명으로부터 새 그림을 생성하는 작업입니다. 현재 대부분의 텍스트 투 이미지 모델은 텍스트를 조건으로 하는 확산 모델입니다.
- 화자 분리(Speaker diarization)
- 화자 분리(speaker diarization)는 오디오 녹음을 화자별로 나눠, 말한 구간마다 누가 말했는지 레이블을 붙이는 작업입니다. "누가 언제 말했는가"라는 질문에 답합니다.
- 확산 모델
- 확산 모델(diffusion model)은 여러 단계에 걸쳐 노이즈를 조금씩 제거하면서 무작위 노이즈를 이미지 같은 데이터로 바꾸는 법을 배우는 생성 모델입니다.