확산 모델
확산 모델(diffusion model)은 여러 단계에 걸쳐 노이즈를 조금씩 제거하면서 무작위 노이즈를 이미지 같은 데이터로 바꾸는 법을 배우는 생성 모델입니다.
다른 이름: diffusion, denoising diffusion, latent diffusion
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
학습은 실제 이미지에서 시작해, 잡음만 남을 때까지 단계별로 노이즈를 더합니다. 모델은 그 노이즈를 한 단계씩 되돌리는 법을 배웁니다. 생성할 때는 순수한 노이즈에서 시작해, 깨끗한 이미지가 나타날 때까지 학습한 노이즈 제거 단계를 반복해서 실행합니다. Ho, Jain, Abbeel의 2020년 DDPM 논문은 이 방식으로 고품질 이미지를 만들 수 있음을 보여 주었습니다.
왜 중요한가
텍스트 이미지 생성 도구부터 텍스트 비디오 모델까지, 오늘날 접하는 대부분의 이미지와 영상 생성기는 확산을 바탕으로 만들어졌습니다. 공개된 예로는 FLUX.2 dev가 있으며, Diffusers와 ComfyUI 같은 라이브러리로 로컬에서 실행할 수 있습니다. 더 많은 모델은 이미지 모델에 정리되어 있습니다.
잠재 확산
픽셀에 직접 확산을 실행하면 느리고 비쌉니다. Rombach 등이 소개한 잠재 확산(latent diffusion)은 먼저 오토인코더로 이미지를 압축하고 그 더 작은 공간에서 노이즈 제거를 실행합니다. 크로스 어텐션 층이 텍스트 프롬프트로 각 단계를 조종하게 합니다. Stable Diffusion과 그 뒤의 많은 모델이 이 설계를 따릅니다.
한계
생성에는 순차적인 단계가 많이 필요하므로, 한 번에 이미지를 만드는 것보다 느립니다. 조종은 간접적입니다. 프롬프트, 가이던스 스케일, ControlNet 같은 애드온은 모두 결과를 지시하기보다 노이즈 제거를 살짝 유도합니다. 확산 언어 모델은 같은 개념을 텍스트에 적용합니다.
관련 용어
- 텍스트 투 이미지(Text-to-image)
- 텍스트 투 이미지(text-to-image)는 프롬프트라고 부르는 글 설명으로부터 새 그림을 생성하는 작업입니다. 현재 대부분의 텍스트 투 이미지 모델은 텍스트를 조건으로 하는 확산 모델입니다.
- 텍스트 투 비디오(Text-to-video)
- 텍스트 투 비디오(text-to-video)는 글로 쓴 프롬프트로부터 짧은 동영상 클립을 생성하는 작업입니다. 모델은 프레임 하나하나가 그럴듯하면서도 프레임 사이의 움직임이 일관된 결과를 만들어야 합니다.
- 가이던스 스케일(CFG)
- 가이던스 스케일(guidance scale), 또는 CFG 스케일은 확산 이미지 생성기에서 출력이 프롬프트를 얼마나 강하게 따를지 조절하는 설정입니다. 값이 높을수록 프롬프트를 더 충실히 따르지만 다양성이 줄어듭니다.
- ControlNet
- ControlNet은 텍스트 이미지 확산 모델이 텍스트 프롬프트에 더해 엣지 맵, 깊이 맵, 사람의 자세 같은 구조 가이드를 따르게 하는 신경망 애드온입니다.
- 확산 언어 모델
- 확산 언어 모델(dLLM, diffusion language model)은 한 번에 토큰 하나씩 쓰는 대신, 완전히 마스킹되거나 노이즈가 섞인 시퀀스에서 시작해 여러 단계에 걸쳐 많은 토큰 위치를 병렬로 다듬어 텍스트를 생성합니다.
- 자기회귀 모델
- 자기회귀 모델(autoregressive model)은 시퀀스를 한 조각씩 생성하는 모델로, 앞선 모든 토큰으로 다음 토큰을 예측하고 그 출력을 다시 입력으로 넣습니다. 대부분의 대규모 언어 모델이 이렇게 동작합니다.