ControlNet
ControlNet은 텍스트 이미지 확산 모델이 텍스트 프롬프트에 더해 엣지 맵, 깊이 맵, 사람의 자세 같은 구조 가이드를 따르게 하는 신경망 애드온입니다.
다른 이름: control net, spatial conditioning
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
프롬프트만으로는 무엇이 정확히 어디에 놓일지 말할 수 없습니다. ControlNet은 레이아웃을 고정하는 두 번째 입력을 더합니다. 막대 인형 자세를 주면 생성된 사람이 그렇게 서고, 건물의 윤곽선을 주면 이미지가 그 선을 유지하면서 스타일은 프롬프트가 정합니다.
작동 방식
Lvmin Zhang 등이 2023년에 ControlNet을 소개했습니다. 원래의 확산 모델은 고정하고, 그 인코더의 사본을 새로운 조건으로 학습시킵니다. 사본은 0으로 초기화된 합성곱 층을 통해 다시 연결되므로, 학습 초기에는 아무 영향이 없고 베이스 모델이 이미 아는 것을 망가뜨릴 수 없습니다. 엣지, 깊이, 분할, 자세 등을 위한 ControlNet이 따로 있으며, 여러 개를 조합할 수 있습니다.
어디서 접하는가
ControlNet은 ComfyUI의 노드 기반 워크플로에서 빠지지 않는 요소이며, Diffusers와 InvokeAI에서도 지원됩니다. 디자이너는 제품의 형태를 유지하는 데, 건축가는 스케치의 스타일을 바꾸는 데, 애니메이터는 캐릭터의 자세를 일관되게 유지하는 데 씁니다.
이미지 투 이미지와 다른 점
이미지 투 이미지는 그림 전체에 노이즈를 더한 사본에서 시작하므로 색과 질감이 그대로 넘어옵니다. ControlNet은 추출한 구조만 넘기고 외관은 프롬프트에 맡깁니다. 스타일이나 캐릭터처럼 모델이 무엇을 그리는지를 바꾸는 LoRA와도 다릅니다. ControlNet은 어디에 그리는지를 정합니다.
관련 용어
- 확산 모델
- 확산 모델(diffusion model)은 여러 단계에 걸쳐 노이즈를 조금씩 제거하면서 무작위 노이즈를 이미지 같은 데이터로 바꾸는 법을 배우는 생성 모델입니다.
- 이미지 투 이미지
- 이미지 투 이미지(image-to-image)는 기존 이미지와 프롬프트로 새 이미지를 생성하는 작업으로, 원본 구조의 일부를 유지하면서 스타일, 디테일, 내용을 바꿉니다.
- 텍스트 투 이미지(Text-to-image)
- 텍스트 투 이미지(text-to-image)는 프롬프트라고 부르는 글 설명으로부터 새 그림을 생성하는 작업입니다. 현재 대부분의 텍스트 투 이미지 모델은 텍스트를 조건으로 하는 확산 모델입니다.
- LoRA
- LoRA(low-rank adaptation, 저랭크 적응)는 모델의 원래 가중치를 고정하고 레이어에 추가한 작은 저랭크 행렬만 학습하는 파인튜닝 방법입니다. 바뀌는 파라미터가 훨씬 적어 GPU 메모리가 훨씬 덜 필요합니다.
- 인페인팅과 아웃페인팅
- 인페인팅(inpainting)은 이미지에서 마스크를 씌운 영역을 그림의 나머지와 어울리는 새로 생성한 내용으로 채우는 것입니다. 아웃페인팅(outpainting)은 같은 개념을 가장자리 바깥에 적용해 이미지를 프레임 너머로 넓히는 것입니다.
- 가이던스 스케일(CFG)
- 가이던스 스케일(guidance scale), 또는 CFG 스케일은 확산 이미지 생성기에서 출력이 프롬프트를 얼마나 강하게 따를지 조절하는 설정입니다. 값이 높을수록 프롬프트를 더 충실히 따르지만 다양성이 줄어듭니다.