ControlNet
O ControlNet é um complemento de rede neural que permite a um modelo de difusão text-to-image seguir um guia estrutural, como um mapa de bordas, um mapa de profundidade ou uma pose humana, além do prompt de texto.
Também chamado: control net, spatial conditioning
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Um prompt sozinho não consegue dizer exatamente onde as coisas ficam. O ControlNet acrescenta uma segunda entrada que fixa o layout. Dê a ele a pose de um boneco de palitos e a pessoa gerada fica daquele jeito; dê a ele os contornos de um prédio e a imagem mantém essas linhas enquanto o prompt decide o estilo.
Como funciona
Lvmin Zhang e colegas apresentaram o ControlNet em 2023. Ele congela o modelo de difusão original e treina uma cópia do seu encoder com a nova condição. A cópia se conecta de volta por camadas de convolução inicializadas com zero, então no início do treinamento ela não tem efeito e não consegue estragar o que o modelo base já sabe. Existem ControlNets separados para bordas, profundidade, segmentação, pose e mais, e vários podem ser combinados.
Onde você encontra
O ControlNet é presença garantida nos workflows baseados em nós do ComfyUI e é suportado no Diffusers e no InvokeAI. Designers o usam para manter a forma de um produto, arquitetos para mudar o estilo de esboços e animadores para manter consistente a pose de um personagem.
Como ele difere do image-to-image
O image-to-image parte de uma cópia com ruído da imagem inteira, então cores e texturas são levadas adiante. O ControlNet leva adiante só a estrutura que você extrai, deixando a aparência para o prompt. Ele também é diferente de uma LoRA, que muda o que o modelo desenha, como um estilo ou um personagem, e não onde ele desenha.
Termos relacionados
- Modelo de difusão
- Um modelo de difusão (diffusion model) é um modelo generativo que aprende a transformar ruído aleatório em dados, como uma imagem, removendo um pouco de ruído por vez ao longo de muitos passos.
- Image-to-image
- Image-to-image (imagem para imagem) é a tarefa de gerar uma nova imagem a partir de uma existente mais um prompt, mantendo parte da estrutura da original enquanto muda estilo, detalhes ou conteúdo.
- Text-to-image
- Text-to-image (texto para imagem) é a tarefa de gerar uma nova imagem a partir de uma descrição escrita, chamada de prompt. A maioria dos modelos text-to-image atuais são modelos de difusão condicionados pelo texto.
- LoRA
- LoRA (low-rank adaptation, adaptação de baixo posto) é um método de fine-tuning que congela os pesos originais de um modelo e treina pequenas matrizes de baixo posto adicionadas às suas camadas, então muito menos parâmetros mudam e é preciso bem menos memória de GPU.
- Inpainting e outpainting
- Inpainting (preenchimento interno) é preencher uma região mascarada de uma imagem com conteúdo novo gerado que combine com o resto da imagem. Outpainting é a mesma ideia aplicada fora das bordas, estendendo a imagem além do seu quadro.
- Guidance scale (CFG)
- A guidance scale (escala de orientação), ou CFG scale, é uma configuração de geradores de imagem por difusão que controla com que força a saída segue o prompt. Valores mais altos seguem o prompt mais de perto, mas reduzem a variedade.