ControlNet
ControlNet es un complemento de red neuronal que permite a un modelo de difusión text-to-image seguir una guía estructural, como un mapa de bordes, un mapa de profundidad o una pose humana, además del prompt de texto.
También llamado: control net, spatial conditioning
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Un prompt por sí solo no puede decir exactamente dónde va cada cosa. ControlNet añade una segunda entrada que fija la composición. Dale una pose de figura de palitos y la persona generada se colocará así; dale los contornos de un edificio y la imagen conservará esas líneas mientras el prompt decide el estilo.
Cómo funciona
Lvmin Zhang y sus colegas presentaron ControlNet en 2023. Congela el modelo de difusión original y entrena una copia de su codificador con la nueva condición. La copia se conecta de vuelta mediante capas de convolución inicializadas a cero, así que al inicio del entrenamiento no tiene efecto y no puede dañar lo que el modelo base ya sabe. Existen ControlNets separados para bordes, profundidad, segmentación, pose y más, y se pueden combinar varios.
Dónde te lo encuentras
ControlNet es un elemento básico de los workflows basados en nodos de ComfyUI y es compatible con Diffusers e InvokeAI. Los diseñadores lo usan para mantener la forma de un producto, los arquitectos para cambiar el estilo de bocetos y los animadores para mantener coherente la pose de un personaje.
En qué se diferencia de image-to-image
Image-to-image parte de una copia con ruido de toda la imagen, así que los colores y las texturas se mantienen. ControlNet solo traslada la estructura que extraes y deja el aspecto en manos del prompt. También es distinto de una LoRA, que cambia lo que dibuja el modelo, como un estilo o un personaje, y no dónde lo dibuja.
Términos relacionados
- Modelo de difusión
- Un modelo de difusión (diffusion model) es un modelo generativo que aprende a convertir ruido aleatorio en datos, como una imagen, eliminando un poco de ruido cada vez a lo largo de muchos pasos.
- Image-to-image
- Image-to-image (de imagen a imagen) es la tarea de generar una imagen nueva a partir de una existente más un prompt, conservando parte de la estructura del original mientras se cambia el estilo, el detalle o el contenido.
- Text-to-image
- El text-to-image (texto a imagen) es la tarea de generar una imagen nueva a partir de una descripción escrita, llamada prompt. La mayoría de los modelos text-to-image actuales son modelos de difusión condicionados por el texto.
- LoRA
- LoRA (low-rank adaptation, adaptación de bajo rango) es un método de fine-tuning que congela los pesos originales de un modelo y entrena pequeñas matrices de bajo rango añadidas a sus capas, de modo que cambian muchos menos parámetros y se necesita mucha menos memoria de GPU.
- Inpainting y outpainting
- El inpainting consiste en rellenar una zona enmascarada de una imagen con contenido generado nuevo que encaje con el resto de la imagen. El outpainting es la misma idea aplicada fuera de los bordes, ampliando la imagen más allá de su marco.
- Guidance scale (CFG)
- La guidance scale (escala de guía), o CFG scale, es un ajuste de los generadores de imágenes por difusión que controla con qué fuerza sigue la salida al prompt. Los valores más altos siguen el prompt más de cerca, pero reducen la variedad.