ControlNet
ControlNet ist eine Erweiterung für neuronale Netze, mit der ein Text-to-Image-Diffusionsmodell zusätzlich zum Text-Prompt einer strukturellen Vorlage folgt, etwa einer Kantenkarte, einer Tiefenkarte oder einer menschlichen Pose.
Auch: control net, spatial conditioning
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Ein Prompt allein kann nicht genau sagen, wo was hingehört. ControlNet ergänzt eine zweite Eingabe, die das Layout festlegt. Gib ihm eine Strichmännchen-Pose, und die generierte Person steht genau so; gib ihm die Umrisse eines Gebäudes, und das Bild behält diese Linien, während der Prompt den Stil bestimmt.
So funktioniert es
Lvmin Zhang und Kollegen stellten ControlNet 2023 vor. Es friert das ursprüngliche Diffusionsmodell ein und trainiert eine Kopie seines Encoders auf die neue Bedingung. Die Kopie ist über mit null initialisierte Faltungsschichten zurückverbunden, sodass sie zu Trainingsbeginn keine Wirkung hat und nicht beschädigen kann, was das Basismodell schon weiß. Es gibt eigene ControlNets für Kanten, Tiefe, Segmentierung, Pose und mehr, und mehrere lassen sich kombinieren.
Wo du ihm begegnest
ControlNet ist ein fester Bestandteil knotenbasierter Workflows in ComfyUI und wird in Diffusers und InvokeAI unterstützt. Designer nutzen es, um die Form eines Produkts zu erhalten, Architekten, um Skizzen neu zu gestalten, und Animatoren, um die Pose einer Figur konsistent zu halten.
Der Unterschied zu Image-to-Image
Image-to-Image beginnt mit einer verrauschten Kopie des ganzen Bildes, Farben und Texturen werden also übernommen. ControlNet übernimmt nur die Struktur, die du extrahierst, und überlässt das Aussehen dem Prompt. Es unterscheidet sich auch von einer LoRA, die verändert, was das Modell zeichnet, etwa einen Stil oder eine Figur, und nicht, wo es zeichnet.
Verwandte Begriffe
- Diffusionsmodell
- Ein Diffusionsmodell (Diffusion Model) ist ein generatives Modell, das lernt, zufälliges Rauschen in Daten wie ein Bild zu verwandeln, indem es über viele Schritte jeweils ein wenig Rauschen entfernt.
- Image-to-Image
- Image-to-Image (Bild-zu-Bild) ist die Aufgabe, aus einem vorhandenen Bild und einem Prompt ein neues Bild zu erzeugen, das einen Teil der Struktur des Originals behält und dabei Stil, Details oder Inhalt ändert.
- Text-to-Image
- Text-to-Image ist die Aufgabe, aus einer geschriebenen Beschreibung, dem Prompt, ein neues Bild zu erzeugen. Die meisten aktuellen Text-to-Image-Modelle sind Diffusionsmodelle, die durch den Text gesteuert werden.
- LoRA
- LoRA (Low-Rank Adaptation) ist eine Fine-Tuning-Methode, die die ursprünglichen Gewichte eines Modells einfriert und kleine Matrizen mit niedrigem Rang trainiert, die zu seinen Schichten addiert werden. So ändern sich viel weniger Parameter, und es wird viel weniger GPU-Speicher gebraucht.
- Inpainting und Outpainting
- Inpainting füllt einen maskierten Bereich eines Bildes mit neu generierten Inhalten, die zum Rest des Bildes passen. Outpainting wendet dieselbe Idee außerhalb der Ränder an und erweitert das Bild über seinen Rahmen hinaus.
- Guidance Scale (CFG)
- Die Guidance Scale oder CFG Scale ist eine Einstellung in Diffusions-Bildgeneratoren, die steuert, wie stark die Ausgabe dem Prompt folgt. Höhere Werte folgen dem Prompt genauer, verringern aber die Vielfalt.