Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

ControlNet

ControlNet ist eine Erweiterung für neuronale Netze, mit der ein Text-to-Image-Diffusionsmodell zusätzlich zum Text-Prompt einer strukturellen Vorlage folgt, etwa einer Kantenkarte, einer Tiefenkarte oder einer menschlichen Pose.

Auch: control net, spatial conditioning

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Ein Prompt allein kann nicht genau sagen, wo was hingehört. ControlNet ergänzt eine zweite Eingabe, die das Layout festlegt. Gib ihm eine Strichmännchen-Pose, und die generierte Person steht genau so; gib ihm die Umrisse eines Gebäudes, und das Bild behält diese Linien, während der Prompt den Stil bestimmt.

So funktioniert es

Lvmin Zhang und Kollegen stellten ControlNet 2023 vor. Es friert das ursprüngliche Diffusionsmodell ein und trainiert eine Kopie seines Encoders auf die neue Bedingung. Die Kopie ist über mit null initialisierte Faltungsschichten zurückverbunden, sodass sie zu Trainingsbeginn keine Wirkung hat und nicht beschädigen kann, was das Basismodell schon weiß. Es gibt eigene ControlNets für Kanten, Tiefe, Segmentierung, Pose und mehr, und mehrere lassen sich kombinieren.

Wo du ihm begegnest

ControlNet ist ein fester Bestandteil knotenbasierter Workflows in ComfyUI und wird in Diffusers und InvokeAI unterstützt. Designer nutzen es, um die Form eines Produkts zu erhalten, Architekten, um Skizzen neu zu gestalten, und Animatoren, um die Pose einer Figur konsistent zu halten.

Der Unterschied zu Image-to-Image

Image-to-Image beginnt mit einer verrauschten Kopie des ganzen Bildes, Farben und Texturen werden also übernommen. ControlNet übernimmt nur die Struktur, die du extrahierst, und überlässt das Aussehen dem Prompt. Es unterscheidet sich auch von einer LoRA, die verändert, was das Modell zeichnet, etwa einen Stil oder eine Figur, und nicht, wo es zeichnet.

Verwandte Begriffe

Diffusionsmodell
Ein Diffusionsmodell (Diffusion Model) ist ein generatives Modell, das lernt, zufälliges Rauschen in Daten wie ein Bild zu verwandeln, indem es über viele Schritte jeweils ein wenig Rauschen entfernt.
Image-to-Image
Image-to-Image (Bild-zu-Bild) ist die Aufgabe, aus einem vorhandenen Bild und einem Prompt ein neues Bild zu erzeugen, das einen Teil der Struktur des Originals behält und dabei Stil, Details oder Inhalt ändert.
Text-to-Image
Text-to-Image ist die Aufgabe, aus einer geschriebenen Beschreibung, dem Prompt, ein neues Bild zu erzeugen. Die meisten aktuellen Text-to-Image-Modelle sind Diffusionsmodelle, die durch den Text gesteuert werden.
LoRA
LoRA (Low-Rank Adaptation) ist eine Fine-Tuning-Methode, die die ursprünglichen Gewichte eines Modells einfriert und kleine Matrizen mit niedrigem Rang trainiert, die zu seinen Schichten addiert werden. So ändern sich viel weniger Parameter, und es wird viel weniger GPU-Speicher gebraucht.
Inpainting und Outpainting
Inpainting füllt einen maskierten Bereich eines Bildes mit neu generierten Inhalten, die zum Rest des Bildes passen. Outpainting wendet dieselbe Idee außerhalb der Ränder an und erweitert das Bild über seinen Rahmen hinaus.
Guidance Scale (CFG)
Die Guidance Scale oder CFG Scale ist eine Einstellung in Diffusions-Bildgeneratoren, die steuert, wie stark die Ausgabe dem Prompt folgt. Höhere Werte folgen dem Prompt genauer, verringern aber die Vielfalt.

Quellen