ControlNet
ControlNet は、テキストからの画像生成を行う拡散モデルが、テキストのプロンプトに加えて、エッジマップ、深度マップ、人のポーズなどの構造的なガイドに従えるようにするニューラルネットワークの追加モジュールです。
別名: control net, spatial conditioning
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
プロンプトだけでは、何をどこに置くかを正確に指定できません。ControlNet はレイアウトを固定する 2 つ目の入力を加えます。棒人間のポーズを与えれば生成される人物はその姿勢で立ち、建物の輪郭を与えれば画像はその線を保ちながら、スタイルはプロンプトが決めます。
仕組み
Lvmin Zhang らが 2023 年に ControlNet を発表しました。元の拡散モデルを凍結し、そのエンコーダーのコピーを新しい条件で学習させます。コピーはゼロで初期化した畳み込み層を通じて元のモデルにつながるので、学習の始めには何の影響も与えず、ベースモデルがすでに知っていることを壊しません。エッジ、深度、セグメンテーション、ポーズなど用途ごとに別々の ControlNet があり、複数を組み合わせることもできます。
どこで使われるか
ControlNet は ComfyUI のノードベースのワークフローの定番で、Diffusers と InvokeAI でもサポートされています。デザイナーは製品の形を保つために、建築家はスケッチのスタイルを変えるために、アニメーターはキャラ クターのポーズを一貫させるために使います。
image-to-image との違い
Image-to-image は画像全体にノイズを加えたコピーから始めるので、色や質感が引き継がれます。ControlNet が引き継ぐのは取り出した構造だけで、見た目はプロンプトに任せます。また、LoRA とも異なります。LoRA が変えるのは、スタイルやキャラクターなど、モデルが何を描くかであり、どこに描くかではありません。
関連用語
- 拡散モデル
- 拡散モデル(diffusion model)とは、多くのステップをかけて少しずつノイズを取り除くことで、ランダムなノイズを画像などのデータに変えることを学ぶ生成モデルです。
- Image-to-image
- Image-to-image(画像から画像への生成)とは、既存の画像とプロンプトから新しい画像を生成するタスクです。元の画像の構造の一部を保ちながら、スタイル、細部、内容を変えます。
- Text-to-image(画像生成)
- Text-to-image(画像生成)とは、プロンプトと呼ばれる書かれた説明から新しい画像を生成するタスクです。現在のtext-to-imageモデルのほとんどは、テキストで条件付けした拡散モデルです。
- LoRA
- LoRA(low-rank adaptation、低ランク適応)とは、モデルの元の重みを固定し、各層に追加した小さな低ランク行列を学習させるファインチューニング手法です。変更されるパラメータがはるかに少なく、必要なGPUメモリも大幅に減ります。
- インペインティングとアウトペインティング
- インペインティング(inpainting)とは、画像のマスクした領域を、画像のほかの部分に合う新しく生成した内容で埋めることです。アウトペインティング(outpainting)は同じ考え方を縁の外側に適用し、画像を枠の外へ広げます。
- ガイダンススケール(CFG)
- ガイダンススケール(guidance scale)、または CFG スケールとは、拡散モデルの画像生成ツールで、出力がプロンプトにどれ だけ強く従うかを調整する設定です。値を高くするとプロンプトにより忠実に従いますが、多様性は下がります。