本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

ControlNet

ControlNet は、テキストからの画像生成を行う拡散モデルが、テキストのプロンプトに加えて、エッジマップ、深度マップ、人のポーズなどの構造的なガイドに従えるようにするニューラルネットワークの追加モジュールです。

別名: control net, spatial conditioning

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

プロンプトだけでは、何をどこに置くかを正確に指定できません。ControlNet はレイアウトを固定する 2 つ目の入力を加えます。棒人間のポーズを与えれば生成される人物はその姿勢で立ち、建物の輪郭を与えれば画像はその線を保ちながら、スタイルはプロンプトが決めます。

仕組み

Lvmin Zhang らが 2023 年に ControlNet を発表しました。元の拡散モデルを凍結し、そのエンコーダーのコピーを新しい条件で学習させます。コピーはゼロで初期化した畳み込み層を通じて元のモデルにつながるので、学習の始めには何の影響も与えず、ベースモデルがすでに知っていることを壊しません。エッジ、深度、セグメンテーション、ポーズなど用途ごとに別々の ControlNet があり、複数を組み合わせることもできます。

どこで使われるか

ControlNet は ComfyUI のノードベースのワークフローの定番で、Diffusers と InvokeAI でもサポートされています。デザイナーは製品の形を保つために、建築家はスケッチのスタイルを変えるために、アニメーターはキャラクターのポーズを一貫させるために使います。

image-to-image との違い

Image-to-image は画像全体にノイズを加えたコピーから始めるので、色や質感が引き継がれます。ControlNet が引き継ぐのは取り出した構造だけで、見た目はプロンプトに任せます。また、LoRA とも異なります。LoRA が変えるのは、スタイルやキャラクターなど、モデルが何を描くかであり、どこに描くかではありません。

関連用語

拡散モデル
拡散モデル(diffusion model)とは、多くのステップをかけて少しずつノイズを取り除くことで、ランダムなノイズを画像などのデータに変えることを学ぶ生成モデルです。
Image-to-image
Image-to-image(画像から画像への生成)とは、既存の画像とプロンプトから新しい画像を生成するタスクです。元の画像の構造の一部を保ちながら、スタイル、細部、内容を変えます。
Text-to-image(画像生成)
Text-to-image(画像生成)とは、プロンプトと呼ばれる書かれた説明から新しい画像を生成するタスクです。現在のtext-to-imageモデルのほとんどは、テキストで条件付けした拡散モデルです。
LoRA
LoRA(low-rank adaptation、低ランク適応)とは、モデルの元の重みを固定し、各層に追加した小さな低ランク行列を学習させるファインチューニング手法です。変更されるパラメータがはるかに少なく、必要なGPUメモリも大幅に減ります。
インペインティングとアウトペインティング
インペインティング(inpainting)とは、画像のマスクした領域を、画像のほかの部分に合う新しく生成した内容で埋めることです。アウトペインティング(outpainting)は同じ考え方を縁の外側に適用し、画像を枠の外へ広げます。
ガイダンススケール(CFG)
ガイダンススケール(guidance scale)、または CFG スケールとは、拡散モデルの画像生成ツールで、出力がプロンプトにどれだけ強く従うかを調整する設定です。値を高くするとプロンプトにより忠実に従いますが、多様性は下がります。

出典