ControlNet — 让每一张图都听你的

ControlNet 是 Stable Diffusion 最强大的扩展之一。它让你可以精确控制图像的构图、姿态、深度，是 SD 和 Midjourney 最大的区别所在。

一、什么是 ControlNet？

一句话理解

ControlNet 像是一个「AI 引导器」。你给它一张参考图，告诉它：结构和这张图一样，但内容按提示词来。

没有 ControlNet 的 SD

/imagine prompt: a warrior standing on a cliff
→ AI 自由决定他站在哪儿、什么姿势、什么角度
→ 你很难说「让他举剑向天」

有 ControlNet 的 SD

1. 上传一张人物举剑的照片（用 OpenPose 控制姿态）
2. 提示词改成：a warrior in golden armor
3. 结果：金色的盔甲战士，姿势和你上传的参考图一样！

二、安装 ControlNet

如果有一键包

大多数一键包（如秋叶）已经内置了 ControlNet，你只需要下载模型即可。

自行安装

如果你是自己手动搭建的：

1. 进入 WebUI 的 Extensions → Available 页面
2. 点击「Load from:」选择默认列表
3. 搜索「sd-webui-controlnet」
4. 点击 Install
5. 重启 WebUI

下载 ControlNet 模型

模型文件放在：

stable-diffusion-webui\extensions\sd-webui-controlnet\models\

推荐下载的控制器（Control Type）：

控制器	文件名关键词	大小
Canny	control_v11p_sd15_canny	~1.4GB
OpenPose	control_v11p_sd15_openpose	~1.4GB
Depth	control_v11f1p_sd15_depth	~1.4GB
Scribble	control_v11p_sd15_scribble	~1.4GB
IP-Adapter	ip-adapter_sd15	~0.1GB

三、六个核心控制器详解

1. Canny — 边缘检测控制

用途：锁定构图、线稿转图

适合场景：
- 从线稿生成上色图
- 锁定某张图的构图，换主题（比如同一构图，猫换成人）
- 产品设计 → 不同配色方案

操作方法：
1. 上传参考图
2. 选择 Control Type：Canny
3. 调整 Canny Low/High Threshold（默认 100/200）
   - 值越低 → 线条越多
   - 值越高 → 线条越少
4. 生成

示例提示词：
prompt: a beautiful red flower in a garden, photorealistic, morning dew
Negative: ugly, blurry, low quality

2. OpenPose — 姿态控制

用途：锁定人物动作和姿态

适合场景：
- 真人照片 → 动漫角色，保持姿态不变
- 保持多张图中的角色动作一致
- 批量生成同一动作的不同风格形象

操作方法：
1. 上传人物姿势参考图
2. 选择 Control Type：OpenPose
3. 生成即可

示例提示词：
prompt: a futuristic warrior, detailed armor, sci-fi style
Negative: ugly, deformed, bad anatomy

3. Depth — 深度/空间控制

用途：控制构图的空间层次和布局

适合场景：
- 保持同一场景构图，改变视觉风格
- 从实景照片生成插画
- 控制前景/背景关系

操作方法：
1. 上传一张空间场景图
2. 选择 Control Type：Depth
3. 提示词描述你想要的风格/主题

示例提示词：
prompt: a fantasy castle, watercolor illustration, soft colors

4. Scribble — 涂鸦转图

用途：从手绘草稿生成精细图像

适合场景：
- 随手画个草图 → AI 补全成精品
- 快速创意呈现
- 灵感和想法快速视觉化

操作方法：
1. 画个简单草图（只画轮廓）
2. 选择 Control Type：Scribble
3. 写提示词

示例提示词：
prompt: a cozy cabin in the forest, winter, snow falling, warm light from windows

5. Lineart — 线稿控制

用途：和 Canny 类似但保留原始线稿更完整

适合场景：
- 动漫线稿上色
- 保持原始线稿的精细度
- 在手绘基础上生成新作

6. IP-Adapter — 风格参考

用途：参考某张图的整体风格

适合场景：
- 保持同一画风生成系列图
- 模仿某位艺术家的风格
- 让不同图片风格统一

操作方法：
1. 上传风格参考图
2. 选择 Control Type：IP-Adapter
3. 提示词可以描述不同内容

示例：
1张真实照片 → IP-Adapter 参考水彩画 → 生成水彩风格的照片

四、核心参数

启用多 ControlNet

可以在 WebUI 底部启用多个 ControlNet 单元（每个 ControlNet 单元使用一个控制器）：

Unit 0: OpenPose    → 控制人物姿态
Unit 1: Canny       → 控制整体构图
同时使用两个控制器，姿态和构图都锁定

关键参数

参数	范围	作用	推荐值
Control Weight	0-2	控制强度。越高越遵循参考	1.0
Starting Step	0-1	从第几步开始介入	0
Ending Step	0-1	到第几步停止介入	1
Pixel Perfect	开关	自动对齐尺寸	开启
Preprocessor Resolution	64-2048	预处理分辨率	512

参数调整技巧

控制强度调整：
Control Weight: 1.0 → 严格遵循
Control Weight: 0.7 → 中度参考
Control Weight: 0.5 → 轻微参考

步骤控制：
Starting Step: 0 → 从一开始就控制
Starting Step: 0.3 → 先自由发挥再控制（主要控制画面布局）
Ending Step: 0.8 → 最后一步让 AI 自由发挥细节

五、实战工作流

工作流1：照片转插画

目标：把一张真实照片变成水彩插画风格

步骤：
1. 上传真实照片到 ControlNet
2. 选择 Control Type：Canny
3. 提示词：(watercolor:1.3), (illustration:1.2), soft colors,
          artistic, beautiful scenery, masterpiece
4. 负向提示词：photo, realistic, 3D, ugly, blurry
5. 参数：CFG 7, Steps 25, Control Weight 1.0

工作流2：同一角色不同风格

目标：保持角色姿势不变，更换不同的视觉风格

ControlNet：OpenPose（控制姿态不���）

第1张：
prompt: (realistic photo:1.3), 1girl, casual clothes, street photography

第2张：
prompt: (anime:1.3), 1girl, school uniform, Studio Ghibli style

第3张：
prompt: (oil painting:1.3), 1girl, victorian dress, classical painting

保证：姿态一致，人物看起来是同一个人

工作流3：保持构图换主题

目标：保持同一种构图布局，换不同的主题

ControlNet：Canny（控制构图不变）

图1：a cat sitting on a window sill, sunset light
图2：a flower pot on a window sill, morning light
图3：a book and coffee cup on a window sill, rainy day

保证：窗口的位置大小完全一致

六、多 ControlNet 组合

双控制器组合

Unit 0: Canny（控构图）
  Control Weight: 0.8

Unit 1: OpenPose（控姿态）
  Control Weight: 1.0

提示词：1girl, detailed clothing, cyberpunk city background
效果：构图 + 姿态 双重锁定

三控制器组合

Unit 0: Depth（控空间）
  Control Weight: 1.0

Unit 1: OpenPose（控人物姿态）
  Control Weight: 1.0

Unit 2: IP-Adapter（控风格）
  Control Weight: 0.7

提示词：描述你想要的元素
效果：空间 + 姿态 + 风格 全都锁定

七、ControlNet 常见问题

问题	原因	解决方法
生成的图和参考图差距很大	Control Weight 太低	提高到 1.2-1.5
图显得很别扭	参考图与提示词冲突	换更接近的参考图
预览图显示不正常	预处理器问题	换预处理器或取消「Pixel Perfect」
OpenPose 识别不出骨架	图片人物太小	裁剪人物放大
速度很慢	多个 ControlNet 同时开启	关掉不需要的单元

下一步

ControlNet 给了你无限的创作可能性。掌握了它，你已经超过 90% 的 SD 用户了！

最后一课 进阶技巧 — 学习 LoRA 模型训练、图像超分、视频制作等高级玩法。

---

💡 今日练习：找一张你喜欢的照片，用 Canny Controller 保持构图，至少生成 3 个不同风格/主题的版本。再用 OpenPose 控制一张人像的姿态，生成不同风格的同姿态作品。