进阶技巧 — LoRA 训练、AI 视频、高阶工作流
这一课是 SD 的终极指南。学会这些高阶技巧后，你就能真正把 SD 变成生产力工具。
一、LoRA 模型
Section titled “一、LoRA 模型”LoRA 是 SD 中最重要的扩展形式——你可以理解成给 AI 装上一个「特化插件」。
什么是 LoRA？
Section titled “什么是 LoRA？”LoRA（Low-Rank Adaptation）= 轻量级的模型微调插件
想象一下：- SD 基础模型 = 一个全能画师- LoRA = 给他一本「指定画风/角色的参考手册」
LoRA 文件很小（一般 30-200MB），不改变原模型，只指导 AI 在生成时加入特定的风格或角色特征。LoRA 的用途
Section titled “LoRA 的用途”🎨 风格 LoRA - 某个画师的特定风格 - 某个材质效果（水彩、水墨、赛博朋克） - 某个时代的画风（复古、浮世绘）
👤 角色 LoRA - 让 AI 认识某个人物的长相 - 生成同一个人在不同场景的图 - 你自己的头像 LoRA
🏃 姿势 LoRA - 特定的动作或姿势 - 适合关键帧生成
📦 物品种类 LoRA - 某款相机/镜头效果模拟 - 某种特效（烟雾、光影）在哪里下载 LoRA
Section titled “在哪里下载 LoRA”| 网站 | 说明 | 地址 |
|---|---|---|
| CivitAI | 全球最大的 SD 模型社区 | civitai.com |
| Hugging Face | 专业人士作品多 | huggingface.co |
LoRA 怎么用
Section titled “LoRA 怎么用”- 下载
.safetensors文件 - 放到以下目录：
stable-diffusion-webui\models\Lora\- 在 WebUI 中，在提示词框下方找到 LoRA 标签，点击加载
或者手动在提示词中添加：<lora:model_name:0.8>
0.8 是权重（推荐 0.6-1.0）权重越高，LoRA 特征越明显LoRA 权重控制
Section titled “LoRA 权重控制”<lora:chilloutmix-style:1.0> ← 完全推���该风格<lora:chilloutmix-style:0.8> ← 强烈推荐<lora:chilloutmix-style:0.5> ← 一半一半<lora:chilloutmix-style:0.3> ← 轻微参考二、LoRA 组合使用
Section titled “二、LoRA 组合使用”你可以同时使用多个 LoRA，混合它们的特征：
# 风格 LoRA + 角色 LoRA<lora:watercolor_style:0.8>, <lora:my_character:0.7>1girl, portrait, beautiful
# 效果：用水彩画画你的角色| 组合 | 效果 | 推荐权重 |
|---|---|---|
| 角色 + 场景 | 特定角色在不同场景 | 角色 0.8 + 场景 0.6 |
| 风格 + 材质 | 某种风格下的特殊材质 | 风格 0.6 + 材质 0.7 |
| 姿势 + 服装 | 特定动作和服装 | 姿势 1.0 + 服装 0.6 |
三、自己训练 LoRA
Section titled “三、自己训练 LoRA”准备训练你自己的 LoRA 模型，让 AI 认识一个特定角色或风格。
训练前的准备工作
Section titled “训练前的准备工作”# 素材要求- 最少 15-20 张高质量图片（推荐 30+）- 所有图片风格一致- 人物照：不同角度、不同表情、不同光线- 风格照：同一画风的多个例子
# 文件命名图片统一命名为：数字_名字.jpg如：1_mydog.jpg, 2_mydog.jpg, 3_mydog.jpg
# 标注文字每张图配一个 txt 文件，写上描述如 1_mydog.txt → "a golden retriever sitting on grass, sunny day"使用 Kohya GUI 训练
Section titled “使用 Kohya GUI 训练”推荐使用 Kohya_ss GUI，是目前最成熟的 LoRA 训练工具。
# 安装 Kohya1. 下载 Kohya_ss GUI2. 运行 setup 脚本3. 打开浏览器界面
# 训练流程1. 准备素材文件夹（放训练图和标注）2. 选择基础模型（推荐 SDXL 或 SD 1.5）3. 设置训练参数4. 点击 Start Training5. 等待训练完成（约 30-60 分钟）训练参数参考
Section titled “训练参数参考”# 推荐参数训练步数: 1000-2000学习率: 1e-4网络维度: 32网络 alpha: 16分辨率: 512batch size: 2-4优化器: AdamW8bit四、AI 视频
Section titled “四、AI 视频”用 SD 生成动画
Section titled “用 SD 生成动画”方法1：AnimateDiff（免费）
Section titled “方法1：AnimateDiff（免费）”AnimateDiff 扩展可以让 SD 生成短视频：
安装方式：1. 在 Extensions 中搜索「sd-webui-animatediff」2. 安装并重启3. 下载 AnimateDiff 模型文件
使用方法：1. 在 txt2img 页面开启 AnimateDiff2. 设置帧数（16 帧 = 约 1 秒）3. 写提示词4. 生成后自动拼接成 GIF 或 MP4提示词示例：
# 循环动画prompt: blooming flower, time-lapse, petals opening, 4K, high quality负向：ugly, blurry, low quality方法2：Deforum（免费）
Section titled “方法2：Deforum（免费）”Deforum 能生成更复杂的运镜动画：
适合场景：- 镜头推进/拉远效果- 场景过渡动画- 旋转视角效果- 超现实主义的连续运动
安装：Extensions → Available → 搜索「deforum」→ InstallAI 运镜效果
Section titled “AI 运镜效果”# 推进效果Animation Mode: 3DTranslation Z: 2 (每帧向Z轴移动)Rotation 3D Z: 0.5 (每帧旋转)
# 平移效果Animation Mode: 2DTranslation X: 3 (每帧向右移动)五、图像超分辨率
Section titled “五、图像超分辨率”用 ControlNet Tile 放大
Section titled “用 ControlNet Tile 放大”把一张小图变得非常清晰，同时增加细节：
1. 切换到 img2img2. 上传小图3. 启用 ControlNet Tile4. Upscaler: 4x-UltraSharp5. Denoising: 0.3-0.46. 放大 2-4xSD Upscale 脚本
Section titled “SD Upscale 脚本”WebUI 内置了 SD Upscale 脚本：
1. 在 img2img 页面2. 把图片放大到 2x3. 找到 Script → SD Upscale4. Tile overlap: 645. Scale factor: 26. 生成| 方法 | 效果 | 速度 | 推荐场景 |
|---|---|---|---|
| Extras 直接放大 | 一般 | 快 | 简单放大 |
| Hires.fix（文生图） | 好 | 中 | 同时生成+放大 |
| img2img + ControlNet Tile | 最好 | 慢 | 追求极致细节 |
| SD Upscale 脚本 | 好 | 中 | 批量放大 |
六、InPainting（局部重绘）
Section titled “六、InPainting（局部重绘）”在 SD 中更强大、更灵活的局部修改：
1. 在 img2img 页面2. 上传图片3. 用画笔涂抹要修改的区域（变成白色）4. 建议在设置中下载专用的 Inpainting 模型5. 写提示词描述新内容6. 设置参数，生成InPainting 参数
Section titled “InPainting 参数”Mask blur: 4-8 ← 边缘柔化程度Masked Content: fill ← 填充方式Denoising: 0.75-1.0 ← 修改强度# 移除物体涂抹一个不需要的元素 → 提示词只写背景描述
# 修改局部涂抹衣服区域 → 提示词改成另一件衣服的颜色/款式
# 扩展画面涂抹图片边缘 → 提示词描述新增的内容七、提示词调试：高阶技巧
Section titled “七、提示词调试：高阶技巧”动态提示词（Dynamic Prompts）
Section titled “动态提示词（Dynamic Prompts）”每次生成自动随机选择不同的关键词：
安装 Dynamic Prompts 扩展
写法示例：{red|blue|green|yellow} dress → 每次轮换不同颜色{summer|winter|spring|autumn} landscape → 不同季节{1girl|1boy|1cat} → 不同主体
高级用法：[portrait|landscape|close-up] of a person → 交替不同焦段<cat:0.5>, <dog:0.5> → 同时有两个元素高级权重控制
Section titled “高级权重控制”# 混合权重(cat:1.2) (dog:1.0) → 猫比狗更突出(cat:0.7) (dog:1.0) → 两个元素接近
# 交替注意力[cat|dog] in a park → 混合猫和狗的特征
# AND 语法cat AND dog in a park → 同时有猫和狗八、优化与加速
Section titled “八、优化与加速”# 如果不是 30 系以上的显卡，开启：Settings → Optimizations → ✅ upcast cross attention layer to float32（减少显存）
# 进一步优化：Settings → Optimizations → ✅ Batch cond/uncond（整合计算）
# 如果显存特别小（6GB以下）：Settings → Stable Diffusion → ✅ Move VAE and CLIP to RAM when not using（共享显存）生成速度对比
Section titled “生成速度对比”没优化时：1 张图 60 秒优化后：1 张图 25-35 秒
加速技巧：1. 使用 xFormers（可加速 30-50%）2. 关闭不用��插件3. 降低图像尺寸4. 减少采样步数（Euler a 15 步够用）九、常见问题（高级篇）
Section titled “九、常见问题（高级篇）”Q: 显存不足怎么办？
Section titled “Q: 显存不足怎么办？”1. 降低图片尺寸（512x512）2. Batch size 设为 13. 关闭不必要的插件4. 使用 --medvram 或 --lowvram 参数启动5. 更换为 SD 1.5 而非 SDXL（后者更耗显存）Q: LoRA 效果不明显？
Section titled “Q: LoRA 效果不明显？”1. 提高 LoRA 权重（1.0-1.2）2. 检查基础模型是否匹配 LoRA（SD 1.5 vs SDXL）3. 训练用的素材量是否足够4. LoRA 本身训练质量Q: 生成的视频不连贯？
Section titled “Q: 生成的视频不连贯？”1. 增加帧数2. 降低 Denoising Strength 到 0.5 以下3. 使用 ControlNet Tile + Canny 双重控制4. 固定种子值十、综合工作流
Section titled “十、综合工作流”完整项目工作流：从构思到成品
Section titled “完整项目工作流：从构思到成品”第1步：灵感收集用 Midjourney/网络搜索找到灵感参考图
第2步：模型选择选择合适的基础模型（写实/动漫/SDXL）
第3步：ControlNet上传参考图，用 Canny/OpenPose/Depth 锁定结构
第4步：LoRA 加持加载相关的风格或角色 LoRA
第5步：批量尝试Batch count 4-8，用不同种子探索
第6步：精修选中最好的 → 固定种子 → 微调提示词
第7步：高清Hires.fix → ControlNet Tile → Extras 放大
第8步：后期Photoshop 微调 → 输出成品恭喜你完成了 Stable Diffusion 全套教程！🎉
你现在已经掌握了：
- ✅ 本地部署 SD WebUI
- ✅ 写好正向/负向提示词
- ✅ 权重控制与提示词技巧
- ✅ 图生图与高清修复
- ✅ ControlNet 六种控制方式
- ✅ LoRA 使用与训练
- ✅ AI 视频生成入门
- ✅ 超分辨率与 InPainting
你已经从 SD 小白升级成了会用 SD 做生产的进阶玩家！
💡 今日练习：从 CivitAI 下载一个风格 LoRA 和一个角色 LoRA，尝试组合使用生成一组风格统一但内容不同的系列图。