如何训练 Stable Diffusion 的 LoRA 模型

通过 Kohya_ss 图形界面训练 LoRA 模型的完整流程。从数据集准备到权重导出,掌握定制化风格与角色的训练核心技术。

  1. 整理数据集目录. 在文件夹内创建特定的命名格式,例如 100_charactername。数字表示每张图片在每个 Epoch 中重复训练的步数,charactername 为模型触发词。
  2. 设置模型训练参数. 打开 Kohya_ss GUI,在 Lora 选项卡下设置 Pretrained model 为基础模型路径。设置 Output folder 为权重保存位置,并定义合理的 LoRA 名称。
  3. 调整训练超参数. 设置 Learning Rate 为 0.0001,Network Rank (Dimension) 设为 32 或 64,Network Alpha 设为 Rank 的一半。这些参数决定了模型的学习深度与泛化能力。
  4. 开始训练流程. 点击 Start training 按钮,观察终端窗口中的 Loss 值下降曲线。监控显存使用率,确保进程不会因溢出而报错。
  5. 测试模型效果. 将生成的 .safetensors 文件放入 WebUI 的 models/Lora 文件夹。在 WebUI 中加载模型并使用触发词进行推理,对比测试权重在 0.5 到 1.0 之间的表现。

Related

  • 如何利用 AI 高效进行会议转录
  • 如何使用 AI 进行实时语音翻译
  • 如何使用AI工具生成有声读物配音
  • 如何为 YouTube 视频生成 AI 语音旁白
  • 使用 Adobe Podcast AI 增强音频质量
  • 如何使用 Descript 进行 AI 音频编辑