简介这是一份面向深度学习开发者和研究人员的扩散模型微调实战项目聚焦低秩适应LoRA技术用于快速完成扩散模型的个性化训练帮助中高阶学习者在有限算力下降低显存占用与训练成本快速落地图像生成、风格转换等定制任务。压缩包共58个文件约90.2MB主体为17个脚本源码、6个交互式笔记覆盖训练、推理、图生图、图像修复与低秩权重合并流程另有10个示例模型权重、6个运行脚本及若干示例图片与说明文档结构清楚便于直接对照执行。项目按源码、权重、训练脚本和管理模块分目录组织内含Dreambooth微调、文本编码器与扩散模型分阶段训练、权重合并与推理演示并配有多种风格权重和图像修复案例可帮助理解低秩适应如何降低更新参数规模同时保持生成质量。目前已有441人学习下载适合通过实际代码进一步掌握低秩适应原理并将微调能力迁移到自己的图像生成项目中。1. 微调Diffusion选LoRA不是因为它新而是因为它快在扩散模型上微调一个风格绝大多数团队遇到的第一个瓶颈不是显卡而是试错次数。所谓大模型微调放到Diffusion语境里就是对Stable Diffusion这类基础模型做局部参数更新全量微调成本高、迭代慢LoRA才是当前性价比最高的默认起点。用LoRA训练UNet单张24GB显卡可以在半小时内完成一次风格实验训练产物通常只有几十到两百MB切换风格时底模不用动。这里的LoRA是低秩适配和无线通信里的LoRa协议没有任何关系。下面从LoRA为什么低秩有效讲起落到本地部署与训练的最小命令最后以一组排查路径收尾。不管你做stable diffusion本地部署、产品化风格迁移还是研究多模态微调里更小的微调单位这套方法都能直接上手。2. LoRA低秩适应原理不改基础模型也能改画风关键是改谁、怎么改2.1 Stable Diffusion生成链路里LoRA真正改动的是UNet注意力投影Stable Diffusion pipeline里有三个权重主体CLIP文本编码器、UNet和VAE。生成时VAE把图像编码到latent空间UNet在这个空间里做多步去噪CLIP负责提供文本语义。你想要的画风、构图、光照控制绝大多数最终都表达在UNet的cross-attention层文本作为key和value图像特征作为query两者在做跨模态匹配。LoRA训练最常见的做法是把低秩矩阵挂在UNet的四个投影上to_q图像侧query投影决定“当前图像块关注文本里的哪个词”to_k / to_v文本侧key/value投影决定“文本信息如何注入图像”to_out.0注意力输出投影影响融合后的信息如何写回图像特征。这四个位置在不同层里重复出现浅层管空间结构深层管语义细节。训练时冻结原权重只更新挂在旁边的低秩矩阵推理时LoRA权重可以随时拔掉模型立刻回到原来的画风。这就是“不改基础模型也能改画风”的机制来源不是换底模而是在注意力通路上加一条可控的旁路。2.2 低秩分解如何用两个小矩阵装下微调增量全量微调需要更新一个大矩阵W形状是(in_features, out_features)假设是768×768一份微调增量ΔW就有58万个参数。LoRA把ΔW拆成两个小矩阵的乘积ΔW (α / r) · B · AA的形状是(r, out_features)B是(in_features, r)。两矩阵相乘后的形状与原权重一致但参数量从in×out降为r×(inout)。当r16时768×768矩阵的参数量只有原来的约1/24。B初始化为零A用高斯分布初始化所以训练第一步模型输出和底模完全一致不会因为插入了旁路而突然劣化。这里的α是缩放系数不是rank本身实际生效的scale等于α/r。很多教程把alpha直接设成和rank相等只是为了不改默认scale并不意味着这个值一定最优。低秩有效的直觉解释是扩散模型微调时真正需要的权重变化集中在少数几个方向上尤其是注意力投影的高频方向。用低秩旁路描述这些主方向已经能覆盖绝大部分效果强行提高rank更多是记住训练集里的噪声而不是学到可迁移的画风。这也是LoRA在Stable Diffusion上比全量微调更不容易过拟合的原因之一。2.3 LoRA微调的选型diffusers官方脚本、kohya还是ComfyUI常见的落地路径有三条。diffusers官方脚本是纯命令行适合批量实验和接入CI输出pytorch_lora_weights.safetensorsWebUI和ComfyUI都可以直接加载缺点是脚本更新快参数名随版本变动。kohya_ss是社区最成熟的训练集GUI和CLI都有对正则化集、SDXL、多概念的支持最完整适合数据量大、要到具体业务精度的情况。ComfyUI的训练节点适合已经在ComfyUI里搭好出图工作流的人训练完立刻切到采样工作流出图缺点是调参脚本化能力弱不适合大规模并行跑实验。我的做法是实验初期用diffusers官方脚本因为命令清晰、报错容易搜进入量产阶段再挪到kohya的配置里补正则化。如果你的目标只是给产品出一个风格LoRAdiffusers已经够用不需要为GUI额外学一套交互。选型时还要考虑下游加载环境服务端用diffusers加载WebUI/ComfyUI用户多最好训练完都用不同端各加载一次验证不要默认兼容。2.4 SDXL与SD1.5在LoRA训练上的区别SDXL的UNet比SD1.5大得多而且提示理解依赖两个文本编码器。SD1.5 LoRA通常只训练UNetSDXL做LoRA时如果完全不碰文本编码器风格可控性会明显弱一截很多团队会把OpenCLIP和CLIP ViT-L都加上LoRA显存开销也随之上去。对比项SD1.5SDXLUNet参数量约860M约2.6B常用分辨率512×5121024×1024单卡LoRA显存参考12GB可跑24GB建议起步文本编码器一般不训练常配OpenCLIP一起训练输出LoRA通用性WebUI/ComfyUI/diffusers都兼容同样兼容注意基座版本一致这里最关键的一条是LoRA不能跨底模。把SD1.5训练出来的权重挂到SDXL上加载时会报权重尺寸不匹配或不生效即使不报错也基本无效。项目源码里如果同时出现两个版本的训练脚本先确认你要复用的是哪个底模再开跑。3. 用diffusers在本地把LoRA微调跑起来最小环境、训练命令与出图验证3.1 环境安装与底模准备第一个坑是PyTorch和CUDA版本不匹配。先看nvidia-smi里的CUDA版本再装对应轮子下面以CUDA 12.1为例# 创建独立虚拟环境避免污染系统Python python -m venv .venv source .venv/bin/activate # 安装与CUDA 12.1匹配的PyTorch换卡时把cu121改成对应版本 pip install torch --index-url https://download.pytorch.org/whl/cu121 # 剩下的库直接装最新发布版 pip install diffusers transformers accelerate peft safetensors说明accelerate负责多卡和混合精度peft是LoRA底层实现diffusers提供训练脚本和推理pipeline。版本策略上不要追每日版发布版最稳报“算子不存在”的错优先查PyTorch和CUDA而不是diffusers。下载并准备底模# 把SD1.5权重下载到本地后续训练和推理都指向这个目录 huggingface-cli download stable-diffusion-v1-5/stable-diffusion-v1-5 --local-dir ./models/sd15底模下载一次即可复用。每次训练不要改这个目录里的任何文件LoRA训练过程中只读取不会写入。3.2 用官方训练脚本跑LoRA的最小命令下载diffusers仓库安装依赖后直接用官方文本转图像LoRA脚本git clone https://github.com/huggingface/diffusers cd diffusers pip install . # 配置accelerate单卡直接选no、1、no、fp16即可 accelerate config # 最小训练命令dataset目录结构见4.1节 accelerate launch examples/text_to_image/train_text_to_image_lora.py \ --pretrained_model_name_or_path./models/sd15 \ --train_data_dir./dataset \ --resolution512 \ --train_batch_size2 \ --gradient_accumulation_steps4 \ --max_train_steps2000 \ --learning_rate1e-4 \ --lr_schedulercosine \ --rank32 \ --checkpointing_steps500 \ --output_dirlora-output \ --mixed_precisionfp16命令拆开看train_batch_size2是单步进GPU的图数gradient_accumulation_steps4让优化器每4步攒起8张图的梯度再更新一次显存不够时优先加这个而不是减batchrank32是LoRA的秩质量与显存的折中值max_train_steps2000对10到50张图足够mixed_precisionfp16把激活值切到半精度LoRA可训练参数仍然是fp32更新兼顾显存和稳定。checkpointing_steps500每500步存一个可恢复的训练快照不是最终LoRA文件。如果显存低于12GB把train_batch_size改成1gradient_accumulation_steps改成8同时加--gradient_checkpointing训练步数不变。3.3 训练过程中的显存观测与模型产物训练时另开一个终端看显存watch -n 2 nvidia-smi正常训练时显存占用会稳定在一个值附近突然暴涨说明某个时间步的激活值异常多半是分辨率与底模不一致或文本描述里有异常字符。训练结束后输出目录里会多出lora-output/ ├── checkpoint-500/ ├── checkpoint-1000/ ├── checkpoint-1500/ └── pytorch_lora_weights.safetensorspytorch_lora_weights.safetensors就是最终LoRA权重几十到两百MB和底模完全分离。中间checkpoint用--resume_from_checkpoint可恢复训练如果只是想出图不要加载checkpoint目录直接加载最后的LoRA文件。3.4 训练完立刻用LoRA权重出图训练到一半想看效果另写一个推理脚本from diffusers import StableDiffusionPipeline import torch pipe StableDiffusionPipeline.from_pretrained(./models/sd15, torch_dtypetorch.float16).to(cuda) pipe.load_lora_weights(lora-output, weight_namepytorch_lora_weights.safetensors) # 固定随机种子多次训练之间才能横向对比 g torch.Generator(devicecuda).manual_seed(42) image pipe( a cyberpunk cafe storefront at night, cybercafe, num_inference_steps28, guidance_scale7.0, generatorg, cross_attention_kwargs{scale: 0.8}, ).images[0] image.save(sample_from_lora.png)cross_attention_kwargs里的scale是LoRA权重生效比例默认1.0调试时从0.6开始往上加能找到“风格够明显但还保留底模自由度”的点。出图后发现风格没变化第一件事不是加训练步数而是检查load_lora_weights是否真的执行成功权重加载成功但效果弱才去调scale和训练参数。4. 数据集与超参数配置LoRA训练“看起来在loss下降、实则学歪了”的高发区4.1 数据集组织同名txt与imagefolder格式官方脚本读--train_data_dir时期望目录下每张图片配一个同名txtdataset/ ├── 001.png ├── 001.txt ├── 002.png ├── 002.txt └── 003.png ...txt里写这一张图的完整描述。一个批量生成描述文件的做法for f in dataset/*.png; do base${f%.png} # 固定风格词放在句尾主体词按图单独改 echo a storefront at night, neon sign, cybercafe ${base}.txt done注意脚本会把prompt裁剪到77个token超过的部分直接截断。如果一句话写到80个token以上后半段文本在训练时根本没参与LoRA只会记住前半段信息。所以描述文本要短黄金长度在20到50个token之间。4.2 描述文本该写到什么程度固定风格词、变化主体词LoRA训练里最常见的翻车是“描述写得太满”。每张图都堆“best quality, masterpiece, 8k, ultra detailed”这类质量词LoRA会把这些词和画风绑在一起推理时你想让模型画一个训练集里没有的主体质量词会抢走风格词的注意力。另一个极端是整组图共用一句话风格特征和主体特征严重耦合生成新构图时画风控制力很弱。正确的做法是把描述拆成两部分。前面是随图片变化的主体描述比如“a street corner, a railway bridge, a bicycle parked by the wall”句尾固定放同一个风格触发词比如cybercafe。触发词用带尖括号的组合词可以减少和现有词汇冲突。同一批数据集里触发词必须完全一致大小写和空格都不能变。无论你看到的中文LoRA教程用的触发词是英文还是中文关键都是触发词在训练和推理时保持逐字符一致。提示判断过拟合的时候不要只看loss要把生成图和训练图放在一起对照。loss持续走低但生成图失去多样性往往是LoRA在背数据集而不是学风格。4.3 不同数据规模下的三组参考参数没有一套参数通吃所有风格。基于常见LoRA训练实践给三组起步值数据规模rank参考学习率参考建议步数备注10-20张162e-4300-800必须早停很容易过拟合30-80张321e-41000-2000大多数风格类项目的默认区间100张以上645e-5到1e-42000-5000建议加正则化数据集学习率不是越小越好要配合步数看。2e-4配500步和1e-4配1000步在数学上不完全等价因为调度器曲线不同最稳的做法是固定一组参数只调rank或只调学习率不要三个变量同时改。判断过拟合的标准不是loss升而是训练集图能复现、描述文本换成新概念后风格还在不在风格没了但主体很清晰说明低秩旁路把物体背了下来。4.4 正则化数据集让LoRA学风格而不是背物体只有目标风格图时LoRA很容易把“风格特定主体”当做一个整体学会。比如你用100张猫的插画训练推理时写“a dog in this style”可能还是出猫。解决办法是加入正则化数据集用底模自己生成一批与目标图相同描述、但内容不同的图。目标图描述是“a cat, LoRA高效微调Stable Diffusion：原理、训练与部署指南
简介这是一份面向深度学习开发者和研究人员的扩散模型微调实战项目聚焦低秩适应LoRA技术用于快速完成扩散模型的个性化训练帮助中高阶学习者在有限算力下降低显存占用与训练成本快速落地图像生成、风格转换等定制任务。压缩包共58个文件约90.2MB主体为17个脚本源码、6个交互式笔记覆盖训练、推理、图生图、图像修复与低秩权重合并流程另有10个示例模型权重、6个运行脚本及若干示例图片与说明文档结构清楚便于直接对照执行。项目按源码、权重、训练脚本和管理模块分目录组织内含Dreambooth微调、文本编码器与扩散模型分阶段训练、权重合并与推理演示并配有多种风格权重和图像修复案例可帮助理解低秩适应如何降低更新参数规模同时保持生成质量。目前已有441人学习下载适合通过实际代码进一步掌握低秩适应原理并将微调能力迁移到自己的图像生成项目中。1. 微调Diffusion选LoRA不是因为它新而是因为它快在扩散模型上微调一个风格绝大多数团队遇到的第一个瓶颈不是显卡而是试错次数。所谓大模型微调放到Diffusion语境里就是对Stable Diffusion这类基础模型做局部参数更新全量微调成本高、迭代慢LoRA才是当前性价比最高的默认起点。用LoRA训练UNet单张24GB显卡可以在半小时内完成一次风格实验训练产物通常只有几十到两百MB切换风格时底模不用动。这里的LoRA是低秩适配和无线通信里的LoRa协议没有任何关系。下面从LoRA为什么低秩有效讲起落到本地部署与训练的最小命令最后以一组排查路径收尾。不管你做stable diffusion本地部署、产品化风格迁移还是研究多模态微调里更小的微调单位这套方法都能直接上手。2. LoRA低秩适应原理不改基础模型也能改画风关键是改谁、怎么改2.1 Stable Diffusion生成链路里LoRA真正改动的是UNet注意力投影Stable Diffusion pipeline里有三个权重主体CLIP文本编码器、UNet和VAE。生成时VAE把图像编码到latent空间UNet在这个空间里做多步去噪CLIP负责提供文本语义。你想要的画风、构图、光照控制绝大多数最终都表达在UNet的cross-attention层文本作为key和value图像特征作为query两者在做跨模态匹配。LoRA训练最常见的做法是把低秩矩阵挂在UNet的四个投影上to_q图像侧query投影决定“当前图像块关注文本里的哪个词”to_k / to_v文本侧key/value投影决定“文本信息如何注入图像”to_out.0注意力输出投影影响融合后的信息如何写回图像特征。这四个位置在不同层里重复出现浅层管空间结构深层管语义细节。训练时冻结原权重只更新挂在旁边的低秩矩阵推理时LoRA权重可以随时拔掉模型立刻回到原来的画风。这就是“不改基础模型也能改画风”的机制来源不是换底模而是在注意力通路上加一条可控的旁路。2.2 低秩分解如何用两个小矩阵装下微调增量全量微调需要更新一个大矩阵W形状是(in_features, out_features)假设是768×768一份微调增量ΔW就有58万个参数。LoRA把ΔW拆成两个小矩阵的乘积ΔW (α / r) · B · AA的形状是(r, out_features)B是(in_features, r)。两矩阵相乘后的形状与原权重一致但参数量从in×out降为r×(inout)。当r16时768×768矩阵的参数量只有原来的约1/24。B初始化为零A用高斯分布初始化所以训练第一步模型输出和底模完全一致不会因为插入了旁路而突然劣化。这里的α是缩放系数不是rank本身实际生效的scale等于α/r。很多教程把alpha直接设成和rank相等只是为了不改默认scale并不意味着这个值一定最优。低秩有效的直觉解释是扩散模型微调时真正需要的权重变化集中在少数几个方向上尤其是注意力投影的高频方向。用低秩旁路描述这些主方向已经能覆盖绝大部分效果强行提高rank更多是记住训练集里的噪声而不是学到可迁移的画风。这也是LoRA在Stable Diffusion上比全量微调更不容易过拟合的原因之一。2.3 LoRA微调的选型diffusers官方脚本、kohya还是ComfyUI常见的落地路径有三条。diffusers官方脚本是纯命令行适合批量实验和接入CI输出pytorch_lora_weights.safetensorsWebUI和ComfyUI都可以直接加载缺点是脚本更新快参数名随版本变动。kohya_ss是社区最成熟的训练集GUI和CLI都有对正则化集、SDXL、多概念的支持最完整适合数据量大、要到具体业务精度的情况。ComfyUI的训练节点适合已经在ComfyUI里搭好出图工作流的人训练完立刻切到采样工作流出图缺点是调参脚本化能力弱不适合大规模并行跑实验。我的做法是实验初期用diffusers官方脚本因为命令清晰、报错容易搜进入量产阶段再挪到kohya的配置里补正则化。如果你的目标只是给产品出一个风格LoRAdiffusers已经够用不需要为GUI额外学一套交互。选型时还要考虑下游加载环境服务端用diffusers加载WebUI/ComfyUI用户多最好训练完都用不同端各加载一次验证不要默认兼容。2.4 SDXL与SD1.5在LoRA训练上的区别SDXL的UNet比SD1.5大得多而且提示理解依赖两个文本编码器。SD1.5 LoRA通常只训练UNetSDXL做LoRA时如果完全不碰文本编码器风格可控性会明显弱一截很多团队会把OpenCLIP和CLIP ViT-L都加上LoRA显存开销也随之上去。对比项SD1.5SDXLUNet参数量约860M约2.6B常用分辨率512×5121024×1024单卡LoRA显存参考12GB可跑24GB建议起步文本编码器一般不训练常配OpenCLIP一起训练输出LoRA通用性WebUI/ComfyUI/diffusers都兼容同样兼容注意基座版本一致这里最关键的一条是LoRA不能跨底模。把SD1.5训练出来的权重挂到SDXL上加载时会报权重尺寸不匹配或不生效即使不报错也基本无效。项目源码里如果同时出现两个版本的训练脚本先确认你要复用的是哪个底模再开跑。3. 用diffusers在本地把LoRA微调跑起来最小环境、训练命令与出图验证3.1 环境安装与底模准备第一个坑是PyTorch和CUDA版本不匹配。先看nvidia-smi里的CUDA版本再装对应轮子下面以CUDA 12.1为例# 创建独立虚拟环境避免污染系统Python python -m venv .venv source .venv/bin/activate # 安装与CUDA 12.1匹配的PyTorch换卡时把cu121改成对应版本 pip install torch --index-url https://download.pytorch.org/whl/cu121 # 剩下的库直接装最新发布版 pip install diffusers transformers accelerate peft safetensors说明accelerate负责多卡和混合精度peft是LoRA底层实现diffusers提供训练脚本和推理pipeline。版本策略上不要追每日版发布版最稳报“算子不存在”的错优先查PyTorch和CUDA而不是diffusers。下载并准备底模# 把SD1.5权重下载到本地后续训练和推理都指向这个目录 huggingface-cli download stable-diffusion-v1-5/stable-diffusion-v1-5 --local-dir ./models/sd15底模下载一次即可复用。每次训练不要改这个目录里的任何文件LoRA训练过程中只读取不会写入。3.2 用官方训练脚本跑LoRA的最小命令下载diffusers仓库安装依赖后直接用官方文本转图像LoRA脚本git clone https://github.com/huggingface/diffusers cd diffusers pip install . # 配置accelerate单卡直接选no、1、no、fp16即可 accelerate config # 最小训练命令dataset目录结构见4.1节 accelerate launch examples/text_to_image/train_text_to_image_lora.py \ --pretrained_model_name_or_path./models/sd15 \ --train_data_dir./dataset \ --resolution512 \ --train_batch_size2 \ --gradient_accumulation_steps4 \ --max_train_steps2000 \ --learning_rate1e-4 \ --lr_schedulercosine \ --rank32 \ --checkpointing_steps500 \ --output_dirlora-output \ --mixed_precisionfp16命令拆开看train_batch_size2是单步进GPU的图数gradient_accumulation_steps4让优化器每4步攒起8张图的梯度再更新一次显存不够时优先加这个而不是减batchrank32是LoRA的秩质量与显存的折中值max_train_steps2000对10到50张图足够mixed_precisionfp16把激活值切到半精度LoRA可训练参数仍然是fp32更新兼顾显存和稳定。checkpointing_steps500每500步存一个可恢复的训练快照不是最终LoRA文件。如果显存低于12GB把train_batch_size改成1gradient_accumulation_steps改成8同时加--gradient_checkpointing训练步数不变。3.3 训练过程中的显存观测与模型产物训练时另开一个终端看显存watch -n 2 nvidia-smi正常训练时显存占用会稳定在一个值附近突然暴涨说明某个时间步的激活值异常多半是分辨率与底模不一致或文本描述里有异常字符。训练结束后输出目录里会多出lora-output/ ├── checkpoint-500/ ├── checkpoint-1000/ ├── checkpoint-1500/ └── pytorch_lora_weights.safetensorspytorch_lora_weights.safetensors就是最终LoRA权重几十到两百MB和底模完全分离。中间checkpoint用--resume_from_checkpoint可恢复训练如果只是想出图不要加载checkpoint目录直接加载最后的LoRA文件。3.4 训练完立刻用LoRA权重出图训练到一半想看效果另写一个推理脚本from diffusers import StableDiffusionPipeline import torch pipe StableDiffusionPipeline.from_pretrained(./models/sd15, torch_dtypetorch.float16).to(cuda) pipe.load_lora_weights(lora-output, weight_namepytorch_lora_weights.safetensors) # 固定随机种子多次训练之间才能横向对比 g torch.Generator(devicecuda).manual_seed(42) image pipe( a cyberpunk cafe storefront at night, cybercafe, num_inference_steps28, guidance_scale7.0, generatorg, cross_attention_kwargs{scale: 0.8}, ).images[0] image.save(sample_from_lora.png)cross_attention_kwargs里的scale是LoRA权重生效比例默认1.0调试时从0.6开始往上加能找到“风格够明显但还保留底模自由度”的点。出图后发现风格没变化第一件事不是加训练步数而是检查load_lora_weights是否真的执行成功权重加载成功但效果弱才去调scale和训练参数。4. 数据集与超参数配置LoRA训练“看起来在loss下降、实则学歪了”的高发区4.1 数据集组织同名txt与imagefolder格式官方脚本读--train_data_dir时期望目录下每张图片配一个同名txtdataset/ ├── 001.png ├── 001.txt ├── 002.png ├── 002.txt └── 003.png ...txt里写这一张图的完整描述。一个批量生成描述文件的做法for f in dataset/*.png; do base${f%.png} # 固定风格词放在句尾主体词按图单独改 echo a storefront at night, neon sign, cybercafe ${base}.txt done注意脚本会把prompt裁剪到77个token超过的部分直接截断。如果一句话写到80个token以上后半段文本在训练时根本没参与LoRA只会记住前半段信息。所以描述文本要短黄金长度在20到50个token之间。4.2 描述文本该写到什么程度固定风格词、变化主体词LoRA训练里最常见的翻车是“描述写得太满”。每张图都堆“best quality, masterpiece, 8k, ultra detailed”这类质量词LoRA会把这些词和画风绑在一起推理时你想让模型画一个训练集里没有的主体质量词会抢走风格词的注意力。另一个极端是整组图共用一句话风格特征和主体特征严重耦合生成新构图时画风控制力很弱。正确的做法是把描述拆成两部分。前面是随图片变化的主体描述比如“a street corner, a railway bridge, a bicycle parked by the wall”句尾固定放同一个风格触发词比如cybercafe。触发词用带尖括号的组合词可以减少和现有词汇冲突。同一批数据集里触发词必须完全一致大小写和空格都不能变。无论你看到的中文LoRA教程用的触发词是英文还是中文关键都是触发词在训练和推理时保持逐字符一致。提示判断过拟合的时候不要只看loss要把生成图和训练图放在一起对照。loss持续走低但生成图失去多样性往往是LoRA在背数据集而不是学风格。4.3 不同数据规模下的三组参考参数没有一套参数通吃所有风格。基于常见LoRA训练实践给三组起步值数据规模rank参考学习率参考建议步数备注10-20张162e-4300-800必须早停很容易过拟合30-80张321e-41000-2000大多数风格类项目的默认区间100张以上645e-5到1e-42000-5000建议加正则化数据集学习率不是越小越好要配合步数看。2e-4配500步和1e-4配1000步在数学上不完全等价因为调度器曲线不同最稳的做法是固定一组参数只调rank或只调学习率不要三个变量同时改。判断过拟合的标准不是loss升而是训练集图能复现、描述文本换成新概念后风格还在不在风格没了但主体很清晰说明低秩旁路把物体背了下来。4.4 正则化数据集让LoRA学风格而不是背物体只有目标风格图时LoRA很容易把“风格特定主体”当做一个整体学会。比如你用100张猫的插画训练推理时写“a dog in this style”可能还是出猫。解决办法是加入正则化数据集用底模自己生成一批与目标图相同描述、但内容不同的图。目标图描述是“a cat,