简介对于深度学习初学者和面临小样本图像分类问题的开发者这份PDF资料提供了一套可直接落地的数据集扩充方案。资源围绕图像亮度增强、对比度增强、水平翻转与随机方向旋转四种经典变换结合PIL库给出完整Python实现演示如何将1406张原始图片扩充至7030张以缓解深度模型因训练样本不足导致的过拟合、泛化能力弱等问题。压缩包内含1个PDF文档大小仅35KB适合快速阅读和参考文档还附带了主程序调用示例可灵活调整增强系数并保存生成图片。目前该资源已有12654人学习下载较适合入门阶段缺少大规模数据的实践者。通过掌握这套方法读者可以举一反三将数据增强技术迁移到自己的分类或检测任务中在不改变标注成本的前提下有效提升模型鲁棒性。1. 小样本图像分类为什么需要数据增强1406张怎么扩到7030张我做过一个四分类的图像项目原始数据只有1406张平均每个类别不到360张。按 train/valid/test 七二一切分后训练集经常在700到900张之间波动。这个量级下模型的验证曲线几乎每轮都在跳某一轮跑高了几个点下一轮又跌回去本质是模型在“背”有限样本而不是学特征。数据增强在那时不是可选优化而是让损失曲线能落地的前提。数据增强的出发点很简单在保持语义标签不变的前提下对图像施加亮度增强、对比度增强、水平翻转和随机方向旋转等可解释变换增加训练样本的分布覆盖。原项目用 PIL 的 ImageEnhance 和 transpose 实现这四类变换把1406张原始图变成7030张。这里的经验公式是一张原图对应四张增强图再加上原图本身最终规模是原来的5倍。下面正被小样本卡住、准备做分类任务但不想立刻换预训练模型的开发者可以顺着这套代码把每一步的原理、参数边界、目录组织和验证方法拆开看。我会针对固定数值增强、旋转角度错误、验证集污染这几个常见坑给出相对稳妥的改法让增强不是简单复制四张图而是真正提升模型泛化能力。2. 从PIL源码看亮度、对比度、水平翻转与随机方向旋转的增强边界2.1 四种变换的作用域与语义保持PIL 的 ImageEnhance 模块提供了 Brightness、Contrast、Color、Sharpness 四大类增强项原项目只用了前两个。亮度增强在 PIL 中的实现是对图像各通道像素值乘以一个因子因子等于1时图像保持不变大于1时偏亮小于1时偏暗。因为输出会被 clip 到0到255之间原图中接近255的高光区域会被截断接近0的暗部区域会被抬升产生饱和效应。对于过曝或过暗的数据固定因子1.5会把很多高光细节压成白色块使用前最好抽样看五张以上增强结果确认没有破坏边缘信息。对比度增强的算法与亮度不同PIL 是先计算图像像素均值然后按 new_pixel (pixel - mean) * factor mean 的方式拉伸或压缩像素分布。factor 大于1时暗部更暗、亮部更亮视觉上看更“清晰”factor 小于1时图像整体向均值收敛会变灰。这个操作会影响颜色相对强度对彩色图像来说实际上会连带改变饱和度所以在植被、皮肤、织物等色彩敏感的类别上不要单独把对比度调得很高否则增强图与原始图的颜色分布会严重偏离。水平翻转直接用 img.transpose(Image.FLIP_LEFT_RIGHT) 复制左右像素PIL 内部只做一次内存级的坐标映射速度很快。翻转不会改变像素值分布只是空间上的镜像对狗、猫、车这类没有固定方向的类别它是零成本的不变性先验但对文字、左右手、方向性标志水平翻转会产生错误标签必须从增强策略中去掉。随机方向旋转是这四种变换里最需要小心的。PIL 的 rotate 默认逆时针旋转expand 参数为 False 时维持原图尺寸不变旋转后的四个角会被裁掉旋转90度或180度时裁切最大原图边缘信息会丢失如果原图宽高比不是1:1目标很容易超出画面。原项目代码里用了 np.random.randint(-2, 2) * 90 再配合一个 if 分支选角度实际角度只在 -180、-90、90 之间取值见下面的代码片段。random_angle np.random.randint(-2, 2) * 90 if random_angle 0: rotation_img img.rotate(-90) else: rotation_img img.rotate(random_angle)这里 np.random.randint(-2, 2) 生成 -2、-1、0、1 四个整数乘90得到 -180、-90、0、90。0被 if 分支替换成 -90因此最终角度是 -180、-90、90不会出现0度原图也不会出现通常理解的“连续随机角度”。如果你的任务是车牌、遥感方向识别这种量化旋转会丢失目标的方向信息如果是普通的物体分类可以保留但更建议把角度改成连续采样例如 uniform(-30, 30)让模型看到更多中间姿态。另一个隐患是 expand 默认 False原图旋转后四个角会被黑色填充或者被裁掉对边缘目标不友好后面章节会把 expand 打开。2.2 增强参数表与选型建议下表把四类变换的关键参数和风险点列出来方便在部署时对照调整。表中建议区间是对大部分分类任务的起点值不一定是最优值实际效果要在验证集上确认。变换底层操作关键参数建议区间主要风险亮度增强ImageEnhance.Brightnessfactor1.1–1.5 或 0.6–1.4高光截断、暗部噪声放大对比度增强ImageEnhance.Contrastfactor0.8–1.5色彩失真、边缘过锐水平翻转transpose(FLIP_LEFT_RIGHT)无默认启用方向语义改变旋转img.rotate(angle)angle, expand90的倍数或±30边缘裁切、填充伪影如果数据量只有一千多张旋转角度建议先用 ±15 到 ±30不要一上来就做90度旋转。因为90度旋转会彻底改变目标的长宽方向很多模型学到的是原始朝向下的特征强行旋转会拉低准确率。亮度增强放在对比度之前效果通常更稳定原因是亮度变化会改变像素均值进而影响对比度拉伸的轴心顺序不同最终图像风格也不同这是一个容易忽略的工程细节。3. 用PIL ImageEnhance搭建可复用的数据扩充管线3.1 改进后的函数设计原代码的核心函数没有问题但把亮度、对比度、翻转、旋转四个函数全部耦合在 createImage 里参数写死扩展性不够。下面这版保留了原函数的命名风格增加了参数透传和输出目录自动创建方便直接复制到自己的项目里。import os import numpy as np from PIL import Image, ImageEnhance def brightnessEnhancement(root_path, img_name, brightness1.5): image Image.open(os.path.join(root_path, img_name)) return ImageEnhance.Brightness(image).enhance(brightness) def contrastEnhancement(root_path, img_name, contrast1.5): image Image.open(os.path.join(root_path, img_name)) return ImageEnhance.Contrast(image).enhance(contrast) def rotation(root_path, img_name, angleNone, expandTrue): img Image.open(os.path.join(root_path, img_name)) if angle is None: angle np.random.choice([-180, -90, 90, 180]) return img.rotate(angle, expandexpand) def flip(root_path, img_name): img Image.open(os.path.join(root_path, img_name)) return img.transpose(Image.FLIP_LEFT_RIGHT) def createImage(imageDir, saveDir, brightness1.5, contrast1.5): os.makedirs(saveDir, exist_okTrue) names [n for n in os.listdir(imageDir) if n.lower().endswith((.jpg, .jpeg, .png))] for i, name in enumerate(names, 1): base os.path.splitext(name)[0] img_set { f{base}_contrast.jpg: contrastEnhancement(imageDir, name, contrast), f{base}_flip.jpg: flip(imageDir, name), f{base}_brightness.jpg: brightnessEnhancement(imageDir, name, brightness), f{base}_rotate.jpg: rotation(imageDir, name), } for out_name, img in img_set.items(): img.save(os.path.join(saveDir, out_name))这段代码的逻辑很直接先创建输出目录再过滤原始文件夹里的 jpg/png 文件对每张原图依次调用对比度增强、水平翻转、亮度增强和旋转生成四个新文件文件名用 _contrast、_flip、_brightness、_rotate 做后缀。函数末尾没有返回结果因为增强结果直接写到了 saveDir 里调用时只要关心原图和输出目录的路径即可。参数说明brightness 控制亮度因子1.5 表示亮度提升 50%contrast 控制对比度因子1.5 表示以均值为轴拉伸rotation 里的 expandTrue 表示旋转后自动扩展画布避免边缘被裁掉。这样改完之后输出目录里每个类别下的图像数量就是原来的 5 倍也就是 1406 张原图加上 5624 张增强图合计 7030 张。如果你希望输出目录里只保留增强图就去掉原图复制步骤如果想保留原图可以在调用前先复制原始目录。3.2 目录组织与批量调用原项目的调用方式是直接把增强图存回原文件夹这样虽然简单但文件夹会被混合污染第二次运行时会重复增强已经增强过的图片。更稳的做法是把原始数据和增强数据分开用单独的 dataset_aug 目录保存。训练集做增强验证集和测试集只做尺寸调整和归一化不参与增强。下面这个表格是我常用的目录组织方式。数据集原始目录增强输出目录traindataset/train/class_adataset_aug/train/class_avaliddataset/valid/class_a不生成增强图testdataset/test/class_a不生成增强图批量处理多个类别时可以用 os.walk 或嵌套 for 循环遍历所有子目录。下面是针对四分类文件夹的调用示例import os from augment import createImage base_in C:/Users/lenovo/Desktop/maize base_out C:/Users/lenovo/Desktop/maize_aug for split in [train]: for class_name in [1, 2, 3, 4]: in_dir os.path.join(base_in, split, class_name) out_dir os.path.join(base_out, split, class_name) createImage(in_dir, out_dir)这里假设类别目录名是 1、2、3、4实际使用时改成自己的类别名。如果你用的是 Linux 训练环境可以直接先用 cp -r dataset/train dataset_aug/train 把原始训练图完整复制到输出目录再运行上面的 createImage增强图会自动补充进输出目录。这个方式的好处是原始目录永远不被修改后续增加新类别或调整增强参数时只需要重建输出目录不会污染原图。调用脚本时还要注意路径分隔符。Windows 上的反斜杠路径在 Python 字符串里要么写成双反斜杠要么用原始字符串 rC:/...。上面的示例统一用了正斜杠在 Windows 和 Linux 下都能直接生效。如果运行时报告找不到文件先打印 in_dir 确认是否存在很多增强脚本跑不动是因为路径拼错了不是算法问题。4. 扩充后验证训练集/验证集隔离与损失曲线判读4.1 为什么验证集不能做增强很多初学者把增强后的所有图片统一放进训练集然后用同一份增强结果做验证这样验证集与训练集之间存在同源变换val loss 会被严重低估。比如训练集里有一张原图的亮度增强版本验证集里也放了一张亮度增强图模型相当于提前见过答案测试阶段真实表现会被高估。正确做法是只对训练集做增强验证集和测试集保持原始图片只做统一的 resize 和归一化。下面是一个划分脚本的骨架先把原始图片按 train/valid/test 切好再对 train 目录执行增强valid 和 test 目录直接复制原图。import random import numpy as np from pathlib import Path from shutil import copyfile, rmtree from augment import createImage random.seed(42) np.random.seed(42) src_root Path(dataset) dst_root Path(dataset_aug) if dst_root.exists(): rmtree(dst_root) for split in [train, valid, test]: for label_dir in (src_root / split).iterdir(): out_dir dst_root / split / label_dir.name out_dir.mkdir(parentsTrue, exist_okTrue) images list(label_dir.glob(*.jpg)) if split train: createImage(str(label_dir), str(out_dir)) for img in images: copyfile(img, out_dir / img.name)这段代码先固定了随机种子保证每次运行生成的增强序列一致方便复现。然后遍历 train、valid、test 三个目录对 train 目录调用 createImage生成四种增强图再把原始图复制到输出目录对 valid 和 test 目录只复制原始图。最终 dataset_aug 里的目录结构与原目录完全相同但 train 目录下的图片数量是原来的 5 倍valid 和 test 目录保持原样。如果你已经用原项目代码单独跑过增强没有按 split 隔离那么至少要保证模型训练时读取的验证集和测试集文件不与训练集增强文件重合。最简单的方法是检查文件名增强文件名都带 _contrast、_flip、_brightness、_rotate 后缀只要验证集路径里的文件名不包含这些后缀就是安全的。4.2 使用独立 transform 做训练与验证即使不在硬盘上生成增强图也可以在训练代码里动态做增强。PyTorch 里常见的方式是给 Dataset 传入一个 is_train 参数训练集用包含随机变换的 transform验证集用只包含 resize 和归一化的 transform。下面的代码片段展示了这种用法。import torchvision.transforms as T from torch.utils.data import Dataset from PIL import Image class ImageListDataset(Dataset): def __init__(self, paths, labels, is_trainTrue): self.paths paths self.labels labels self.train_transform T.Compose([ T.Resize((224, 224)), T.RandomHorizontalFlip(p0.5), T.ColorJitter(brightness0.4, contrast0.4), T.RandomRotation(15), T.ToTensor(), T.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) self.val_transform T.Compose([ T.Resize((224, 224)), T.ToTensor(), T.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) self.transform self.train_transform if is_train else self.val_transform def __len__(self): return len(self.paths) def __getitem__(self, idx): img Image.open(self.paths[idx]).convert(RGB) return self.transform(img), self.labels[idx]注意 val_transform 里没有 RandomHorizontalFlip 和 ColorJitter只有 Resize 和 Normalize。这样验证集看到的是稳定输入训练曲线才能真实反映模型泛化能力。如果验证集也加随机翻转同一个 epoch 内两次验证结果会不同排查问题时很难判断是模型变好了还是随机变换带来的抖动。4.3 扩增前后对比实验设计要判断扩充是否有效不能只跑一次看最终准确率而是用相同随机种子、相同网络、相同优化器分别训练原始图和增强图两个版本观察训练损失和验证准确率的变化。下面是一个对比表格模板表中的准确率是示意值不是实测数据重点看趋势。训练数据图片数量训练轮数val acc示意结论原始图1406500.72验证曲线波动大过拟合明显增强图原图7030500.82验证曲线更平滑准确率提升明显一个常见的现象是原始数据训练时train loss 很快降到接近0val loss 不再下降说明模型记住了训练样本。增强后 train loss 下降变慢但 val loss 和 val acc 能同步改善这才是增强真正起作用的表现。如果增强后 val acc 没有明显变化需要检查增强强度是否过小或过大过小等于没变过大会让模型学不到稳定特征。5. 增强参数随机化、动态增强与类别均衡进阶5.1 固定系数改成随机区间避免增强模式被模型记住离线增强使用固定 brightness1.5 和固定 contrast1.5 时所有图片都被统一提亮模型经过多轮迭代后会发现“训练集整体偏亮”等于嵌入了一个错误先验。更稳妥的做法是按区间采样每次运行产生不同因子覆盖更多光照和对比度状态。brightness_factor np.random.uniform(1.1, 1.5) contrast_factor np.random.uniform(1.1, 1.5) angle np.random.uniform(-30, 30)如果担心一次引入过大的分布偏移先用小区间跑一版例如 brightness 在 1.2 到 1.4、rotation 在 -15 到 15确认模型没有退化后再逐步扩大。随机因子配合固定种子使用可以保证实验可复现正式训练时再关闭固定种子用更大的随机性覆盖数据分布。5.2 在线增强配合 DataLoader减少磁盘占用离线增强生成 7030 张图会占用较多磁盘空间而且一旦参数调整就要重新生成整个目录。更实用的做法是把增强放进训练流程用 PyTorch 的 transforms 在线处理。训练时每次读取同一张图都会得到不同版本等于样本量被进一步放大。验证集则使用独立的非随机 transform并固定 DataLoader 的随机种子保证 each epoch 的验证结果可比。train_transform T.Compose([ T.Resize((224, 224)), T.RandomHorizontalFlip(), T.ColorJitter(brightness0.4, contrast0.4), T.RandomRotation(15), T.ToTensor(), T.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ])在线增强没有把新图片落盘所以文件名层面不会出现 _contrast、_rotate 这类后缀但同样要遵守验证集隔离原则。遇到类别不均衡时在线增强之外还要做重采样让每个 epoch 中每个类别被采样的次数接近一致避免数据增强把原本占比低的类继续稀释。把离线增强用于数据盘点、在线增强用于训练、验证集保持固定预处理这样的组合才能从小样本里拿到真正可泛化的收益。本文还有配套的精品资源点击获取 小样本图像分类实战：PIL实现亮度对比度翻转旋转数据增强
简介对于深度学习初学者和面临小样本图像分类问题的开发者这份PDF资料提供了一套可直接落地的数据集扩充方案。资源围绕图像亮度增强、对比度增强、水平翻转与随机方向旋转四种经典变换结合PIL库给出完整Python实现演示如何将1406张原始图片扩充至7030张以缓解深度模型因训练样本不足导致的过拟合、泛化能力弱等问题。压缩包内含1个PDF文档大小仅35KB适合快速阅读和参考文档还附带了主程序调用示例可灵活调整增强系数并保存生成图片。目前该资源已有12654人学习下载较适合入门阶段缺少大规模数据的实践者。通过掌握这套方法读者可以举一反三将数据增强技术迁移到自己的分类或检测任务中在不改变标注成本的前提下有效提升模型鲁棒性。1. 小样本图像分类为什么需要数据增强1406张怎么扩到7030张我做过一个四分类的图像项目原始数据只有1406张平均每个类别不到360张。按 train/valid/test 七二一切分后训练集经常在700到900张之间波动。这个量级下模型的验证曲线几乎每轮都在跳某一轮跑高了几个点下一轮又跌回去本质是模型在“背”有限样本而不是学特征。数据增强在那时不是可选优化而是让损失曲线能落地的前提。数据增强的出发点很简单在保持语义标签不变的前提下对图像施加亮度增强、对比度增强、水平翻转和随机方向旋转等可解释变换增加训练样本的分布覆盖。原项目用 PIL 的 ImageEnhance 和 transpose 实现这四类变换把1406张原始图变成7030张。这里的经验公式是一张原图对应四张增强图再加上原图本身最终规模是原来的5倍。下面正被小样本卡住、准备做分类任务但不想立刻换预训练模型的开发者可以顺着这套代码把每一步的原理、参数边界、目录组织和验证方法拆开看。我会针对固定数值增强、旋转角度错误、验证集污染这几个常见坑给出相对稳妥的改法让增强不是简单复制四张图而是真正提升模型泛化能力。2. 从PIL源码看亮度、对比度、水平翻转与随机方向旋转的增强边界2.1 四种变换的作用域与语义保持PIL 的 ImageEnhance 模块提供了 Brightness、Contrast、Color、Sharpness 四大类增强项原项目只用了前两个。亮度增强在 PIL 中的实现是对图像各通道像素值乘以一个因子因子等于1时图像保持不变大于1时偏亮小于1时偏暗。因为输出会被 clip 到0到255之间原图中接近255的高光区域会被截断接近0的暗部区域会被抬升产生饱和效应。对于过曝或过暗的数据固定因子1.5会把很多高光细节压成白色块使用前最好抽样看五张以上增强结果确认没有破坏边缘信息。对比度增强的算法与亮度不同PIL 是先计算图像像素均值然后按 new_pixel (pixel - mean) * factor mean 的方式拉伸或压缩像素分布。factor 大于1时暗部更暗、亮部更亮视觉上看更“清晰”factor 小于1时图像整体向均值收敛会变灰。这个操作会影响颜色相对强度对彩色图像来说实际上会连带改变饱和度所以在植被、皮肤、织物等色彩敏感的类别上不要单独把对比度调得很高否则增强图与原始图的颜色分布会严重偏离。水平翻转直接用 img.transpose(Image.FLIP_LEFT_RIGHT) 复制左右像素PIL 内部只做一次内存级的坐标映射速度很快。翻转不会改变像素值分布只是空间上的镜像对狗、猫、车这类没有固定方向的类别它是零成本的不变性先验但对文字、左右手、方向性标志水平翻转会产生错误标签必须从增强策略中去掉。随机方向旋转是这四种变换里最需要小心的。PIL 的 rotate 默认逆时针旋转expand 参数为 False 时维持原图尺寸不变旋转后的四个角会被裁掉旋转90度或180度时裁切最大原图边缘信息会丢失如果原图宽高比不是1:1目标很容易超出画面。原项目代码里用了 np.random.randint(-2, 2) * 90 再配合一个 if 分支选角度实际角度只在 -180、-90、90 之间取值见下面的代码片段。random_angle np.random.randint(-2, 2) * 90 if random_angle 0: rotation_img img.rotate(-90) else: rotation_img img.rotate(random_angle)这里 np.random.randint(-2, 2) 生成 -2、-1、0、1 四个整数乘90得到 -180、-90、0、90。0被 if 分支替换成 -90因此最终角度是 -180、-90、90不会出现0度原图也不会出现通常理解的“连续随机角度”。如果你的任务是车牌、遥感方向识别这种量化旋转会丢失目标的方向信息如果是普通的物体分类可以保留但更建议把角度改成连续采样例如 uniform(-30, 30)让模型看到更多中间姿态。另一个隐患是 expand 默认 False原图旋转后四个角会被黑色填充或者被裁掉对边缘目标不友好后面章节会把 expand 打开。2.2 增强参数表与选型建议下表把四类变换的关键参数和风险点列出来方便在部署时对照调整。表中建议区间是对大部分分类任务的起点值不一定是最优值实际效果要在验证集上确认。变换底层操作关键参数建议区间主要风险亮度增强ImageEnhance.Brightnessfactor1.1–1.5 或 0.6–1.4高光截断、暗部噪声放大对比度增强ImageEnhance.Contrastfactor0.8–1.5色彩失真、边缘过锐水平翻转transpose(FLIP_LEFT_RIGHT)无默认启用方向语义改变旋转img.rotate(angle)angle, expand90的倍数或±30边缘裁切、填充伪影如果数据量只有一千多张旋转角度建议先用 ±15 到 ±30不要一上来就做90度旋转。因为90度旋转会彻底改变目标的长宽方向很多模型学到的是原始朝向下的特征强行旋转会拉低准确率。亮度增强放在对比度之前效果通常更稳定原因是亮度变化会改变像素均值进而影响对比度拉伸的轴心顺序不同最终图像风格也不同这是一个容易忽略的工程细节。3. 用PIL ImageEnhance搭建可复用的数据扩充管线3.1 改进后的函数设计原代码的核心函数没有问题但把亮度、对比度、翻转、旋转四个函数全部耦合在 createImage 里参数写死扩展性不够。下面这版保留了原函数的命名风格增加了参数透传和输出目录自动创建方便直接复制到自己的项目里。import os import numpy as np from PIL import Image, ImageEnhance def brightnessEnhancement(root_path, img_name, brightness1.5): image Image.open(os.path.join(root_path, img_name)) return ImageEnhance.Brightness(image).enhance(brightness) def contrastEnhancement(root_path, img_name, contrast1.5): image Image.open(os.path.join(root_path, img_name)) return ImageEnhance.Contrast(image).enhance(contrast) def rotation(root_path, img_name, angleNone, expandTrue): img Image.open(os.path.join(root_path, img_name)) if angle is None: angle np.random.choice([-180, -90, 90, 180]) return img.rotate(angle, expandexpand) def flip(root_path, img_name): img Image.open(os.path.join(root_path, img_name)) return img.transpose(Image.FLIP_LEFT_RIGHT) def createImage(imageDir, saveDir, brightness1.5, contrast1.5): os.makedirs(saveDir, exist_okTrue) names [n for n in os.listdir(imageDir) if n.lower().endswith((.jpg, .jpeg, .png))] for i, name in enumerate(names, 1): base os.path.splitext(name)[0] img_set { f{base}_contrast.jpg: contrastEnhancement(imageDir, name, contrast), f{base}_flip.jpg: flip(imageDir, name), f{base}_brightness.jpg: brightnessEnhancement(imageDir, name, brightness), f{base}_rotate.jpg: rotation(imageDir, name), } for out_name, img in img_set.items(): img.save(os.path.join(saveDir, out_name))这段代码的逻辑很直接先创建输出目录再过滤原始文件夹里的 jpg/png 文件对每张原图依次调用对比度增强、水平翻转、亮度增强和旋转生成四个新文件文件名用 _contrast、_flip、_brightness、_rotate 做后缀。函数末尾没有返回结果因为增强结果直接写到了 saveDir 里调用时只要关心原图和输出目录的路径即可。参数说明brightness 控制亮度因子1.5 表示亮度提升 50%contrast 控制对比度因子1.5 表示以均值为轴拉伸rotation 里的 expandTrue 表示旋转后自动扩展画布避免边缘被裁掉。这样改完之后输出目录里每个类别下的图像数量就是原来的 5 倍也就是 1406 张原图加上 5624 张增强图合计 7030 张。如果你希望输出目录里只保留增强图就去掉原图复制步骤如果想保留原图可以在调用前先复制原始目录。3.2 目录组织与批量调用原项目的调用方式是直接把增强图存回原文件夹这样虽然简单但文件夹会被混合污染第二次运行时会重复增强已经增强过的图片。更稳的做法是把原始数据和增强数据分开用单独的 dataset_aug 目录保存。训练集做增强验证集和测试集只做尺寸调整和归一化不参与增强。下面这个表格是我常用的目录组织方式。数据集原始目录增强输出目录traindataset/train/class_adataset_aug/train/class_avaliddataset/valid/class_a不生成增强图testdataset/test/class_a不生成增强图批量处理多个类别时可以用 os.walk 或嵌套 for 循环遍历所有子目录。下面是针对四分类文件夹的调用示例import os from augment import createImage base_in C:/Users/lenovo/Desktop/maize base_out C:/Users/lenovo/Desktop/maize_aug for split in [train]: for class_name in [1, 2, 3, 4]: in_dir os.path.join(base_in, split, class_name) out_dir os.path.join(base_out, split, class_name) createImage(in_dir, out_dir)这里假设类别目录名是 1、2、3、4实际使用时改成自己的类别名。如果你用的是 Linux 训练环境可以直接先用 cp -r dataset/train dataset_aug/train 把原始训练图完整复制到输出目录再运行上面的 createImage增强图会自动补充进输出目录。这个方式的好处是原始目录永远不被修改后续增加新类别或调整增强参数时只需要重建输出目录不会污染原图。调用脚本时还要注意路径分隔符。Windows 上的反斜杠路径在 Python 字符串里要么写成双反斜杠要么用原始字符串 rC:/...。上面的示例统一用了正斜杠在 Windows 和 Linux 下都能直接生效。如果运行时报告找不到文件先打印 in_dir 确认是否存在很多增强脚本跑不动是因为路径拼错了不是算法问题。4. 扩充后验证训练集/验证集隔离与损失曲线判读4.1 为什么验证集不能做增强很多初学者把增强后的所有图片统一放进训练集然后用同一份增强结果做验证这样验证集与训练集之间存在同源变换val loss 会被严重低估。比如训练集里有一张原图的亮度增强版本验证集里也放了一张亮度增强图模型相当于提前见过答案测试阶段真实表现会被高估。正确做法是只对训练集做增强验证集和测试集保持原始图片只做统一的 resize 和归一化。下面是一个划分脚本的骨架先把原始图片按 train/valid/test 切好再对 train 目录执行增强valid 和 test 目录直接复制原图。import random import numpy as np from pathlib import Path from shutil import copyfile, rmtree from augment import createImage random.seed(42) np.random.seed(42) src_root Path(dataset) dst_root Path(dataset_aug) if dst_root.exists(): rmtree(dst_root) for split in [train, valid, test]: for label_dir in (src_root / split).iterdir(): out_dir dst_root / split / label_dir.name out_dir.mkdir(parentsTrue, exist_okTrue) images list(label_dir.glob(*.jpg)) if split train: createImage(str(label_dir), str(out_dir)) for img in images: copyfile(img, out_dir / img.name)这段代码先固定了随机种子保证每次运行生成的增强序列一致方便复现。然后遍历 train、valid、test 三个目录对 train 目录调用 createImage生成四种增强图再把原始图复制到输出目录对 valid 和 test 目录只复制原始图。最终 dataset_aug 里的目录结构与原目录完全相同但 train 目录下的图片数量是原来的 5 倍valid 和 test 目录保持原样。如果你已经用原项目代码单独跑过增强没有按 split 隔离那么至少要保证模型训练时读取的验证集和测试集文件不与训练集增强文件重合。最简单的方法是检查文件名增强文件名都带 _contrast、_flip、_brightness、_rotate 后缀只要验证集路径里的文件名不包含这些后缀就是安全的。4.2 使用独立 transform 做训练与验证即使不在硬盘上生成增强图也可以在训练代码里动态做增强。PyTorch 里常见的方式是给 Dataset 传入一个 is_train 参数训练集用包含随机变换的 transform验证集用只包含 resize 和归一化的 transform。下面的代码片段展示了这种用法。import torchvision.transforms as T from torch.utils.data import Dataset from PIL import Image class ImageListDataset(Dataset): def __init__(self, paths, labels, is_trainTrue): self.paths paths self.labels labels self.train_transform T.Compose([ T.Resize((224, 224)), T.RandomHorizontalFlip(p0.5), T.ColorJitter(brightness0.4, contrast0.4), T.RandomRotation(15), T.ToTensor(), T.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) self.val_transform T.Compose([ T.Resize((224, 224)), T.ToTensor(), T.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) self.transform self.train_transform if is_train else self.val_transform def __len__(self): return len(self.paths) def __getitem__(self, idx): img Image.open(self.paths[idx]).convert(RGB) return self.transform(img), self.labels[idx]注意 val_transform 里没有 RandomHorizontalFlip 和 ColorJitter只有 Resize 和 Normalize。这样验证集看到的是稳定输入训练曲线才能真实反映模型泛化能力。如果验证集也加随机翻转同一个 epoch 内两次验证结果会不同排查问题时很难判断是模型变好了还是随机变换带来的抖动。4.3 扩增前后对比实验设计要判断扩充是否有效不能只跑一次看最终准确率而是用相同随机种子、相同网络、相同优化器分别训练原始图和增强图两个版本观察训练损失和验证准确率的变化。下面是一个对比表格模板表中的准确率是示意值不是实测数据重点看趋势。训练数据图片数量训练轮数val acc示意结论原始图1406500.72验证曲线波动大过拟合明显增强图原图7030500.82验证曲线更平滑准确率提升明显一个常见的现象是原始数据训练时train loss 很快降到接近0val loss 不再下降说明模型记住了训练样本。增强后 train loss 下降变慢但 val loss 和 val acc 能同步改善这才是增强真正起作用的表现。如果增强后 val acc 没有明显变化需要检查增强强度是否过小或过大过小等于没变过大会让模型学不到稳定特征。5. 增强参数随机化、动态增强与类别均衡进阶5.1 固定系数改成随机区间避免增强模式被模型记住离线增强使用固定 brightness1.5 和固定 contrast1.5 时所有图片都被统一提亮模型经过多轮迭代后会发现“训练集整体偏亮”等于嵌入了一个错误先验。更稳妥的做法是按区间采样每次运行产生不同因子覆盖更多光照和对比度状态。brightness_factor np.random.uniform(1.1, 1.5) contrast_factor np.random.uniform(1.1, 1.5) angle np.random.uniform(-30, 30)如果担心一次引入过大的分布偏移先用小区间跑一版例如 brightness 在 1.2 到 1.4、rotation 在 -15 到 15确认模型没有退化后再逐步扩大。随机因子配合固定种子使用可以保证实验可复现正式训练时再关闭固定种子用更大的随机性覆盖数据分布。5.2 在线增强配合 DataLoader减少磁盘占用离线增强生成 7030 张图会占用较多磁盘空间而且一旦参数调整就要重新生成整个目录。更实用的做法是把增强放进训练流程用 PyTorch 的 transforms 在线处理。训练时每次读取同一张图都会得到不同版本等于样本量被进一步放大。验证集则使用独立的非随机 transform并固定 DataLoader 的随机种子保证 each epoch 的验证结果可比。train_transform T.Compose([ T.Resize((224, 224)), T.RandomHorizontalFlip(), T.ColorJitter(brightness0.4, contrast0.4), T.RandomRotation(15), T.ToTensor(), T.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ])在线增强没有把新图片落盘所以文件名层面不会出现 _contrast、_rotate 这类后缀但同样要遵守验证集隔离原则。遇到类别不均衡时在线增强之外还要做重采样让每个 epoch 中每个类别被采样的次数接近一致避免数据增强把原本占比低的类继续稀释。把离线增强用于数据盘点、在线增强用于训练、验证集保持固定预处理这样的组合才能从小样本里拿到真正可泛化的收益。本文还有配套的精品资源点击获取