SUNFLOWER MATCH LAB爬虫数据清洗实战优化植物图像输入质量最近在做一个植物识别的项目用爬虫从网上抓了一大堆向日葵的图片准备喂给模型训练。结果打开文件夹一看头都大了——图片大小不一有的带着硕大的水印有的模糊不清甚至还有几张根本不是向日葵。直接拿这些“原材料”去训练模型效果肯定好不了。这让我想起一个老道理垃圾进垃圾出。对于像SUNFLOWER MATCH LAB这类依赖视觉输入的模型来说输入图片的质量直接决定了最终识别的准确度。数据清洗这个听起来有点枯燥的环节其实是决定项目成败的关键一步。今天我就把自己处理这批植物图像数据的过程整理出来分享一套用Python给图片“洗澡”的实战方法。从去除烦人的水印到统一尺寸格式再到自动过滤废片咱们一步步来目标是让每一张输入模型的图片都干净、标准、高质量。1. 准备工作认识你的“脏数据”在动手清洗之前得先看看咱们的数据到底“脏”在哪儿。我这次爬取的向日葵图片主要遇到了这么几个典型问题尺寸和格式五花八门有横屏的风景照也有竖屏的特写图格式包括了JPG、PNG甚至还有WebP。模型训练通常要求输入尺寸固定格式统一。水印和无关信息干扰很多图片角落带着网站Logo、作者签名或者拍摄参数这些信息对模型识别向日葵毫无帮助反而可能成为干扰噪声。图像质量参差不齐有些图片因为压缩过度显得模糊有些则存在曝光过度或颜色失真。“滥竽充数”的图片爬虫难免会抓到一些无关图片比如网页广告、相关文章配图可能是其他花这些必须剔除。我们的清洗流程就要针对这些问题逐个击破。你需要先准备好Python环境安装几个核心库pip install Pillow opencv-python numpy这里简单说一下Pillow (PIL)Python里处理图像的老牌库功能全面API友好适合做基础的尺寸调整、格式转换。OpenCV (cv2)计算机视觉的“瑞士军刀”在图像处理上性能强劲特别适合做复杂的操作比如基于颜色或轮廓的过滤。NumPyOpenCV的好搭档底层数据运算离不开它。代码里就用它们仨。把爬虫下载的图片统一放到一个文件夹里比如叫raw_images/我们清洗后的图片会输出到另一个文件夹比如cleaned_images/。2. 基础清洗统一尺寸与格式第一步我们先解决最基础的问题让所有图片站在同一条起跑线上。这主要是为了满足模型输入的要求。2.1 批量调整尺寸与长宽比模型输入层的大小是固定的比如224x224我们不能直接把原图塞进去。常见的做法是等比例缩放后从中心裁剪或者拉伸变形。对于植物识别保持比例的中心裁剪通常更好能减少形变。from PIL import Image import os def resize_and_center_crop(image_path, output_path, target_size(224, 224)): 将图像等比例缩放至至少覆盖目标尺寸然后从中心裁剪。 参数: image_path: 输入图片路径 output_path: 输出图片路径 target_size: 目标尺寸 (宽, 高) try: with Image.open(image_path) as img: # 转换为RGB模式避免RGBA等问题 img img.convert(RGB) # 计算等比例缩放的尺寸 width, height img.size target_width, target_height target_size # 计算缩放比例取长边缩放到目标尺寸对应边 ratio max(target_width / width, target_height / height) new_size (int(width * ratio), int(height * ratio)) img_resized img.resize(new_size, Image.Resampling.LANCZOS) # 计算中心裁剪的区域 left (new_size[0] - target_width) / 2 top (new_size[1] - target_height) / 2 right (new_size[0] target_width) / 2 bottom (new_size[1] target_height) / 2 img_cropped img_resized.crop((left, top, right, bottom)) img_cropped.save(output_path) return True except Exception as e: print(f处理图片 {image_path} 时出错: {e}) return False # 批量处理示例 raw_dir raw_images cleaned_dir cleaned_images_basic os.makedirs(cleaned_dir, exist_okTrue) for filename in os.listdir(raw_dir): if filename.lower().endswith((.png, .jpg, .jpeg, .bmp, .webp)): input_path os.path.join(raw_dir, filename) # 统一保存为JPG格式更改后缀 output_filename os.path.splitext(filename)[0] .jpg output_path os.path.join(cleaned_dir, output_filename) resize_and_center_crop(input_path, output_path)2.2 统一图像格式与压缩不同格式的图片在数据加载和处理时可能会带来额外开销。通常训练时使用JPG格式它在质量和文件大小之间取得了很好的平衡。上面的代码在保存时已经统一转成了.jpg。你还可以通过Pillow的quality参数来控制压缩比例如img.save(output_path, JPEG, quality85)。3. 进阶处理去除水印与颜色校正基础清洗后图片规整了但水印和色差问题还在。这部分需要一些更“智能”的操作。3.1 简单水印/Logo去除基于位置如果水印固定出现在图片的某个角落比如右下角我们可以直接把这个区域的像素替换掉。最简单的方法是用邻近像素填充修复或者直接裁剪掉水印区域如果不影响主体。import cv2 import numpy as np def remove_watermark_by_region(image_path, output_path, region): 通过裁剪或简单修复移除指定矩形区域的水印。 参数: image_path: 输入图片路径 output_path: 输出图片路径 region: 水印区域 (x, y, width, height)例如右下角(宽-100, 高-50, 100, 50) img cv2.imread(image_path) if img is None: return False height, width img.shape[:2] x, y, w, h region # 确保区域在图像范围内 x, y max(0, x), max(0, y) w, h min(w, width - x), min(h, height - y) if w 0 or h 0: print(指定区域无效跳过处理。) cv2.imwrite(output_path, img) return True # 方法1直接裁剪掉水印区域如果可接受 # cropped_img img[0:height-h, 0:width] # 示例裁剪底部 # 方法2使用邻近区域像素进行简单覆盖效果较粗糙适用于纯色背景边缘 # 这里用一个非常简单的示例用水印区域上方一行像素来填充仅作思路演示 # 实际复杂水印需要更高级的方法如inpainting if y 0: source_patch img[y-1:y, x:xw, :] # 取水印上方一行像素 source_patch cv2.resize(source_patch, (w, h), interpolationcv2.INTER_NEAREST) img[y:yh, x:xw, :] source_patch else: # 如果水印在顶部尝试用下方像素 source_patch img[yh:yh1, x:xw, :] source_patch cv2.resize(source_patch, (w, h), interpolationcv2.INTER_NEAREST) img[y:yh, x:xw, :] source_patch cv2.imwrite(output_path, img) return True # 假设水印在右下角100x50像素区域 watermark_region ( -100, -50, 100, 50) # 使用负数表示从右下角开始 # 注意在实际调用前需要根据图片尺寸计算具体坐标注意上述方法对于简单、位置固定的水印可能有效。对于复杂或位置不固定的水印可能需要用到图像修复算法如OpenCV的cv2.inpaint或训练专门的水印检测模型那就要复杂得多了。3.2 颜色校正与增强光照条件不同会导致图片色温、对比度差异巨大。简单的自动校正可以提升数据一致性。def auto_color_correct(image_path, output_path): 简单的自动颜色校正白平衡和对比度拉伸。 img cv2.imread(image_path) if img is None: return False # 转换到LAB颜色空间便于处理亮度与颜色分离 lab cv2.cvtColor(img, cv2.COLOR_BGR2LAB) l, a, b cv2.split(lab) # 对亮度通道进行CLAHE限制对比度自适应直方图均衡化增强局部对比度 clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8,8)) cl clahe.apply(l) # 合并通道并转回BGR limg cv2.merge((cl,a,b)) corrected cv2.cvtColor(limg, cv2.COLOR_LAB2BGR) # 简单的自动白平衡灰度世界假设 result cv2.cvtColor(corrected, cv2.COLOR_BGR2RGB) avg_b np.average(result[:,:,0]) avg_g np.average(result[:,:,1]) avg_r np.average(result[:,:,2]) avg_gray (avg_b avg_g avg_r) / 3 scale_b avg_gray / avg_b scale_g avg_gray / avg_g scale_r avg_gray / avg_r result[:,:,0] np.clip(result[:,:,0] * scale_b, 0, 255) result[:,:,1] np.clip(result[:,:,1] * scale_g, 0, 255) result[:,:,2] np.clip(result[:,:,2] * scale_r, 0, 255) result cv2.cvtColor(result.astype(np.uint8), cv2.COLOR_RGB2BGR) cv2.imwrite(output_path, result) return True4. 智能过滤剔除模糊与无关图片这是清洗流程的“质检环节”目标是自动把不合格的图片踢出去。4.1 检测并过滤模糊图片模糊图片对模型训练有害无益。我们可以用拉普拉斯方差Variance of Laplacian来量化图像的模糊程度。def is_image_blurry(image_path, threshold100.0): 使用拉普拉斯算子方差判断图片是否模糊。 方差越小图像越模糊。 参数: threshold: 阈值低于此值则认为图片模糊。需要根据你的图片集调整。 img cv2.imread(image_path) if img is None: return True # 读不出图视为无效 gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) fm cv2.Laplacian(gray, cv2.CV_64F).var() return fm threshold # 批量检查 blurry_images [] for filename in os.listdir(cleaned_dir): if filename.endswith(.jpg): path os.path.join(cleaned_dir, filename) if is_image_blurry(path, threshold150): # 调整阈值 blurry_images.append(filename) print(f模糊图片: {filename}, 方差: {cv2.Laplacian(cv2.cvtColor(cv2.imread(path), cv2.COLOR_BGR2GRAY), cv2.CV_64F).var():.2f})4.2 基于颜色直方图过滤无关图片以向日葵为例向日葵图片通常以黄色、绿色、棕色为主。我们可以利用颜色直方图来过滤掉颜色分布完全不符的图片比如一张蓝色大海的图片。def color_histogram_filter(image_path, dominant_coloryellow, threshold0.3): 基于HSV颜色空间检查图片主色调是否符合预期。 这是一个简化示例实际应用可能需要更复杂的模型。 参数: dominant_color: 预期主色调如 yellow, green threshold: 主色通道像素占比阈值 img cv2.imread(image_path) if img is None: return False hsv cv2.cvtColor(img, cv2.COLOR_BGR2HSV) # 定义HSV中黄色的范围OpenCV中H范围是0-179 if dominant_color yellow: lower np.array([20, 50, 50]) upper np.array([40, 255, 255]) elif dominant_color green: lower np.array([40, 50, 50]) upper np.array([80, 255, 255]) else: # 默认返回True不进行过滤 return True mask cv2.inRange(hsv, lower, upper) yellow_ratio np.sum(mask 0) / (img.shape[0] * img.shape[1]) # 如果黄色/绿色像素占比过低可能不是向日葵 return yellow_ratio threshold # 示例过滤掉黄色像素占比太低的图片 filtered_out [] for filename in os.listdir(cleaned_dir): if filename.endswith(.jpg): path os.path.join(cleaned_dir, filename) if not color_histogram_filter(path, dominant_coloryellow, threshold0.15): filtered_out.append(filename) print(f颜色不符: {filename})5. 整合流程与效果评估把上面的步骤串起来形成一个完整的自动化清洗流水线。import shutil def full_cleaning_pipeline(raw_dir, final_dir, target_size(224,224), blur_threshold150, color_threshold0.15): 完整的图像清洗流水线。 # 创建临时和最终目录 temp_dir temp_cleaned os.makedirs(temp_dir, exist_okTrue) os.makedirs(final_dir, exist_okTrue) valid_count 0 for filename in os.listdir(raw_dir): if not filename.lower().endswith((.png, .jpg, .jpeg, .bmp, .webp)): continue input_path os.path.join(raw_dir, filename) temp_path os.path.join(temp_dir, os.path.splitext(filename)[0] _temp.jpg) final_path os.path.join(final_dir, os.path.splitext(filename)[0] .jpg) try: # 1. 基础清洗调整尺寸和格式 if not resize_and_center_crop(input_path, temp_path, target_size): continue # 2. (可选) 颜色校正 # auto_color_correct(temp_path, temp_path) # 3. 质量过滤检查模糊度 if is_image_blurry(temp_path, thresholdblur_threshold): print(f过滤 [模糊]: {filename}) continue # 4. 内容过滤基于颜色简易版 if not color_histogram_filter(temp_path, dominant_coloryellow, thresholdcolor_threshold): print(f过滤 [颜色不符]: {filename}) continue # 5. 所有检查通过移动到最终目录 shutil.move(temp_path, final_path) valid_count 1 print(f保留: {filename}) except Exception as e: print(f处理 {filename} 时发生错误: {e}) continue # 清理临时目录 shutil.rmtree(temp_dir, ignore_errorsTrue) print(f\n清洗完成原始图片数: {len([f for f in os.listdir(raw_dir) if f.lower().endswith((.png, .jpg, .jpeg, .bmp, .webp))])}) print(f有效保留图片数: {valid_count}) return valid_count # 运行完整流程 final_output_dir cleaned_final_images valid_num full_cleaning_pipeline(raw_images, final_output_dir)跑完这个流程你的cleaned_final_images文件夹里应该就只剩下尺寸统一、相对清晰、且颜色特征符合向日葵的图片了。你可以随机抽查一些图片看看清洗效果是否符合预期。6. 总结给爬虫抓取的植物图像数据做清洗就像给食材做预处理虽然繁琐但至关重要。这套流程从最基础的尺寸格式化开始到处理水印、校正颜色最后用模糊检测和颜色过滤来把好质量关基本覆盖了常见的数据脏污问题。实际用下来最需要花时间调整的是各种阈值参数比如判断模糊的blur_threshold和判断主色的color_threshold。这些值没有绝对标准需要你根据自己的数据集特点多试几次。对于复杂水印或者更精确的无关图像过滤可能就需要引入机器学习模型了但那又是另一个层面的工作了。处理好之后的数据再喂给SUNFLOWER MATCH LAB模型你会发现训练过程更稳定收敛更快最终的识别准确率也会有可观的提升。数据质量上去了模型性能的天花板才能更高。希望这个实战指南能帮你把杂乱无章的图片数据变成干净规整的模型燃料。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
SUNFLOWER MATCH LAB爬虫数据清洗实战：优化植物图像输入质量
发布时间：2026/7/8 16:58:54
SUNFLOWER MATCH LAB爬虫数据清洗实战优化植物图像输入质量最近在做一个植物识别的项目用爬虫从网上抓了一大堆向日葵的图片准备喂给模型训练。结果打开文件夹一看头都大了——图片大小不一有的带着硕大的水印有的模糊不清甚至还有几张根本不是向日葵。直接拿这些“原材料”去训练模型效果肯定好不了。这让我想起一个老道理垃圾进垃圾出。对于像SUNFLOWER MATCH LAB这类依赖视觉输入的模型来说输入图片的质量直接决定了最终识别的准确度。数据清洗这个听起来有点枯燥的环节其实是决定项目成败的关键一步。今天我就把自己处理这批植物图像数据的过程整理出来分享一套用Python给图片“洗澡”的实战方法。从去除烦人的水印到统一尺寸格式再到自动过滤废片咱们一步步来目标是让每一张输入模型的图片都干净、标准、高质量。1. 准备工作认识你的“脏数据”在动手清洗之前得先看看咱们的数据到底“脏”在哪儿。我这次爬取的向日葵图片主要遇到了这么几个典型问题尺寸和格式五花八门有横屏的风景照也有竖屏的特写图格式包括了JPG、PNG甚至还有WebP。模型训练通常要求输入尺寸固定格式统一。水印和无关信息干扰很多图片角落带着网站Logo、作者签名或者拍摄参数这些信息对模型识别向日葵毫无帮助反而可能成为干扰噪声。图像质量参差不齐有些图片因为压缩过度显得模糊有些则存在曝光过度或颜色失真。“滥竽充数”的图片爬虫难免会抓到一些无关图片比如网页广告、相关文章配图可能是其他花这些必须剔除。我们的清洗流程就要针对这些问题逐个击破。你需要先准备好Python环境安装几个核心库pip install Pillow opencv-python numpy这里简单说一下Pillow (PIL)Python里处理图像的老牌库功能全面API友好适合做基础的尺寸调整、格式转换。OpenCV (cv2)计算机视觉的“瑞士军刀”在图像处理上性能强劲特别适合做复杂的操作比如基于颜色或轮廓的过滤。NumPyOpenCV的好搭档底层数据运算离不开它。代码里就用它们仨。把爬虫下载的图片统一放到一个文件夹里比如叫raw_images/我们清洗后的图片会输出到另一个文件夹比如cleaned_images/。2. 基础清洗统一尺寸与格式第一步我们先解决最基础的问题让所有图片站在同一条起跑线上。这主要是为了满足模型输入的要求。2.1 批量调整尺寸与长宽比模型输入层的大小是固定的比如224x224我们不能直接把原图塞进去。常见的做法是等比例缩放后从中心裁剪或者拉伸变形。对于植物识别保持比例的中心裁剪通常更好能减少形变。from PIL import Image import os def resize_and_center_crop(image_path, output_path, target_size(224, 224)): 将图像等比例缩放至至少覆盖目标尺寸然后从中心裁剪。 参数: image_path: 输入图片路径 output_path: 输出图片路径 target_size: 目标尺寸 (宽, 高) try: with Image.open(image_path) as img: # 转换为RGB模式避免RGBA等问题 img img.convert(RGB) # 计算等比例缩放的尺寸 width, height img.size target_width, target_height target_size # 计算缩放比例取长边缩放到目标尺寸对应边 ratio max(target_width / width, target_height / height) new_size (int(width * ratio), int(height * ratio)) img_resized img.resize(new_size, Image.Resampling.LANCZOS) # 计算中心裁剪的区域 left (new_size[0] - target_width) / 2 top (new_size[1] - target_height) / 2 right (new_size[0] target_width) / 2 bottom (new_size[1] target_height) / 2 img_cropped img_resized.crop((left, top, right, bottom)) img_cropped.save(output_path) return True except Exception as e: print(f处理图片 {image_path} 时出错: {e}) return False # 批量处理示例 raw_dir raw_images cleaned_dir cleaned_images_basic os.makedirs(cleaned_dir, exist_okTrue) for filename in os.listdir(raw_dir): if filename.lower().endswith((.png, .jpg, .jpeg, .bmp, .webp)): input_path os.path.join(raw_dir, filename) # 统一保存为JPG格式更改后缀 output_filename os.path.splitext(filename)[0] .jpg output_path os.path.join(cleaned_dir, output_filename) resize_and_center_crop(input_path, output_path)2.2 统一图像格式与压缩不同格式的图片在数据加载和处理时可能会带来额外开销。通常训练时使用JPG格式它在质量和文件大小之间取得了很好的平衡。上面的代码在保存时已经统一转成了.jpg。你还可以通过Pillow的quality参数来控制压缩比例如img.save(output_path, JPEG, quality85)。3. 进阶处理去除水印与颜色校正基础清洗后图片规整了但水印和色差问题还在。这部分需要一些更“智能”的操作。3.1 简单水印/Logo去除基于位置如果水印固定出现在图片的某个角落比如右下角我们可以直接把这个区域的像素替换掉。最简单的方法是用邻近像素填充修复或者直接裁剪掉水印区域如果不影响主体。import cv2 import numpy as np def remove_watermark_by_region(image_path, output_path, region): 通过裁剪或简单修复移除指定矩形区域的水印。 参数: image_path: 输入图片路径 output_path: 输出图片路径 region: 水印区域 (x, y, width, height)例如右下角(宽-100, 高-50, 100, 50) img cv2.imread(image_path) if img is None: return False height, width img.shape[:2] x, y, w, h region # 确保区域在图像范围内 x, y max(0, x), max(0, y) w, h min(w, width - x), min(h, height - y) if w 0 or h 0: print(指定区域无效跳过处理。) cv2.imwrite(output_path, img) return True # 方法1直接裁剪掉水印区域如果可接受 # cropped_img img[0:height-h, 0:width] # 示例裁剪底部 # 方法2使用邻近区域像素进行简单覆盖效果较粗糙适用于纯色背景边缘 # 这里用一个非常简单的示例用水印区域上方一行像素来填充仅作思路演示 # 实际复杂水印需要更高级的方法如inpainting if y 0: source_patch img[y-1:y, x:xw, :] # 取水印上方一行像素 source_patch cv2.resize(source_patch, (w, h), interpolationcv2.INTER_NEAREST) img[y:yh, x:xw, :] source_patch else: # 如果水印在顶部尝试用下方像素 source_patch img[yh:yh1, x:xw, :] source_patch cv2.resize(source_patch, (w, h), interpolationcv2.INTER_NEAREST) img[y:yh, x:xw, :] source_patch cv2.imwrite(output_path, img) return True # 假设水印在右下角100x50像素区域 watermark_region ( -100, -50, 100, 50) # 使用负数表示从右下角开始 # 注意在实际调用前需要根据图片尺寸计算具体坐标注意上述方法对于简单、位置固定的水印可能有效。对于复杂或位置不固定的水印可能需要用到图像修复算法如OpenCV的cv2.inpaint或训练专门的水印检测模型那就要复杂得多了。3.2 颜色校正与增强光照条件不同会导致图片色温、对比度差异巨大。简单的自动校正可以提升数据一致性。def auto_color_correct(image_path, output_path): 简单的自动颜色校正白平衡和对比度拉伸。 img cv2.imread(image_path) if img is None: return False # 转换到LAB颜色空间便于处理亮度与颜色分离 lab cv2.cvtColor(img, cv2.COLOR_BGR2LAB) l, a, b cv2.split(lab) # 对亮度通道进行CLAHE限制对比度自适应直方图均衡化增强局部对比度 clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8,8)) cl clahe.apply(l) # 合并通道并转回BGR limg cv2.merge((cl,a,b)) corrected cv2.cvtColor(limg, cv2.COLOR_LAB2BGR) # 简单的自动白平衡灰度世界假设 result cv2.cvtColor(corrected, cv2.COLOR_BGR2RGB) avg_b np.average(result[:,:,0]) avg_g np.average(result[:,:,1]) avg_r np.average(result[:,:,2]) avg_gray (avg_b avg_g avg_r) / 3 scale_b avg_gray / avg_b scale_g avg_gray / avg_g scale_r avg_gray / avg_r result[:,:,0] np.clip(result[:,:,0] * scale_b, 0, 255) result[:,:,1] np.clip(result[:,:,1] * scale_g, 0, 255) result[:,:,2] np.clip(result[:,:,2] * scale_r, 0, 255) result cv2.cvtColor(result.astype(np.uint8), cv2.COLOR_RGB2BGR) cv2.imwrite(output_path, result) return True4. 智能过滤剔除模糊与无关图片这是清洗流程的“质检环节”目标是自动把不合格的图片踢出去。4.1 检测并过滤模糊图片模糊图片对模型训练有害无益。我们可以用拉普拉斯方差Variance of Laplacian来量化图像的模糊程度。def is_image_blurry(image_path, threshold100.0): 使用拉普拉斯算子方差判断图片是否模糊。 方差越小图像越模糊。 参数: threshold: 阈值低于此值则认为图片模糊。需要根据你的图片集调整。 img cv2.imread(image_path) if img is None: return True # 读不出图视为无效 gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) fm cv2.Laplacian(gray, cv2.CV_64F).var() return fm threshold # 批量检查 blurry_images [] for filename in os.listdir(cleaned_dir): if filename.endswith(.jpg): path os.path.join(cleaned_dir, filename) if is_image_blurry(path, threshold150): # 调整阈值 blurry_images.append(filename) print(f模糊图片: {filename}, 方差: {cv2.Laplacian(cv2.cvtColor(cv2.imread(path), cv2.COLOR_BGR2GRAY), cv2.CV_64F).var():.2f})4.2 基于颜色直方图过滤无关图片以向日葵为例向日葵图片通常以黄色、绿色、棕色为主。我们可以利用颜色直方图来过滤掉颜色分布完全不符的图片比如一张蓝色大海的图片。def color_histogram_filter(image_path, dominant_coloryellow, threshold0.3): 基于HSV颜色空间检查图片主色调是否符合预期。 这是一个简化示例实际应用可能需要更复杂的模型。 参数: dominant_color: 预期主色调如 yellow, green threshold: 主色通道像素占比阈值 img cv2.imread(image_path) if img is None: return False hsv cv2.cvtColor(img, cv2.COLOR_BGR2HSV) # 定义HSV中黄色的范围OpenCV中H范围是0-179 if dominant_color yellow: lower np.array([20, 50, 50]) upper np.array([40, 255, 255]) elif dominant_color green: lower np.array([40, 50, 50]) upper np.array([80, 255, 255]) else: # 默认返回True不进行过滤 return True mask cv2.inRange(hsv, lower, upper) yellow_ratio np.sum(mask 0) / (img.shape[0] * img.shape[1]) # 如果黄色/绿色像素占比过低可能不是向日葵 return yellow_ratio threshold # 示例过滤掉黄色像素占比太低的图片 filtered_out [] for filename in os.listdir(cleaned_dir): if filename.endswith(.jpg): path os.path.join(cleaned_dir, filename) if not color_histogram_filter(path, dominant_coloryellow, threshold0.15): filtered_out.append(filename) print(f颜色不符: {filename})5. 整合流程与效果评估把上面的步骤串起来形成一个完整的自动化清洗流水线。import shutil def full_cleaning_pipeline(raw_dir, final_dir, target_size(224,224), blur_threshold150, color_threshold0.15): 完整的图像清洗流水线。 # 创建临时和最终目录 temp_dir temp_cleaned os.makedirs(temp_dir, exist_okTrue) os.makedirs(final_dir, exist_okTrue) valid_count 0 for filename in os.listdir(raw_dir): if not filename.lower().endswith((.png, .jpg, .jpeg, .bmp, .webp)): continue input_path os.path.join(raw_dir, filename) temp_path os.path.join(temp_dir, os.path.splitext(filename)[0] _temp.jpg) final_path os.path.join(final_dir, os.path.splitext(filename)[0] .jpg) try: # 1. 基础清洗调整尺寸和格式 if not resize_and_center_crop(input_path, temp_path, target_size): continue # 2. (可选) 颜色校正 # auto_color_correct(temp_path, temp_path) # 3. 质量过滤检查模糊度 if is_image_blurry(temp_path, thresholdblur_threshold): print(f过滤 [模糊]: {filename}) continue # 4. 内容过滤基于颜色简易版 if not color_histogram_filter(temp_path, dominant_coloryellow, thresholdcolor_threshold): print(f过滤 [颜色不符]: {filename}) continue # 5. 所有检查通过移动到最终目录 shutil.move(temp_path, final_path) valid_count 1 print(f保留: {filename}) except Exception as e: print(f处理 {filename} 时发生错误: {e}) continue # 清理临时目录 shutil.rmtree(temp_dir, ignore_errorsTrue) print(f\n清洗完成原始图片数: {len([f for f in os.listdir(raw_dir) if f.lower().endswith((.png, .jpg, .jpeg, .bmp, .webp))])}) print(f有效保留图片数: {valid_count}) return valid_count # 运行完整流程 final_output_dir cleaned_final_images valid_num full_cleaning_pipeline(raw_images, final_output_dir)跑完这个流程你的cleaned_final_images文件夹里应该就只剩下尺寸统一、相对清晰、且颜色特征符合向日葵的图片了。你可以随机抽查一些图片看看清洗效果是否符合预期。6. 总结给爬虫抓取的植物图像数据做清洗就像给食材做预处理虽然繁琐但至关重要。这套流程从最基础的尺寸格式化开始到处理水印、校正颜色最后用模糊检测和颜色过滤来把好质量关基本覆盖了常见的数据脏污问题。实际用下来最需要花时间调整的是各种阈值参数比如判断模糊的blur_threshold和判断主色的color_threshold。这些值没有绝对标准需要你根据自己的数据集特点多试几次。对于复杂水印或者更精确的无关图像过滤可能就需要引入机器学习模型了但那又是另一个层面的工作了。处理好之后的数据再喂给SUNFLOWER MATCH LAB模型你会发现训练过程更稳定收敛更快最终的识别准确率也会有可观的提升。数据质量上去了模型性能的天花板才能更高。希望这个实战指南能帮你把杂乱无章的图片数据变成干净规整的模型燃料。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
