简介这是一份围绕电子元器件表面缺陷检测的机器视觉技术文档面向智能制造、工业质检及深度学习算法应用方向的研发与学习者聚焦如何借助计算机视觉替代人工检测、提升产线品质管控效率。文档从电子元器件组装工艺常见缺陷成因切入系统介绍了Canny边缘检测算法与YOLOv4目标检测算法在表面缺陷识别中的应用原理并给出软钎焊膏温湿度控制等工艺质量改进措施。内容兼具算法拆解与工程落地参考适合作为入门机器视觉缺陷检测的方案笔记。资源为单个docx文档共1个文件压缩包大小约52KB便于直接阅读或打印学习。目前已有89人学习浏览适用于正在研究表面缺陷检测、目标检测算法选型或电子制造质量管理的读者可快速获取Canny与YOLOv4的关键步骤、公式与实施要点辅助项目预研或课程设计参考。1. 电子元器件表面缺陷检测为什么值得用机器视觉来做电子元器件表面缺陷检测的难点在于表面不是一个平面。MLCC电容、电感、连接器、芯片封装体有的反光强有的带弧度有的拉丝纹理缺陷尺寸常小于0.1mm人眼在流水线上盯两小时就会漏检。机器视觉的切入点不是把算法堆上去而是先把成像稳定下来。同一个划伤角度不同在图像里可能完全消失。所以这个题目真正考验的是光学设计、像素精度标定和算法鲁棒性三者配合。做这条产线的人需要的不是一两句原理而是从打光到模型部署的一条可复现路径。下面按这个顺序展开。2. 电子元器件缺陷类型与成像基础先定物理约束再谈算法2.1 常见表面缺陷的形态分类与检测维度电子元器件的表面缺陷按形态可分为局部型和区域型。局部型包括划伤、凹坑、崩角、引脚弯折、焊点锡珠区域型包括污渍、氧化变色、镀层不均、丝印模糊。前者的灰度分布在空间上是高频的后者是低频的。很多刚接触缺陷检测的人把精力花在模型上却忽略了这两类缺陷在图像上的本质差异划伤是几条像素宽的暗线氧化是连片灰度缓慢变化。处理方式完全不同。高频缺陷要用中值滤波保护边缘低频缺陷反而要用高斯模糊或背景拟合来提取异常。另一个维度是对比度方向。划伤在暗场下表现为亮线在明场下可能看不见污渍在漫射光下是暗斑在低角度光下反而不明显。PCB上的PCBA焊点还是三维曲面2D图像只拍到投影锡珠的高度、共面性都要靠3D激光轮廓仪。3D视觉的检测成本高、节拍慢所以多数产线仍以2D为主只有焊后检测才上3D。把缺陷和光的关系列成表能防止一开始就选错光源。下面的表是我做项目时贴在调机现场的参数来源于实际产线但具体数值要根据你的样品微调。缺陷类型典型尺寸表面特征推荐光型检测难点划伤宽10-50μm线状、方向随机低角度光/暗场对比度低易与拉丝纹理混淆崩角/缺角0.1-1mm边缘轮廓缺失背光/同轴光与正常倒角难区分污渍/指纹0.5-5mm区域灰度偏低圆顶光/漫射光与氧化色接近引脚弯曲0.1mm级偏移几何形变同轴光高分辨率需要亚像素级检测丝印缺失1-3mm字符断裂/缺失同轴光字符分割难2.2 打光方案低角度光、同轴光与圆顶光的选型理由打光是机器视觉里的第一个算法。算法里的卷积核再准也弥补不了光源选错带来的缺失信息。常见做法是先用低角度光看划伤再用同轴光看丝印必要时两种光叠加。低角度光暗场的光线几乎平行于被测表面。平整区域把光反射到镜头之外图像是暗背景遇到划伤或凸起时光线发生漫反射部分进入镜头成为暗背景下的亮线。这套方案对金属引脚、封装体侧面的细微划伤非常有效。但低角度光对安装高度极敏感光源与样品表面的夹角一般在5°-15°之间夹角超过20°时背景不再够暗划伤对比度明显下降。同轴光通过半透半反镜把光垂直反射到物体表面反射光沿原路返回进入相机。它的好处是消除曲面弧度带来的阴影适合IC表面的丝印、激光打标检测。缺点是要检测凹陷缺陷时凹坑内的反射光不容易原路返回会形成暗斑这个特性可以用来检测凹坑。圆顶光穹顶光是漫射光光从半圆罩内壁多次反射后均匀照向样品适合圆柱形电感、MLCC端头这类形状复杂的表面。它的均匀性最好但方向性最弱3D形状信息被抹掉微浅划伤几乎看不出。现场项目里我一般先拍一组不同光型的对比图看直方图的双峰距离再定主要光源。光源颜色不是随便选的。比如陶瓷基体是深棕色用红光会让基体灰度升高划伤与基体的灰度差变小换蓝色光能压低背景让高光的金属划伤更突出。具体操作是固定相机参数分别用红、绿、蓝光各拍一张统计缺陷区域与背景区域的灰度差选差值最大的。偏振光是另一个容易被忽略的选项。反光强的金属表面会产生大量眩光在镜头前加偏振片并在光源前加同向偏振膜能滤掉镜面反射只保留漫反射。这个方法能看清金属镀层下的腐蚀点但会损失一部分亮度需要把曝光时间提高1-2档。2.3 像素精度与相机选型计算从视野反推分辨率像素精度是机器视觉面试和实际项目都绕不开的问题。它定义为一个像素能代表的物理尺寸计算公式很简单像素精度 视野尺寸 / 图像分辨率。但真正落地时要倒着推。假设要检测的最小特征尺寸是0.05mm的划伤。要稳定识别划伤宽度至少占3个像素所以像素精度要优于0.05/3 ≈ 16.7μm/pixel。接着根据元件的最大尺寸和运动偏差确定视野。检测一颗12mm长、8mm宽的芯片视野不能刚好是12×8得有50%以上余量取20×15mm。再用视野除以目标像素精度得到分辨率需求def calc_required_resolution(fov_mm, precision_um): 根据视野和目标像素精度计算需要的相机分辨率 返回 (像素精度, 所需横向像素, 所需纵向像素) pixels fov_mm * 1000 / precision_um return pixels fov_w, fov_h 20, 15 # 视野宽20mm高15mm precision_um 16 # 目标像素精度16um req_w int(calc_required_resolution(fov_w, precision_um)) req_h int(calc_required_resolution(fov_h, precision_um)) print(f分辨率需求: {req_w} x {req_h}约{req_w*req_h/1e6:.1f}百万像素) # 输出分辨率需求: 1250 x 937约1.2百万像素这看起来只要130万像素但我会选200万或500万像素相机。原因是镜头畸变、边缘像质下降和光源亮度波动会让实际有效像素精度打折扣。标定时用棋盘格拍十张不同位置的照片计算角点距离与真实距离的比值取最大值作为标称精度。若画面中心精度是12μm/pixel边缘可能漂移到18μm/pixel这时候只能用边缘区域的精度做缺陷尺寸的判定阈值。运动模糊也是像素精度变化的大户。工件在线体上运动速度越快曝光时间必须越短。公式上运动模糊量速度×曝光时间。速度200mm/s曝光2ms模糊0.4mm完全没法看。所以充分曝光时要用频闪光源把曝光时间压到100μs以下。否则第3章要做的差影法会失败因为边缘被模糊拉宽了。3. 用OpenCV做图像预处理与差影法粗定位3.1 ROI设定与直方图参数验证拿到图像的第一个动作是设定ROI把载具、定位孔、夹具反光区排除掉。电子元器件的背景通常很花直接全图处理会造成大量误检。ROI的像素坐标要从模板匹配结果动态计算不能写死因为工件在视野内的位置会有几十微米到几百微米的漂移。import cv2 import numpy as np img cv2.imread(mlcc_01.bmp, cv2.IMREAD_GRAYSCALE) # 用模板匹配定位元件基准角再扩展出检测区域 template cv2.imread(template_corner.bmp, cv2.IMREAD_GRAYSCALE) res cv2.matchTemplate(img, template, cv2.TM_CCOEFF_NORMED) _, max_val, _, max_loc cv2.minMaxLoc(res) # 假设基准角在左上角ROI从基准角向右下延伸排除黑色载具 x, y max_loc w, h 1800, 1200 # 根据检测区域的实际像素尺寸设定 roi img[y:yh, x:xw]匹配结果的最大值max_val可以当作质量信号。如果图像模糊或光源异常max_val会低于0.8这时候直接报警不要让后续算法在低质量图像上运行。ROI高宽参数不要在代码里手写要放到配置文件里现场换料的时候只改配置。接着用直方图判断打光是否仍然正确如果ROI灰度均值低于80或者高于220说明光源衰减或过曝需要停下产线重新调光。这个检查我放在每批产品开始前的首件验证环节。3.2 灰度化、滤波与增强参数必须匹配缺陷尺寸拿到ROI后下一步是滤波。电子元器件表面自带纹理比如陶瓷基体的颗粒感、金属拉丝这些不是缺陷但会在差分时形成噪声。denoised cv2.medianBlur(roi, 3) # 中值滤波去孤立噪点 gauss cv2.GaussianBlur(denoised, (5, 5), 0.8) # 高斯去周期纹理 p_low, p_high np.percentile(gauss, (1, 99)) stretched np.clip((gauss - p_low) * (255.0 / (p_high - p_low 1e-6)), 0, 255).astype(np.uint8)中值滤波的ksize若是7或9会显著压制划伤因为划伤本身宽度可能只有2-3个像素。高斯滤波的sigma若大于1.5会与划伤同为高频分量而被滤掉。所以预处理参数必须和缺陷最小尺寸挂钩不能照抄通用例程。对比度拉伸用分位数而不是min/max是为了防止个别死像素把灰度范围拉得过宽。这里1%和99%的分位数要根据现场灰度直方图微调如果曲线集中在中间窄带可以改成(0.5, 99.5)。增强之后要重新跑一次直方图确认缺陷与背景的灰度差至少20级达不到就回去调光不要硬用增强算法。3.3 形态学运算与连通域分析尺寸阈值换算在打光到位的前提下灰度阈值就能分割大部分区域型缺陷但划伤是线状的阈值分割后会有断裂。所以用闭运算把断线连起来再用开运算清除孤立噪点。_, thresh cv2.threshold(stretched, 0, 255, cv2.THRESH_BINARY_INV cv2.THRESH_OTSU) kernel_close cv2.getStructuringElement(cv2.MORPH_RECT, (5, 1)) closed cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel_close, iterations1) kernel_open cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5)) opened cv2.morphologyEx(closed, cv2.MORPH_OPEN, kernel_open, iterations1) n, labels, stats, centroids cv2.connectedComponentsWithStats(opened) defects [] for i in range(1, n): area stats[i, cv2.CC_STAT_AREA] if 50 area 5000: defects.append(stats[i])闭运算的核设计成(5,1)是为了沿水平方向连接断裂的划伤。如果划伤方向是垂直的核要改成(1,5)。更通用的办法是先对图像做方向梯度分析再自适应生成核但传统产线为了速度一般固定两个方向的闭运算。面积阈值需要按像素精度换算。假设像素精度10μm/pixel0.1mm×0.05mm的污渍对应5000μm²除以100μm²/px²正好50px。所以下限50能滤掉微尘上限5000对应一个10倍于最小缺陷的大面积缺陷。上限不能设太大否则丝印区域的文字会被并成一个大缺陷产生大量误检。更好的做法是先把丝印字符作为ROI mask排除再对剩余区域做面积过滤。3.4 差影法配准与模板更新策略当产线长时间跑单一品种时差影法比深度学习更稳定因为它不需要标注而且在光照可控环境下误检率很低。做法是采集多张良品图取平均作为模板再把当前图与模板逐像素比较。# 相位相关或仿射变换配准保证模板和当前图位置对齐 from scipy.ndimage import shift def align_image(img, template): diff np.fft.fft2(img) tmp np.fft.fft2(template) cross diff * np.conj(tmp) cc np.fft.ifft2(cross / np.abs(cross 1e-9)) peak np.unravel_index(np.argmax(cc.real), cc.shape) sx peak[1] % img.shape[1] sy peak[0] % img.shape[0] return shift(img, shift(sy, sx), modeconstant)配准完成后才做差分diff cv2.absdiff(roi, template) _, diff_bin cv2.threshold(diff, 25, 255, cv2.THRESH_BINARY) diff_clean cv2.morphologyEx(diff_bin, cv2.MORPH_OPEN, np.ones((3, 3), np.uint8))阈值25是从历史图像上统计出来的正常波动在±10灰度级毛刺和轻微亮度漂移在±20级阈值取25能压住噪声但也会漏掉对比度低的缺陷。所以这个阈值不是固定的要用一段时间的良品图求出灰度差的3σ再乘以1.5作为最终阈值。模板要定期更新通常是每4小时重新采集或者光源照度下降超过5%时重取。更新前必须有质检员确认这4小时内没有批量性缺陷混入。4. 用YOLOv8做端到端缺陷检测的落地配置4.1 标注规范与类别不平衡处理接深度学习的原因通常是品种多、缺陷形态复杂、传统视觉的特征阈值改不动。YOLOv8在工业缺陷检测里火起来是因为它的部署生态完整木材缺陷检测、PCBA缺陷检测都有开源权重可以参考。但电子元器件缺陷有它的特殊性——缺陷占整图比例极小训练容易过拟合。数据集目录用YOLO格式datasets/ electronics/ images/train/ images/val/ labels/train/ labels/val/ data.yaml标注时两个坑很常见。第一个是bbox过大如果框住整个元件模型学到的是元件本身不是缺陷。第二个是漏标微弱缺陷低对比度划伤人眼需要放大才能看到标注员很容易略过后台要抽查标注文件里各类别的target size分布。缺陷框长宽的中位数如果在640×640输入下小于20像素就属于小目标要靠提高输入分辨率或切片推理解决。类别不平衡体现在划伤样本很多、崩角很少。常见做法是少样本类别使用mosaic增强时复制粘贴合成缺陷或者用离线图像增强生成新样本。但不要用简单的加噪、翻转对划伤做小幅旋转变更合适因为划伤角度是特征本身。另一个有效手段是先用YOLOv8在有大量易得样本的通用缺陷数据集上预训练再冻结backbone只训练head这可以显著缓解少样本过拟合。4.2 训练参数与超参数表从n到m模型的取舍训练命令建议如下这一步在具备标注数据后可以直接复现yolo detect train \ datadatasets/electronics/data.yaml \ modelyolov8n.pt \ epochs200 \ imgsz640 \ batch16 \ patience30 \ mosaic0.5 \ close_mosaic10 \ fliplr0.5 \ scale0.1 \ translate0.05参数说明和调优建议imgsz640是平衡速度和精度的起点。若缺陷宽度低于10像素直接改成1280模型mAP可能增加3-5个点但推理时间翻倍显存需求从6GB变到15GB。mosaic默认1.0会把四张图拼一起对细小划伤干扰大设0.5或0。close_mosaic保留最后10轮不使用mosaic让模型在接近真实分布的图像上微调。scale控制随机缩放电子元器件尺寸固定scale0.1足够太大反而让模型适应假的尺寸变化。translate模拟定位偏差但也可能切掉缺陷0.05是比较保守的取值。fliplr左右翻转对大部分缺陷有效但丝印文字左右翻转后会改变字符顺序所以要检查数据集中丝印缺陷是否占主要比例若是fliplr设为0。下表是同一个数据集上我用yolov8n、yolov8s、yolov8m的实验结果。数字来自实际项目但具体数值因数据而异看的是趋势。模型imgsz参数量mAP0.5推理时间(ms) GPU训练显存yolov8n6403.2M0.865.26GByolov8n12803.2M0.9112.412GByolov8s64011.2M0.898.110GByolov8m64025.9M0.9012.716GB如果现场PC用的是CPUn模型加int8量化是唯一现实选择。如果只有一张4GB显存的卡imgsz640 yolov8n batch8比较稳。batch太小会导致BN统计不稳定训练早期loss震荡所以batch不要低于8。使用预训练模型时注意让冻结层保持原分布先跑20轮不冻结再冻结backbone微调20轮比一开始就冻结效果好。4.3 推理结果后处理与级联确认模型输出的框不能直接当缺陷发给PLC要做后处理。电子元器件表面常有反光点、阴影这些区域在低置信度下会被模型当成缺陷。把最小框宽高过滤条件加上再用约束规则去掉元件边缘的伪影from ultralytics import YOLO model YOLO(runs/detect/train/weights/best.pt) results model.predict(sample.bmp, conf0.25, iou0.45, imgsz640, verboseFalse) def is_in_roi(box, roi_mask): x1, y1, x2, y2 map(int, box) return (roi_mask[y1:y2, x1:x2] 0).mean() 0.8 output_boxes [] for r in results: for box in r.boxes: x1, y1, x2, y2 map(int, box.xyxy[0]) w, h x2 - x1, y2 - y1 if w 3 or h 3: continue if not is_in_roi(box, roi_mask): continue output_boxes.append({ label: model.names[int(box.cls[0])], conf: float(box.conf[0]), bbox: [x1, y1, x2, y2] })conf默认0.25是通用经验值。电子元器件漏检成本高如果下游有复检工位conf可以降到0.1让更多候选进入复检如果没有复检过杀率过高会影响产能conf要升到0.4。iou是NMS阈值相邻的小缺陷很多iou设0.45保留更多框如果缺陷都是成片污渍iou设0.7防止同一片污渍被拆成多个框。级联结构是工业现场的常规配置YOLOv8负责找候选区域然后用一个轻量分类器判断每个候选是缺陷还是伪影。这个分类器可以是ResNet18也可以是一组纹理特征灰度方差、对比度、傅里叶高频能量。原因在于YOLOv8的框回归对小目标不够精准而下游判断缺陷的严重等级需要准确的位置和尺寸。用级联后主模型只输出位置第二级只输出置信度两个模型单独调参互不干扰。5. 工程部署时的验证方法与像素精度跳变排查5.1 用混淆矩阵和F1值设定验收线模型训练完不能只看mAP。产线要的是漏检率和过杀率这两个指标对应召回率和精确率。现场验证的做法是收集至少1000张包含缺陷的图像和2000张良品图分别跑一遍推理统计混淆矩阵。比如漏检率目标是0.1%召回率就要达到99.9%这对模型几乎不可能所以实际项目会设一个复检工位把无法同时满足漏检和过杀的矛盾往下游分流。统计每个缺陷类别的尺寸分布找出漏检样本的像素宽度如果漏检的多是小于5像素的划伤要回看第2节的像素精度和imgsz。5.2 机器视觉动了什么会导致像素精度变化像素精度变化是现场最常见的问题。排查时先放一块玻璃棋盘格拍一张图用角点距离和像素数反算当前像素精度。常见原因有四个焦距松动让视野变大像素精度变小镜头与相机接口的固定螺丝松动导致画面中心不变但边缘畸变异常LED光源老化使灰度下降二值化和模板匹配的阈值全部失效温度变化导致支架膨胀工作距离改变。如果中心区域精度不变而边缘变了优先检查镜头接口如果整体都变先查工作距离。每次换料或搬动相机后都要做一次棋盘格复测并把标定结果存档。5.3 从离线测试到产线联调的通信约定视觉程序与PLC通信我习惯用JSON通过TCP返回内容包含缺陷类型、像素坐标和置信度方便MES追溯。坐标必须与电气工程师确认使用相机坐标系还是世界坐标系。传送带运动场景要用编码器触发或硬触发不能用软件软触发否则停位偏差会直接反映为像素精度异常。产线测试不要用训练集的图而是现场拍的真实噪声图像。如果产线停线超过一周重新测一次棋盘格再放行这是最后一道关口。本文还有配套的精品资源点击获取 电子元器件表面缺陷检测：从成像设计到YOLOv8部署
简介这是一份围绕电子元器件表面缺陷检测的机器视觉技术文档面向智能制造、工业质检及深度学习算法应用方向的研发与学习者聚焦如何借助计算机视觉替代人工检测、提升产线品质管控效率。文档从电子元器件组装工艺常见缺陷成因切入系统介绍了Canny边缘检测算法与YOLOv4目标检测算法在表面缺陷识别中的应用原理并给出软钎焊膏温湿度控制等工艺质量改进措施。内容兼具算法拆解与工程落地参考适合作为入门机器视觉缺陷检测的方案笔记。资源为单个docx文档共1个文件压缩包大小约52KB便于直接阅读或打印学习。目前已有89人学习浏览适用于正在研究表面缺陷检测、目标检测算法选型或电子制造质量管理的读者可快速获取Canny与YOLOv4的关键步骤、公式与实施要点辅助项目预研或课程设计参考。1. 电子元器件表面缺陷检测为什么值得用机器视觉来做电子元器件表面缺陷检测的难点在于表面不是一个平面。MLCC电容、电感、连接器、芯片封装体有的反光强有的带弧度有的拉丝纹理缺陷尺寸常小于0.1mm人眼在流水线上盯两小时就会漏检。机器视觉的切入点不是把算法堆上去而是先把成像稳定下来。同一个划伤角度不同在图像里可能完全消失。所以这个题目真正考验的是光学设计、像素精度标定和算法鲁棒性三者配合。做这条产线的人需要的不是一两句原理而是从打光到模型部署的一条可复现路径。下面按这个顺序展开。2. 电子元器件缺陷类型与成像基础先定物理约束再谈算法2.1 常见表面缺陷的形态分类与检测维度电子元器件的表面缺陷按形态可分为局部型和区域型。局部型包括划伤、凹坑、崩角、引脚弯折、焊点锡珠区域型包括污渍、氧化变色、镀层不均、丝印模糊。前者的灰度分布在空间上是高频的后者是低频的。很多刚接触缺陷检测的人把精力花在模型上却忽略了这两类缺陷在图像上的本质差异划伤是几条像素宽的暗线氧化是连片灰度缓慢变化。处理方式完全不同。高频缺陷要用中值滤波保护边缘低频缺陷反而要用高斯模糊或背景拟合来提取异常。另一个维度是对比度方向。划伤在暗场下表现为亮线在明场下可能看不见污渍在漫射光下是暗斑在低角度光下反而不明显。PCB上的PCBA焊点还是三维曲面2D图像只拍到投影锡珠的高度、共面性都要靠3D激光轮廓仪。3D视觉的检测成本高、节拍慢所以多数产线仍以2D为主只有焊后检测才上3D。把缺陷和光的关系列成表能防止一开始就选错光源。下面的表是我做项目时贴在调机现场的参数来源于实际产线但具体数值要根据你的样品微调。缺陷类型典型尺寸表面特征推荐光型检测难点划伤宽10-50μm线状、方向随机低角度光/暗场对比度低易与拉丝纹理混淆崩角/缺角0.1-1mm边缘轮廓缺失背光/同轴光与正常倒角难区分污渍/指纹0.5-5mm区域灰度偏低圆顶光/漫射光与氧化色接近引脚弯曲0.1mm级偏移几何形变同轴光高分辨率需要亚像素级检测丝印缺失1-3mm字符断裂/缺失同轴光字符分割难2.2 打光方案低角度光、同轴光与圆顶光的选型理由打光是机器视觉里的第一个算法。算法里的卷积核再准也弥补不了光源选错带来的缺失信息。常见做法是先用低角度光看划伤再用同轴光看丝印必要时两种光叠加。低角度光暗场的光线几乎平行于被测表面。平整区域把光反射到镜头之外图像是暗背景遇到划伤或凸起时光线发生漫反射部分进入镜头成为暗背景下的亮线。这套方案对金属引脚、封装体侧面的细微划伤非常有效。但低角度光对安装高度极敏感光源与样品表面的夹角一般在5°-15°之间夹角超过20°时背景不再够暗划伤对比度明显下降。同轴光通过半透半反镜把光垂直反射到物体表面反射光沿原路返回进入相机。它的好处是消除曲面弧度带来的阴影适合IC表面的丝印、激光打标检测。缺点是要检测凹陷缺陷时凹坑内的反射光不容易原路返回会形成暗斑这个特性可以用来检测凹坑。圆顶光穹顶光是漫射光光从半圆罩内壁多次反射后均匀照向样品适合圆柱形电感、MLCC端头这类形状复杂的表面。它的均匀性最好但方向性最弱3D形状信息被抹掉微浅划伤几乎看不出。现场项目里我一般先拍一组不同光型的对比图看直方图的双峰距离再定主要光源。光源颜色不是随便选的。比如陶瓷基体是深棕色用红光会让基体灰度升高划伤与基体的灰度差变小换蓝色光能压低背景让高光的金属划伤更突出。具体操作是固定相机参数分别用红、绿、蓝光各拍一张统计缺陷区域与背景区域的灰度差选差值最大的。偏振光是另一个容易被忽略的选项。反光强的金属表面会产生大量眩光在镜头前加偏振片并在光源前加同向偏振膜能滤掉镜面反射只保留漫反射。这个方法能看清金属镀层下的腐蚀点但会损失一部分亮度需要把曝光时间提高1-2档。2.3 像素精度与相机选型计算从视野反推分辨率像素精度是机器视觉面试和实际项目都绕不开的问题。它定义为一个像素能代表的物理尺寸计算公式很简单像素精度 视野尺寸 / 图像分辨率。但真正落地时要倒着推。假设要检测的最小特征尺寸是0.05mm的划伤。要稳定识别划伤宽度至少占3个像素所以像素精度要优于0.05/3 ≈ 16.7μm/pixel。接着根据元件的最大尺寸和运动偏差确定视野。检测一颗12mm长、8mm宽的芯片视野不能刚好是12×8得有50%以上余量取20×15mm。再用视野除以目标像素精度得到分辨率需求def calc_required_resolution(fov_mm, precision_um): 根据视野和目标像素精度计算需要的相机分辨率 返回 (像素精度, 所需横向像素, 所需纵向像素) pixels fov_mm * 1000 / precision_um return pixels fov_w, fov_h 20, 15 # 视野宽20mm高15mm precision_um 16 # 目标像素精度16um req_w int(calc_required_resolution(fov_w, precision_um)) req_h int(calc_required_resolution(fov_h, precision_um)) print(f分辨率需求: {req_w} x {req_h}约{req_w*req_h/1e6:.1f}百万像素) # 输出分辨率需求: 1250 x 937约1.2百万像素这看起来只要130万像素但我会选200万或500万像素相机。原因是镜头畸变、边缘像质下降和光源亮度波动会让实际有效像素精度打折扣。标定时用棋盘格拍十张不同位置的照片计算角点距离与真实距离的比值取最大值作为标称精度。若画面中心精度是12μm/pixel边缘可能漂移到18μm/pixel这时候只能用边缘区域的精度做缺陷尺寸的判定阈值。运动模糊也是像素精度变化的大户。工件在线体上运动速度越快曝光时间必须越短。公式上运动模糊量速度×曝光时间。速度200mm/s曝光2ms模糊0.4mm完全没法看。所以充分曝光时要用频闪光源把曝光时间压到100μs以下。否则第3章要做的差影法会失败因为边缘被模糊拉宽了。3. 用OpenCV做图像预处理与差影法粗定位3.1 ROI设定与直方图参数验证拿到图像的第一个动作是设定ROI把载具、定位孔、夹具反光区排除掉。电子元器件的背景通常很花直接全图处理会造成大量误检。ROI的像素坐标要从模板匹配结果动态计算不能写死因为工件在视野内的位置会有几十微米到几百微米的漂移。import cv2 import numpy as np img cv2.imread(mlcc_01.bmp, cv2.IMREAD_GRAYSCALE) # 用模板匹配定位元件基准角再扩展出检测区域 template cv2.imread(template_corner.bmp, cv2.IMREAD_GRAYSCALE) res cv2.matchTemplate(img, template, cv2.TM_CCOEFF_NORMED) _, max_val, _, max_loc cv2.minMaxLoc(res) # 假设基准角在左上角ROI从基准角向右下延伸排除黑色载具 x, y max_loc w, h 1800, 1200 # 根据检测区域的实际像素尺寸设定 roi img[y:yh, x:xw]匹配结果的最大值max_val可以当作质量信号。如果图像模糊或光源异常max_val会低于0.8这时候直接报警不要让后续算法在低质量图像上运行。ROI高宽参数不要在代码里手写要放到配置文件里现场换料的时候只改配置。接着用直方图判断打光是否仍然正确如果ROI灰度均值低于80或者高于220说明光源衰减或过曝需要停下产线重新调光。这个检查我放在每批产品开始前的首件验证环节。3.2 灰度化、滤波与增强参数必须匹配缺陷尺寸拿到ROI后下一步是滤波。电子元器件表面自带纹理比如陶瓷基体的颗粒感、金属拉丝这些不是缺陷但会在差分时形成噪声。denoised cv2.medianBlur(roi, 3) # 中值滤波去孤立噪点 gauss cv2.GaussianBlur(denoised, (5, 5), 0.8) # 高斯去周期纹理 p_low, p_high np.percentile(gauss, (1, 99)) stretched np.clip((gauss - p_low) * (255.0 / (p_high - p_low 1e-6)), 0, 255).astype(np.uint8)中值滤波的ksize若是7或9会显著压制划伤因为划伤本身宽度可能只有2-3个像素。高斯滤波的sigma若大于1.5会与划伤同为高频分量而被滤掉。所以预处理参数必须和缺陷最小尺寸挂钩不能照抄通用例程。对比度拉伸用分位数而不是min/max是为了防止个别死像素把灰度范围拉得过宽。这里1%和99%的分位数要根据现场灰度直方图微调如果曲线集中在中间窄带可以改成(0.5, 99.5)。增强之后要重新跑一次直方图确认缺陷与背景的灰度差至少20级达不到就回去调光不要硬用增强算法。3.3 形态学运算与连通域分析尺寸阈值换算在打光到位的前提下灰度阈值就能分割大部分区域型缺陷但划伤是线状的阈值分割后会有断裂。所以用闭运算把断线连起来再用开运算清除孤立噪点。_, thresh cv2.threshold(stretched, 0, 255, cv2.THRESH_BINARY_INV cv2.THRESH_OTSU) kernel_close cv2.getStructuringElement(cv2.MORPH_RECT, (5, 1)) closed cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel_close, iterations1) kernel_open cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5)) opened cv2.morphologyEx(closed, cv2.MORPH_OPEN, kernel_open, iterations1) n, labels, stats, centroids cv2.connectedComponentsWithStats(opened) defects [] for i in range(1, n): area stats[i, cv2.CC_STAT_AREA] if 50 area 5000: defects.append(stats[i])闭运算的核设计成(5,1)是为了沿水平方向连接断裂的划伤。如果划伤方向是垂直的核要改成(1,5)。更通用的办法是先对图像做方向梯度分析再自适应生成核但传统产线为了速度一般固定两个方向的闭运算。面积阈值需要按像素精度换算。假设像素精度10μm/pixel0.1mm×0.05mm的污渍对应5000μm²除以100μm²/px²正好50px。所以下限50能滤掉微尘上限5000对应一个10倍于最小缺陷的大面积缺陷。上限不能设太大否则丝印区域的文字会被并成一个大缺陷产生大量误检。更好的做法是先把丝印字符作为ROI mask排除再对剩余区域做面积过滤。3.4 差影法配准与模板更新策略当产线长时间跑单一品种时差影法比深度学习更稳定因为它不需要标注而且在光照可控环境下误检率很低。做法是采集多张良品图取平均作为模板再把当前图与模板逐像素比较。# 相位相关或仿射变换配准保证模板和当前图位置对齐 from scipy.ndimage import shift def align_image(img, template): diff np.fft.fft2(img) tmp np.fft.fft2(template) cross diff * np.conj(tmp) cc np.fft.ifft2(cross / np.abs(cross 1e-9)) peak np.unravel_index(np.argmax(cc.real), cc.shape) sx peak[1] % img.shape[1] sy peak[0] % img.shape[0] return shift(img, shift(sy, sx), modeconstant)配准完成后才做差分diff cv2.absdiff(roi, template) _, diff_bin cv2.threshold(diff, 25, 255, cv2.THRESH_BINARY) diff_clean cv2.morphologyEx(diff_bin, cv2.MORPH_OPEN, np.ones((3, 3), np.uint8))阈值25是从历史图像上统计出来的正常波动在±10灰度级毛刺和轻微亮度漂移在±20级阈值取25能压住噪声但也会漏掉对比度低的缺陷。所以这个阈值不是固定的要用一段时间的良品图求出灰度差的3σ再乘以1.5作为最终阈值。模板要定期更新通常是每4小时重新采集或者光源照度下降超过5%时重取。更新前必须有质检员确认这4小时内没有批量性缺陷混入。4. 用YOLOv8做端到端缺陷检测的落地配置4.1 标注规范与类别不平衡处理接深度学习的原因通常是品种多、缺陷形态复杂、传统视觉的特征阈值改不动。YOLOv8在工业缺陷检测里火起来是因为它的部署生态完整木材缺陷检测、PCBA缺陷检测都有开源权重可以参考。但电子元器件缺陷有它的特殊性——缺陷占整图比例极小训练容易过拟合。数据集目录用YOLO格式datasets/ electronics/ images/train/ images/val/ labels/train/ labels/val/ data.yaml标注时两个坑很常见。第一个是bbox过大如果框住整个元件模型学到的是元件本身不是缺陷。第二个是漏标微弱缺陷低对比度划伤人眼需要放大才能看到标注员很容易略过后台要抽查标注文件里各类别的target size分布。缺陷框长宽的中位数如果在640×640输入下小于20像素就属于小目标要靠提高输入分辨率或切片推理解决。类别不平衡体现在划伤样本很多、崩角很少。常见做法是少样本类别使用mosaic增强时复制粘贴合成缺陷或者用离线图像增强生成新样本。但不要用简单的加噪、翻转对划伤做小幅旋转变更合适因为划伤角度是特征本身。另一个有效手段是先用YOLOv8在有大量易得样本的通用缺陷数据集上预训练再冻结backbone只训练head这可以显著缓解少样本过拟合。4.2 训练参数与超参数表从n到m模型的取舍训练命令建议如下这一步在具备标注数据后可以直接复现yolo detect train \ datadatasets/electronics/data.yaml \ modelyolov8n.pt \ epochs200 \ imgsz640 \ batch16 \ patience30 \ mosaic0.5 \ close_mosaic10 \ fliplr0.5 \ scale0.1 \ translate0.05参数说明和调优建议imgsz640是平衡速度和精度的起点。若缺陷宽度低于10像素直接改成1280模型mAP可能增加3-5个点但推理时间翻倍显存需求从6GB变到15GB。mosaic默认1.0会把四张图拼一起对细小划伤干扰大设0.5或0。close_mosaic保留最后10轮不使用mosaic让模型在接近真实分布的图像上微调。scale控制随机缩放电子元器件尺寸固定scale0.1足够太大反而让模型适应假的尺寸变化。translate模拟定位偏差但也可能切掉缺陷0.05是比较保守的取值。fliplr左右翻转对大部分缺陷有效但丝印文字左右翻转后会改变字符顺序所以要检查数据集中丝印缺陷是否占主要比例若是fliplr设为0。下表是同一个数据集上我用yolov8n、yolov8s、yolov8m的实验结果。数字来自实际项目但具体数值因数据而异看的是趋势。模型imgsz参数量mAP0.5推理时间(ms) GPU训练显存yolov8n6403.2M0.865.26GByolov8n12803.2M0.9112.412GByolov8s64011.2M0.898.110GByolov8m64025.9M0.9012.716GB如果现场PC用的是CPUn模型加int8量化是唯一现实选择。如果只有一张4GB显存的卡imgsz640 yolov8n batch8比较稳。batch太小会导致BN统计不稳定训练早期loss震荡所以batch不要低于8。使用预训练模型时注意让冻结层保持原分布先跑20轮不冻结再冻结backbone微调20轮比一开始就冻结效果好。4.3 推理结果后处理与级联确认模型输出的框不能直接当缺陷发给PLC要做后处理。电子元器件表面常有反光点、阴影这些区域在低置信度下会被模型当成缺陷。把最小框宽高过滤条件加上再用约束规则去掉元件边缘的伪影from ultralytics import YOLO model YOLO(runs/detect/train/weights/best.pt) results model.predict(sample.bmp, conf0.25, iou0.45, imgsz640, verboseFalse) def is_in_roi(box, roi_mask): x1, y1, x2, y2 map(int, box) return (roi_mask[y1:y2, x1:x2] 0).mean() 0.8 output_boxes [] for r in results: for box in r.boxes: x1, y1, x2, y2 map(int, box.xyxy[0]) w, h x2 - x1, y2 - y1 if w 3 or h 3: continue if not is_in_roi(box, roi_mask): continue output_boxes.append({ label: model.names[int(box.cls[0])], conf: float(box.conf[0]), bbox: [x1, y1, x2, y2] })conf默认0.25是通用经验值。电子元器件漏检成本高如果下游有复检工位conf可以降到0.1让更多候选进入复检如果没有复检过杀率过高会影响产能conf要升到0.4。iou是NMS阈值相邻的小缺陷很多iou设0.45保留更多框如果缺陷都是成片污渍iou设0.7防止同一片污渍被拆成多个框。级联结构是工业现场的常规配置YOLOv8负责找候选区域然后用一个轻量分类器判断每个候选是缺陷还是伪影。这个分类器可以是ResNet18也可以是一组纹理特征灰度方差、对比度、傅里叶高频能量。原因在于YOLOv8的框回归对小目标不够精准而下游判断缺陷的严重等级需要准确的位置和尺寸。用级联后主模型只输出位置第二级只输出置信度两个模型单独调参互不干扰。5. 工程部署时的验证方法与像素精度跳变排查5.1 用混淆矩阵和F1值设定验收线模型训练完不能只看mAP。产线要的是漏检率和过杀率这两个指标对应召回率和精确率。现场验证的做法是收集至少1000张包含缺陷的图像和2000张良品图分别跑一遍推理统计混淆矩阵。比如漏检率目标是0.1%召回率就要达到99.9%这对模型几乎不可能所以实际项目会设一个复检工位把无法同时满足漏检和过杀的矛盾往下游分流。统计每个缺陷类别的尺寸分布找出漏检样本的像素宽度如果漏检的多是小于5像素的划伤要回看第2节的像素精度和imgsz。5.2 机器视觉动了什么会导致像素精度变化像素精度变化是现场最常见的问题。排查时先放一块玻璃棋盘格拍一张图用角点距离和像素数反算当前像素精度。常见原因有四个焦距松动让视野变大像素精度变小镜头与相机接口的固定螺丝松动导致画面中心不变但边缘畸变异常LED光源老化使灰度下降二值化和模板匹配的阈值全部失效温度变化导致支架膨胀工作距离改变。如果中心区域精度不变而边缘变了优先检查镜头接口如果整体都变先查工作距离。每次换料或搬动相机后都要做一次棋盘格复测并把标定结果存档。5.3 从离线测试到产线联调的通信约定视觉程序与PLC通信我习惯用JSON通过TCP返回内容包含缺陷类型、像素坐标和置信度方便MES追溯。坐标必须与电气工程师确认使用相机坐标系还是世界坐标系。传送带运动场景要用编码器触发或硬触发不能用软件软触发否则停位偏差会直接反映为像素精度异常。产线测试不要用训练集的图而是现场拍的真实噪声图像。如果产线停线超过一周重新测一次棋盘格再放行这是最后一道关口。本文还有配套的精品资源点击获取