简介资源为一份二十七页的PDF技术文档主题聚焦零售货架智能巡检系统讲解轻量级Transformer在商品陈列合规性检测中的算法设计与移动端部署。内容覆盖传统人工巡检痛点、轻量级Transformer架构改进策略、合规性检测流程、模型压缩与量化、移动端框架选型、性能优化及实验对比分析并展开数据收集、模型训练、规则定义、异常处理等实现细节同时配有清晰目录支持章节跳转和左侧大纲快速定位。文档结构完整文字、图表均显示正常适合计算机视觉工程师、移动端AI开发者和零售智能化研究者参考可用于学习轻量级模型落地边缘设备的完整思路也能为商品违规定义、实时检测与端侧优化提供直接借鉴。文件为单个PDF压缩包大小约2MB目前已有四十六人学习下载可作为商品识别与边缘部署方向的实用学习资料。1. 零售货架智能巡检轻量级Transformer在商品陈列合规性检测的移动端部署门店督导一天要核对几十组货架缺一瓶饮料、标签对不上、排面被顾客拨乱全靠人眼抽查又慢又漏。零售货架智能巡检要做的事就是把这个人工动作变成端侧实时判断手持设备或固定巡检棒对着货架扫一遍轻量级Transformer在移动端把缺货、错放、标签缺失这些商品陈列合规性问题逐项标出来。我这几年的体会是真正让方案翻车的不是模型精度而是货架照片的透视变形、灯管反光和高密度小目标这三件事比调参更值得先想清楚。这套方案适合正在做门店数字化、想用移动视觉替代低效人工巡检的算法工程师和实施团队参考。2. 为什么货架巡检用轻量级TransformerCNN的两个死穴与三个替代结构2.1 货架场景里CNN的两个硬瓶颈小目标密度与结构上下文先看第一个瓶颈商品在画面里实在太小了。一个标准货架大约一米二宽手机站在一米五开外拍整排货架入镜后单个商品往往只有二十几个像素见方一瓶250ml的饮料在640分辨率下也就三十乘六十像素。常规CNN检测框架为了降低计算量连续下采样到原图的1/32这个尺寸下小商品的纹理基本丢光检测头拿到的特征几乎只有颜色和粗轮廓。把特征图打印出来看同排相邻商品的特征向量长得非常接近NMS一压就漏掉一半。第二个瓶颈更隐蔽缺货、错放这类违规本质上是结构上下文问题。人眼判断“这一列空了”靠的是与左右邻位的对比左边有瓶子右边有瓶子中间空着中间就是异常。CNN的卷积核是局部的感受野做到96乘96已经很奢侈想覆盖整个货道宽度只能靠特征金字塔一层层往上套但套出来的语义仍然是“这个区域像什么”不是“这个区域与周边关系是否一致”。这正好是Transformer注意力的优势区注意力可以直接计算任意两个空间位置之间的相关性让模型学会“当前货位与邻位是否协调”。我见过有人用ResNet-50做同样的任务把整体mAP刷到0.88但到了货架上总在“空位”这一类上出问题因为空位本质是靠周围推断出来的局部特征里它只是一块深色背景。换用带注意力的backbone之后空位类的False Positive明显下去。这个对比让我确认结构上下文在这个场景里不是锦上添花而是刚需。2.2 三种主流轻量级Transformer结构怎么选市面能上手机的结构大致分三条技术路线我分别跑过简单对比一下。MobileViT系列是Apple最早提出的方向思路是把特征图切成固定大小的patch在patch内做自注意力再与卷积特征融合。v2把pviT块换成可分离自注意力v3进一步把尾部全连接改成混合卷积参数量和延迟都降了一个量级。这条线在iOS设备上最稳Core ML对它的算子支持完整缺点是patch内注意力只覆盖局部感受野扩展依赖卷积分支在低端Android上连续堆叠后推理延迟偏高。MobileFormer是另一条路线MobileNet和Transformer两条支路并行中间用双向桥接模块互相喂特征。它的优点是参数量很省千元机也能跑到实时但结构复杂导出ONNX时双向桥接的算子容易碎需要手工拼子图。Android NCNN部署时我踩过坑后面避坑章细说。EdgeNeXt是第三条路线把深度卷积与全局注意力分层混搭利用下采样逐步扩大感受野。它结构上更像传统CNN工程化最省心导出、量化都顺利但在小目标密集场景里表现比MobileViT弱一点点因为注意力覆盖范围不够细。选型没有绝对答案我的默认做法是iOS为主选MobileViT v2或v3Android兼容性优先选EdgeNeXt追求极致帧率再试MobileFormer。下表是相同输入分辨率下的参考数据参数只是量级具体值取决于你选的backbone宽度和检测头规模部署前在真机上跑一遍是唯一标准。结构核心算子参数量量级端侧推理印象更适合MobileViT v2Conv加patch内自注意力1.5M-3M中等延迟随patch数线性涨iPhone / Core MLMobileFormerConv与Transformer双支路并行1M-2.5M低需算子融合Android NCNNEdgeNeXt深度卷积加全局注意力混搭1M-3M低导出量化最稳全平台兜底2.3 把注意力控制在“货道”尺度一个常被忽视的改动直接用全局自注意力做货架图很浪费。货架图的特点是强方向性商品沿水平方向排列缺货和错放都发生在水平邻位之间垂直方向只有层板和层间距。全局注意力把每一层的每一列都卷入计算参数翻倍收益很低。我一般会把patch尺寸或窗口注意力方向与货道对齐横向窗口覆盖8到16个货位纵向只覆盖1到2个层高让注意力集中在真正有判别力的水平上下文上计算量能省下两到三成。位置编码同样有讲究。标准ViT的绝对位置编码在轻量级结构里常被当负担砍掉但在货架这种规则排布场景里位置信息本身有判别力同一个SKU在顶层出现和在底层出现光照与遮挡完全不同。用相对位置编码或conditional position encoding让模型自己学“同一排同一列的位置关系”比硬编码绝对位置效果更好。我对比过平均精度能涨1.5个点左右推理耗时不受影响。另一个容易被忽略的点是下采样策略。货架图小目标密度高backbone前两层的stride要谨慎。很多轻量Transformer一上来就stride等于4对普通分类没问题对商品检测直接伤筋动骨。常见做法是把第一阶段stride改成2或者在stem里用两个stride等于2的卷积中间夹注意力既保持感受野又能保留纹理。改动不需要动主体结构只动stem层迁移成本很低。3. 用轻量级Transformer训练商品陈列合规检测检测头、标注与训练参数3.1 检测头选型Anchor-Free加轻量Neck是默认选项轻量Transformer backbone出来的一般是3到4个尺度的特征图接什么检测头直接决定训练难度和端侧帧率。我的建议是放弃DETR式端到端检测头。DETR训练要300轮起步在门店样本上收敛慢端到端query在密集小目标场景里经常出现重复检。商品陈列合规检测本质是密集型目标检测任务Anchor-Free的GFLGeneralized Focal Loss或TOOD头更合适。GFL的优势在于同时输出分类分数和定位置信度两者相乘做NMS排序对低质量预测的抑制很干净。检测头结构一般是一个轻量共享neck加四个卷积层输出头总参数控制在2M以内。neck用BiFPN比FPN好一点但BiFPN带跨尺度加权融合端侧会多几个elementwise算子如果芯片对add操作不友好退回FPN精度损失通常在0.5个点以内。3.2 SKU粒度标注规范四类目标与“货道”组织方式训练数据是这整个项目里最需要投入的地方。标注类别不要只建一个“商品”类否则检出后无法做合规判断。我推荐的类别设计是四类第一类SKU实例按单品标注每个可见且未高度遮挡的商品一个框。第二类空位只标注本该有商品而实际没有的货位框紧贴货道背景。第三类错放商品出现在错误货位或同一货位混入不同SKU时标一个覆盖整个冲突区域的框。第四类标签缺失价签座上没有价签或价签被商品挡住时标一个框。标注时建议把图片按“货道”组织而不是按“货架整图”组织。一个货架图垂直切成6到8个货道区域每个区域单独存一张裁切图模型输入和标注都约束在货道内跨层干扰大幅减少。货道裁切还有一个好处数据增强里做随机翻转和微小旋转时不会把相邻层的内容翻进来产生伪标签。数据集的验证集也要按门店划分而不是按图片随机划分。同一家门店的相邻照片光照、角度接近随机划分会让验证集虚高。按门店划分能真实反映跨店泛化能力。如果SKU类AP只掉零点几个点正常如果空位类AP掉超过5个点说明模型记住了门店背景特征而不是空位本身需要回去检查标注和增强。3.3 训练参数分辨率、EMA、MixUp与loss权重我惯用的一组配置如下输入分辨率640乘640batch size 64多卡同步BN混合精度训练。增强策略上空位和错放类别样本天然偏少不要依赖全局Resample用mosaic加MixUp让空位框与真实商品框混合。model: backbone: mobilevit_v2 width_mult: 1.0 neck: bifpn head: gfl num_classes: [SKU, empty_slot, misplaced, missing_label] train: input_size: [640, 640] batch_size: 64 optimizer: adamw base_lr: 0.001 lr_schedule: cosine warmup_epochs: 3 epochs: 120 ema: true amp: true mosaic: 0.8 mixup: 0.3 loss: cls_weight: 1.0 reg_weight: 0.8 empty_slot_cls_weight: 2.0说明几个要点的设置理由。空位类别权重压到2.0是因为空位框与背景的对比度低很容易被学成“啥也没有”权重太低时训练曲线会一直不收敛。EMA在端侧部署模型里非常重要EMA平滑后的权重对小目标密集场景的稳定性提升明显我见过单测AP涨1个点出头。MixUp比例不要超过0.3货架图里商品边界明显过度混合会让模型对边界清晰的框产生混乱反而把漏检搞严重。训练周期上120轮在门店数据2万到3万张规模下足够收敛如果数据量上到10万可以缩到80轮提前停。核心指标不要单看mAP按类别拆开看SKU类mAP应该到0.9以上空位类能接受0.8错放类最难0.7就算可用。错放类一旦低于0.6建议先回去补负样本而不是继续调训练参数。训练过程要盯两条曲线总mAP和空位类单独AP。如果SKU类AP正常但空位类AP一直低迷检查是不是空位框在增强时被大量裁掉。空位框的标签框面积小mosaic时容易掉出图外可以在增强管线里对空位框做保护性裁切保证每张图至少保留一个空位实例这个小改动常比调loss权重更有效。4. 移动端部署落地ONNX Runtime与INT8量化的最小可行路线4.1 导出固定尺寸的ONNX并检查动态轴训练完的PyTorch模型要部署到手机第一步是导出ONNX。很多人直接torch.onnx.export带动态尺寸导出到端侧一跑某些芯片的算子加载直接崩。零售巡检的输入是固定拍摄距离的图片尺寸完全可以定死。我一般导出固定640乘640输入把dynamic_axes全部关掉后续量化工具链兼容性最好。import torch model.eval() model.cuda() dummy torch.randn(1, 3, 640, 640).cuda() torch.onnx.export( model, dummy, retail_inspect.onnx, input_names[image], output_names[cls_scores, boxes, obj_scores], opset_version12, dynamic_axesNone, # 固定尺寸避免端侧动态shape do_constant_foldingTrue, )导出的三个输出分别对应分类分数、回归框和是否含目标。这里把obj_scores独立拆出来而不是合并进cls_scores是因为量化后分开的scale更准合并输出在8bit下容易损失低分数目标的精度。导出后务必用onnxruntime跑一遍对比PyTorch输出误差防止自定义op在导出时被错误折叠。常见错误是多分支add被折叠成常量端侧跑出的结果和训练时完全不一样而且不容易察觉。建议选3张典型货架图逐层打印输出张量的数值范围核对。4.2 INT8量化校准集选择比算法本身更重要移动端部署的常态是8bit量化。轻量Transformer本身参数不多但注意力里的softmax和矩阵乘在FP32下很占内存量化到INT8之后速度提升明显尤其在带NPU的设备上。量化流程我用ONNX Runtime的静态INT8量化。第一步最重要采集校准集。最容易犯的错是拿训练集做校准每张图光照理想上线后一进真实门店立刻劣化。校准集要覆盖三类变异不同门店背景色、自然光与灯管光、远近距离。数量300到500张即可但分布要均匀。import onnxruntime as ort from onnxruntime.quantization import quantize_static, QuantType, CalibrationMethod # converter 是预先实现的校准数据读取器逐张返回输入图 quantize_static( retail_inspect.onnx, retail_inspect_int8.onnx, calibration_data_readerconverter, quant_formatQuantType.QOperator, per_channelTrue, weight_typeQuantType.QInt8, activation_typeQuantType.QInt8, calibrate_methodCalibrationMethod.MinMax, )参数说明per_channelTrue是卷积权重量化的关键逐通道量化比逐张量量化在通道数大的层上显著减少误差activation_type选QInt8而不是QUInt8因为端侧NPU对带符号对称量化的支持更普遍calibrate_method默认用MinMax简单稳定。如果MinMax导致某些层过拟合校准集极端值再换Percentile取99.99百分位拉一下。量化完成后用同一组测试集分别跑FP32和INT8逐类看AP差。SKU类AP掉1.5个点以内可接受空位类掉2个点内可接受。凡是某个类别掉得特别多一般是某层activation分布有离群点。导出前后逐层对比cosine相似度把相似度最低的那几层找出来优先处理。4.3 端侧推理管线拍照、预处理、推理、回传端侧pipeline在Android走NCNNiOS走Core ML整体结构一致。拍照后先做货道裁切再缩放到640乘640不要整张图直接缩放。整图缩到640会把单个商品压到十几个像素裁切后再缩能让目标保持合理尺寸。推理本身用NCNN的Extractor一次跑完。小技巧是输入图像的mean和std必须与训练一致很多部署项目漏了这一行出来全是偏移的框。检测完成后四个输出按类做NMS再由上层业务逻辑把检测框聚合到货道坐标。// ncnn::Net 加载模型并推理 ncnn::Net net; net.load_param(retail_inspect_int8.param); net.load_model(retail_inspect_int8.bin); ncnn::Extractor ex net.create_extractor(); ex.set_num_threads(2); // 低端机限制线程数避免卡UI ex.input(image, in_blob); ncnn::Mat out_cls, out_box, out_obj; ex.extract(cls_scores, out_cls); ex.extract(boxes, out_box); ex.extract(obj_scores, out_obj);set_num_threads(2)是经验值。四线程在骁龙8系上能跑更快但在千元机和老设备上线程调度会导致帧率忽高忽低体验更差。固定两线程加帧间隔取样延迟稳很多。巡检这类非实时连续检测任务两线程完全够用功耗还更低。5. 避坑货架图在端侧部署常翻车的5个问题这一章写的都是从真实部署里踩出来的问题。它们的共性是都绕开纯模型精度你不会在测试集上看到它们因为它们发生在数据域迁移、量化噪声和硬件调度这三层。测试集mAP再高只要这三层有一个环节没兜住现场就是不能用。下面五条是货架场景里最容易翻车的地方每条按现象、原因、解决来写可以直接对照排查。5.1 现象同一种饮料换了新包装直接漏检同一款饮料换了新包装模型在门店实拍里大面积漏检。训练集里旧包装占绝大多数检测框只出来一半。原因是轻量Transformer学到的是“红罐加金色logo”的组合特征新包装以白色为主特征分布整体漂移置信度跌破阈值。这不是过拟合问题是SKU迭代速度远快于标注速度。解决分两层。数据层把同一商品的多个包装版本做成SKU别名表训练时用copy-paste增强把新包装合成到典型货架背景里。模型层保留一个“未知商品”类别新包装先落到unknown人工复核后再决定是否补充训练。不要指望单靠调低置信度阈值解决那会把空位误报整体抬高。这个流程要固化到持续集成里每进来一个新品包装模型自动跑一遍历史巡检图漏检率超过阈值就告警。5.2 现象INT8量化后小白瓶在远端的检测全丢FP32模型测试集上小目标类AP有0.85INT8量化后直接掉到0.6远景小白瓶几乎全丢。原因是远景小目标只占十几个像素激活值幅值很小MinMax校准法把scale压到噪声级别小目标的弱响应被量化误差截断。解决方向有两个。一是把输入分辨率从640提到768给远景目标多一点像素代价是推理延迟约涨15%。二是混合精度stem和前两层保持FP16只量化主干和检测头这在NCNN里要手写两个算子麻烦一点但收益明显。还有一个技巧量化校准集里多放一些含远景货道的图让校准统计量更贴近真实分布。判断掉点位置的方法也很简单导出前后逐层计算activation的cosine相似度相似度最低的层就是问题层优先针对性处理。5.3 现象货架透视变形严重远端框整体右偏手持设备从货架侧方拍摄时远端货道在图像上是斜的模型输出的框整体右偏错放和空位框对不齐货位。原因是模型训练时学的是正拍分布推理时遇到侧拍视角特征图上的空间位置被透视压缩框跟着偏移。解决要两头压。训练端数据增强里加perspective变换水平偏移控制在0.02到0.05倍太强会把NMS的框聚合结构破坏。推理端如果已知是侧拍可以在预处理阶段做货道拉正校正再进模型只花十几毫秒。这个角度问题在炼化装置智能巡检系统那类固定摄像头场景几乎不存在因为相机位姿固定零售移动巡检是手持自由拍摄必须增强和端上校正两头一起做才能把框漂移压下去。5.4 现象端侧推理延迟在低端机波动大有时直接卡3秒同一模型在骁龙778G上单帧45ms在旧机器上忽快忽慢偶尔卡3秒。原因有两个层面轻量Transformer的推理时间对线程调度非常敏感动态内存分配遇到系统GC或降频就崩部分NPU在算子无法融合时会fallback到CPU延迟直接爆炸。解决的几个具体动作推理线程绑定到性能核设置定时预热每隔5帧在后台跑一次空输入保证NPU不掉线固定输入尺寸加静态内存池避免动态分配上线前在目标最低端机型上连续压力测试20分钟记录P95延迟而不是平均延迟。还有一个常见子症状是首帧特别慢模型参数和内存池需要冷启动解决办法是在app启动时就预热推理引擎不要等用户按快门才加载。5.5 现象白天黑夜同一排货架检出结果完全不一样同一排货架白天检得好好的晚上灯管偏暖黄误报翻倍、漏检也变多。原因是模型把颜色分布当成了强判别特征灯光一变整个特征分布跟着变。解决要分训练和预处理两步。训练阶段做光照扰动对比度系数从0.8到1.2随机颜色增强不要只做饱和度要刻意模拟暖黄灯管。预处理阶段不要用单组mean/std改成按亮度分桶低亮度图像用一组均值方差高亮度用另一组。这个改动在实测里能把夜间漏检降低40%。如果现场灯管有频闪拍照还要选固定曝光时间避开工频条纹否则同一货架每隔几帧亮度跳变模型输出也会跟着抖。6. 从框到评分陈列合规计算的闭环6.1 货道维度的聚合逻辑与合规分数检测框本身不是业务价值门店需要的是可执行的结果“第三货道第二层缺一个SKU-045”。要拿到这个结果需要把四类检测框按货道ID和层高映射到货位网格。def compute_compliance(detections, shelf_map): # shelf_map 把图像坐标映射到货道ID和层号 report [] for det in detections: lane, level shelf_map.project(det.box.center) if det.cls SKU: report.append(f{lane}-{level}: 正常摆放 {det.sku}) elif det.cls empty_slot: report.append(f{lane}-{level}: 缺货) elif det.cls misplaced: report.append(f{lane}-{level}: 错放) elif det.cls missing_label: report.append(f{lane}-{level}: 标签缺失) return report合规分建议按类别加权SKU类命中率乘0.5空位检出率乘0.3错放检出率乘0.2按货道加权平均后输出0到100分。这个分数用于门店周报排名的参考不建议直接作为处罚依据因为手持拍摄的角度和遮挡会带来系统误差分数只能体现趋势不能替代人工复核。6.2 灰度验证500张实拍图先过一遍再放量上线前固定做一次闭环验证准备500张没有进入训练集的实拍图覆盖3家门店的早中晚三个时段标注后跑全流程记录三类数据模型各类别AP、端侧单帧延迟P95、崩溃率。P95延迟超过800ms或崩溃率高于0.5%时绝不灰度。灰度期先放1家门店跑一周把“模型认为缺货但货架实际有货”的误报抽出来补充训练。容易被忽视的是边缘案例的记录机制。每次巡检结果带一张缩略图和坐标信息人工复核时快速标记误报类别周度归一到训练集。没有这个闭环模型会在两周内随货架调整和新品上新慢慢退化再回头找数据就晚了。6.3 我的习惯先量化后微调再上真机黑匣子式的“训练、导出、部署”在我这里行不通。我习惯在量化完成后做一次端到端小步微调让模型适应量化噪声。这个过程不加新数据只用模拟量化算子反向传播修正权重分布。效果不太稳定但经常能把量化掉点追回来一半玄学成分不小值得试。真机验证也不止跑一次就完。每版模型发布前我会在目标低端机上连续跑三小时巡检demo记录电池温度和帧率曲线。温度超过42度开始降频之后帧率能否维持可用这决定了现场复现时靠不靠谱。很多方案在实验室漂亮到了门店手里一热就没法跑这才是移动端部署的真正门槛。做零售货架智能巡检这几年我把这套流水线从CNN迁到轻量级Transformer最大的教训是结构选型只占两成工作量剩下八成都在数据组织、量化适配和端侧稳定性兜底。先把异常类别定义清楚再把视角和光照的边界摸清模型自然好调。希望这篇笔记能帮你少踩一轮我走过的坑。本文还有配套的精品资源点击获取 轻量级Transformer在零售货架智能巡检中的移动端部署实战
简介资源为一份二十七页的PDF技术文档主题聚焦零售货架智能巡检系统讲解轻量级Transformer在商品陈列合规性检测中的算法设计与移动端部署。内容覆盖传统人工巡检痛点、轻量级Transformer架构改进策略、合规性检测流程、模型压缩与量化、移动端框架选型、性能优化及实验对比分析并展开数据收集、模型训练、规则定义、异常处理等实现细节同时配有清晰目录支持章节跳转和左侧大纲快速定位。文档结构完整文字、图表均显示正常适合计算机视觉工程师、移动端AI开发者和零售智能化研究者参考可用于学习轻量级模型落地边缘设备的完整思路也能为商品违规定义、实时检测与端侧优化提供直接借鉴。文件为单个PDF压缩包大小约2MB目前已有四十六人学习下载可作为商品识别与边缘部署方向的实用学习资料。1. 零售货架智能巡检轻量级Transformer在商品陈列合规性检测的移动端部署门店督导一天要核对几十组货架缺一瓶饮料、标签对不上、排面被顾客拨乱全靠人眼抽查又慢又漏。零售货架智能巡检要做的事就是把这个人工动作变成端侧实时判断手持设备或固定巡检棒对着货架扫一遍轻量级Transformer在移动端把缺货、错放、标签缺失这些商品陈列合规性问题逐项标出来。我这几年的体会是真正让方案翻车的不是模型精度而是货架照片的透视变形、灯管反光和高密度小目标这三件事比调参更值得先想清楚。这套方案适合正在做门店数字化、想用移动视觉替代低效人工巡检的算法工程师和实施团队参考。2. 为什么货架巡检用轻量级TransformerCNN的两个死穴与三个替代结构2.1 货架场景里CNN的两个硬瓶颈小目标密度与结构上下文先看第一个瓶颈商品在画面里实在太小了。一个标准货架大约一米二宽手机站在一米五开外拍整排货架入镜后单个商品往往只有二十几个像素见方一瓶250ml的饮料在640分辨率下也就三十乘六十像素。常规CNN检测框架为了降低计算量连续下采样到原图的1/32这个尺寸下小商品的纹理基本丢光检测头拿到的特征几乎只有颜色和粗轮廓。把特征图打印出来看同排相邻商品的特征向量长得非常接近NMS一压就漏掉一半。第二个瓶颈更隐蔽缺货、错放这类违规本质上是结构上下文问题。人眼判断“这一列空了”靠的是与左右邻位的对比左边有瓶子右边有瓶子中间空着中间就是异常。CNN的卷积核是局部的感受野做到96乘96已经很奢侈想覆盖整个货道宽度只能靠特征金字塔一层层往上套但套出来的语义仍然是“这个区域像什么”不是“这个区域与周边关系是否一致”。这正好是Transformer注意力的优势区注意力可以直接计算任意两个空间位置之间的相关性让模型学会“当前货位与邻位是否协调”。我见过有人用ResNet-50做同样的任务把整体mAP刷到0.88但到了货架上总在“空位”这一类上出问题因为空位本质是靠周围推断出来的局部特征里它只是一块深色背景。换用带注意力的backbone之后空位类的False Positive明显下去。这个对比让我确认结构上下文在这个场景里不是锦上添花而是刚需。2.2 三种主流轻量级Transformer结构怎么选市面能上手机的结构大致分三条技术路线我分别跑过简单对比一下。MobileViT系列是Apple最早提出的方向思路是把特征图切成固定大小的patch在patch内做自注意力再与卷积特征融合。v2把pviT块换成可分离自注意力v3进一步把尾部全连接改成混合卷积参数量和延迟都降了一个量级。这条线在iOS设备上最稳Core ML对它的算子支持完整缺点是patch内注意力只覆盖局部感受野扩展依赖卷积分支在低端Android上连续堆叠后推理延迟偏高。MobileFormer是另一条路线MobileNet和Transformer两条支路并行中间用双向桥接模块互相喂特征。它的优点是参数量很省千元机也能跑到实时但结构复杂导出ONNX时双向桥接的算子容易碎需要手工拼子图。Android NCNN部署时我踩过坑后面避坑章细说。EdgeNeXt是第三条路线把深度卷积与全局注意力分层混搭利用下采样逐步扩大感受野。它结构上更像传统CNN工程化最省心导出、量化都顺利但在小目标密集场景里表现比MobileViT弱一点点因为注意力覆盖范围不够细。选型没有绝对答案我的默认做法是iOS为主选MobileViT v2或v3Android兼容性优先选EdgeNeXt追求极致帧率再试MobileFormer。下表是相同输入分辨率下的参考数据参数只是量级具体值取决于你选的backbone宽度和检测头规模部署前在真机上跑一遍是唯一标准。结构核心算子参数量量级端侧推理印象更适合MobileViT v2Conv加patch内自注意力1.5M-3M中等延迟随patch数线性涨iPhone / Core MLMobileFormerConv与Transformer双支路并行1M-2.5M低需算子融合Android NCNNEdgeNeXt深度卷积加全局注意力混搭1M-3M低导出量化最稳全平台兜底2.3 把注意力控制在“货道”尺度一个常被忽视的改动直接用全局自注意力做货架图很浪费。货架图的特点是强方向性商品沿水平方向排列缺货和错放都发生在水平邻位之间垂直方向只有层板和层间距。全局注意力把每一层的每一列都卷入计算参数翻倍收益很低。我一般会把patch尺寸或窗口注意力方向与货道对齐横向窗口覆盖8到16个货位纵向只覆盖1到2个层高让注意力集中在真正有判别力的水平上下文上计算量能省下两到三成。位置编码同样有讲究。标准ViT的绝对位置编码在轻量级结构里常被当负担砍掉但在货架这种规则排布场景里位置信息本身有判别力同一个SKU在顶层出现和在底层出现光照与遮挡完全不同。用相对位置编码或conditional position encoding让模型自己学“同一排同一列的位置关系”比硬编码绝对位置效果更好。我对比过平均精度能涨1.5个点左右推理耗时不受影响。另一个容易被忽略的点是下采样策略。货架图小目标密度高backbone前两层的stride要谨慎。很多轻量Transformer一上来就stride等于4对普通分类没问题对商品检测直接伤筋动骨。常见做法是把第一阶段stride改成2或者在stem里用两个stride等于2的卷积中间夹注意力既保持感受野又能保留纹理。改动不需要动主体结构只动stem层迁移成本很低。3. 用轻量级Transformer训练商品陈列合规检测检测头、标注与训练参数3.1 检测头选型Anchor-Free加轻量Neck是默认选项轻量Transformer backbone出来的一般是3到4个尺度的特征图接什么检测头直接决定训练难度和端侧帧率。我的建议是放弃DETR式端到端检测头。DETR训练要300轮起步在门店样本上收敛慢端到端query在密集小目标场景里经常出现重复检。商品陈列合规检测本质是密集型目标检测任务Anchor-Free的GFLGeneralized Focal Loss或TOOD头更合适。GFL的优势在于同时输出分类分数和定位置信度两者相乘做NMS排序对低质量预测的抑制很干净。检测头结构一般是一个轻量共享neck加四个卷积层输出头总参数控制在2M以内。neck用BiFPN比FPN好一点但BiFPN带跨尺度加权融合端侧会多几个elementwise算子如果芯片对add操作不友好退回FPN精度损失通常在0.5个点以内。3.2 SKU粒度标注规范四类目标与“货道”组织方式训练数据是这整个项目里最需要投入的地方。标注类别不要只建一个“商品”类否则检出后无法做合规判断。我推荐的类别设计是四类第一类SKU实例按单品标注每个可见且未高度遮挡的商品一个框。第二类空位只标注本该有商品而实际没有的货位框紧贴货道背景。第三类错放商品出现在错误货位或同一货位混入不同SKU时标一个覆盖整个冲突区域的框。第四类标签缺失价签座上没有价签或价签被商品挡住时标一个框。标注时建议把图片按“货道”组织而不是按“货架整图”组织。一个货架图垂直切成6到8个货道区域每个区域单独存一张裁切图模型输入和标注都约束在货道内跨层干扰大幅减少。货道裁切还有一个好处数据增强里做随机翻转和微小旋转时不会把相邻层的内容翻进来产生伪标签。数据集的验证集也要按门店划分而不是按图片随机划分。同一家门店的相邻照片光照、角度接近随机划分会让验证集虚高。按门店划分能真实反映跨店泛化能力。如果SKU类AP只掉零点几个点正常如果空位类AP掉超过5个点说明模型记住了门店背景特征而不是空位本身需要回去检查标注和增强。3.3 训练参数分辨率、EMA、MixUp与loss权重我惯用的一组配置如下输入分辨率640乘640batch size 64多卡同步BN混合精度训练。增强策略上空位和错放类别样本天然偏少不要依赖全局Resample用mosaic加MixUp让空位框与真实商品框混合。model: backbone: mobilevit_v2 width_mult: 1.0 neck: bifpn head: gfl num_classes: [SKU, empty_slot, misplaced, missing_label] train: input_size: [640, 640] batch_size: 64 optimizer: adamw base_lr: 0.001 lr_schedule: cosine warmup_epochs: 3 epochs: 120 ema: true amp: true mosaic: 0.8 mixup: 0.3 loss: cls_weight: 1.0 reg_weight: 0.8 empty_slot_cls_weight: 2.0说明几个要点的设置理由。空位类别权重压到2.0是因为空位框与背景的对比度低很容易被学成“啥也没有”权重太低时训练曲线会一直不收敛。EMA在端侧部署模型里非常重要EMA平滑后的权重对小目标密集场景的稳定性提升明显我见过单测AP涨1个点出头。MixUp比例不要超过0.3货架图里商品边界明显过度混合会让模型对边界清晰的框产生混乱反而把漏检搞严重。训练周期上120轮在门店数据2万到3万张规模下足够收敛如果数据量上到10万可以缩到80轮提前停。核心指标不要单看mAP按类别拆开看SKU类mAP应该到0.9以上空位类能接受0.8错放类最难0.7就算可用。错放类一旦低于0.6建议先回去补负样本而不是继续调训练参数。训练过程要盯两条曲线总mAP和空位类单独AP。如果SKU类AP正常但空位类AP一直低迷检查是不是空位框在增强时被大量裁掉。空位框的标签框面积小mosaic时容易掉出图外可以在增强管线里对空位框做保护性裁切保证每张图至少保留一个空位实例这个小改动常比调loss权重更有效。4. 移动端部署落地ONNX Runtime与INT8量化的最小可行路线4.1 导出固定尺寸的ONNX并检查动态轴训练完的PyTorch模型要部署到手机第一步是导出ONNX。很多人直接torch.onnx.export带动态尺寸导出到端侧一跑某些芯片的算子加载直接崩。零售巡检的输入是固定拍摄距离的图片尺寸完全可以定死。我一般导出固定640乘640输入把dynamic_axes全部关掉后续量化工具链兼容性最好。import torch model.eval() model.cuda() dummy torch.randn(1, 3, 640, 640).cuda() torch.onnx.export( model, dummy, retail_inspect.onnx, input_names[image], output_names[cls_scores, boxes, obj_scores], opset_version12, dynamic_axesNone, # 固定尺寸避免端侧动态shape do_constant_foldingTrue, )导出的三个输出分别对应分类分数、回归框和是否含目标。这里把obj_scores独立拆出来而不是合并进cls_scores是因为量化后分开的scale更准合并输出在8bit下容易损失低分数目标的精度。导出后务必用onnxruntime跑一遍对比PyTorch输出误差防止自定义op在导出时被错误折叠。常见错误是多分支add被折叠成常量端侧跑出的结果和训练时完全不一样而且不容易察觉。建议选3张典型货架图逐层打印输出张量的数值范围核对。4.2 INT8量化校准集选择比算法本身更重要移动端部署的常态是8bit量化。轻量Transformer本身参数不多但注意力里的softmax和矩阵乘在FP32下很占内存量化到INT8之后速度提升明显尤其在带NPU的设备上。量化流程我用ONNX Runtime的静态INT8量化。第一步最重要采集校准集。最容易犯的错是拿训练集做校准每张图光照理想上线后一进真实门店立刻劣化。校准集要覆盖三类变异不同门店背景色、自然光与灯管光、远近距离。数量300到500张即可但分布要均匀。import onnxruntime as ort from onnxruntime.quantization import quantize_static, QuantType, CalibrationMethod # converter 是预先实现的校准数据读取器逐张返回输入图 quantize_static( retail_inspect.onnx, retail_inspect_int8.onnx, calibration_data_readerconverter, quant_formatQuantType.QOperator, per_channelTrue, weight_typeQuantType.QInt8, activation_typeQuantType.QInt8, calibrate_methodCalibrationMethod.MinMax, )参数说明per_channelTrue是卷积权重量化的关键逐通道量化比逐张量量化在通道数大的层上显著减少误差activation_type选QInt8而不是QUInt8因为端侧NPU对带符号对称量化的支持更普遍calibrate_method默认用MinMax简单稳定。如果MinMax导致某些层过拟合校准集极端值再换Percentile取99.99百分位拉一下。量化完成后用同一组测试集分别跑FP32和INT8逐类看AP差。SKU类AP掉1.5个点以内可接受空位类掉2个点内可接受。凡是某个类别掉得特别多一般是某层activation分布有离群点。导出前后逐层对比cosine相似度把相似度最低的那几层找出来优先处理。4.3 端侧推理管线拍照、预处理、推理、回传端侧pipeline在Android走NCNNiOS走Core ML整体结构一致。拍照后先做货道裁切再缩放到640乘640不要整张图直接缩放。整图缩到640会把单个商品压到十几个像素裁切后再缩能让目标保持合理尺寸。推理本身用NCNN的Extractor一次跑完。小技巧是输入图像的mean和std必须与训练一致很多部署项目漏了这一行出来全是偏移的框。检测完成后四个输出按类做NMS再由上层业务逻辑把检测框聚合到货道坐标。// ncnn::Net 加载模型并推理 ncnn::Net net; net.load_param(retail_inspect_int8.param); net.load_model(retail_inspect_int8.bin); ncnn::Extractor ex net.create_extractor(); ex.set_num_threads(2); // 低端机限制线程数避免卡UI ex.input(image, in_blob); ncnn::Mat out_cls, out_box, out_obj; ex.extract(cls_scores, out_cls); ex.extract(boxes, out_box); ex.extract(obj_scores, out_obj);set_num_threads(2)是经验值。四线程在骁龙8系上能跑更快但在千元机和老设备上线程调度会导致帧率忽高忽低体验更差。固定两线程加帧间隔取样延迟稳很多。巡检这类非实时连续检测任务两线程完全够用功耗还更低。5. 避坑货架图在端侧部署常翻车的5个问题这一章写的都是从真实部署里踩出来的问题。它们的共性是都绕开纯模型精度你不会在测试集上看到它们因为它们发生在数据域迁移、量化噪声和硬件调度这三层。测试集mAP再高只要这三层有一个环节没兜住现场就是不能用。下面五条是货架场景里最容易翻车的地方每条按现象、原因、解决来写可以直接对照排查。5.1 现象同一种饮料换了新包装直接漏检同一款饮料换了新包装模型在门店实拍里大面积漏检。训练集里旧包装占绝大多数检测框只出来一半。原因是轻量Transformer学到的是“红罐加金色logo”的组合特征新包装以白色为主特征分布整体漂移置信度跌破阈值。这不是过拟合问题是SKU迭代速度远快于标注速度。解决分两层。数据层把同一商品的多个包装版本做成SKU别名表训练时用copy-paste增强把新包装合成到典型货架背景里。模型层保留一个“未知商品”类别新包装先落到unknown人工复核后再决定是否补充训练。不要指望单靠调低置信度阈值解决那会把空位误报整体抬高。这个流程要固化到持续集成里每进来一个新品包装模型自动跑一遍历史巡检图漏检率超过阈值就告警。5.2 现象INT8量化后小白瓶在远端的检测全丢FP32模型测试集上小目标类AP有0.85INT8量化后直接掉到0.6远景小白瓶几乎全丢。原因是远景小目标只占十几个像素激活值幅值很小MinMax校准法把scale压到噪声级别小目标的弱响应被量化误差截断。解决方向有两个。一是把输入分辨率从640提到768给远景目标多一点像素代价是推理延迟约涨15%。二是混合精度stem和前两层保持FP16只量化主干和检测头这在NCNN里要手写两个算子麻烦一点但收益明显。还有一个技巧量化校准集里多放一些含远景货道的图让校准统计量更贴近真实分布。判断掉点位置的方法也很简单导出前后逐层计算activation的cosine相似度相似度最低的层就是问题层优先针对性处理。5.3 现象货架透视变形严重远端框整体右偏手持设备从货架侧方拍摄时远端货道在图像上是斜的模型输出的框整体右偏错放和空位框对不齐货位。原因是模型训练时学的是正拍分布推理时遇到侧拍视角特征图上的空间位置被透视压缩框跟着偏移。解决要两头压。训练端数据增强里加perspective变换水平偏移控制在0.02到0.05倍太强会把NMS的框聚合结构破坏。推理端如果已知是侧拍可以在预处理阶段做货道拉正校正再进模型只花十几毫秒。这个角度问题在炼化装置智能巡检系统那类固定摄像头场景几乎不存在因为相机位姿固定零售移动巡检是手持自由拍摄必须增强和端上校正两头一起做才能把框漂移压下去。5.4 现象端侧推理延迟在低端机波动大有时直接卡3秒同一模型在骁龙778G上单帧45ms在旧机器上忽快忽慢偶尔卡3秒。原因有两个层面轻量Transformer的推理时间对线程调度非常敏感动态内存分配遇到系统GC或降频就崩部分NPU在算子无法融合时会fallback到CPU延迟直接爆炸。解决的几个具体动作推理线程绑定到性能核设置定时预热每隔5帧在后台跑一次空输入保证NPU不掉线固定输入尺寸加静态内存池避免动态分配上线前在目标最低端机型上连续压力测试20分钟记录P95延迟而不是平均延迟。还有一个常见子症状是首帧特别慢模型参数和内存池需要冷启动解决办法是在app启动时就预热推理引擎不要等用户按快门才加载。5.5 现象白天黑夜同一排货架检出结果完全不一样同一排货架白天检得好好的晚上灯管偏暖黄误报翻倍、漏检也变多。原因是模型把颜色分布当成了强判别特征灯光一变整个特征分布跟着变。解决要分训练和预处理两步。训练阶段做光照扰动对比度系数从0.8到1.2随机颜色增强不要只做饱和度要刻意模拟暖黄灯管。预处理阶段不要用单组mean/std改成按亮度分桶低亮度图像用一组均值方差高亮度用另一组。这个改动在实测里能把夜间漏检降低40%。如果现场灯管有频闪拍照还要选固定曝光时间避开工频条纹否则同一货架每隔几帧亮度跳变模型输出也会跟着抖。6. 从框到评分陈列合规计算的闭环6.1 货道维度的聚合逻辑与合规分数检测框本身不是业务价值门店需要的是可执行的结果“第三货道第二层缺一个SKU-045”。要拿到这个结果需要把四类检测框按货道ID和层高映射到货位网格。def compute_compliance(detections, shelf_map): # shelf_map 把图像坐标映射到货道ID和层号 report [] for det in detections: lane, level shelf_map.project(det.box.center) if det.cls SKU: report.append(f{lane}-{level}: 正常摆放 {det.sku}) elif det.cls empty_slot: report.append(f{lane}-{level}: 缺货) elif det.cls misplaced: report.append(f{lane}-{level}: 错放) elif det.cls missing_label: report.append(f{lane}-{level}: 标签缺失) return report合规分建议按类别加权SKU类命中率乘0.5空位检出率乘0.3错放检出率乘0.2按货道加权平均后输出0到100分。这个分数用于门店周报排名的参考不建议直接作为处罚依据因为手持拍摄的角度和遮挡会带来系统误差分数只能体现趋势不能替代人工复核。6.2 灰度验证500张实拍图先过一遍再放量上线前固定做一次闭环验证准备500张没有进入训练集的实拍图覆盖3家门店的早中晚三个时段标注后跑全流程记录三类数据模型各类别AP、端侧单帧延迟P95、崩溃率。P95延迟超过800ms或崩溃率高于0.5%时绝不灰度。灰度期先放1家门店跑一周把“模型认为缺货但货架实际有货”的误报抽出来补充训练。容易被忽视的是边缘案例的记录机制。每次巡检结果带一张缩略图和坐标信息人工复核时快速标记误报类别周度归一到训练集。没有这个闭环模型会在两周内随货架调整和新品上新慢慢退化再回头找数据就晚了。6.3 我的习惯先量化后微调再上真机黑匣子式的“训练、导出、部署”在我这里行不通。我习惯在量化完成后做一次端到端小步微调让模型适应量化噪声。这个过程不加新数据只用模拟量化算子反向传播修正权重分布。效果不太稳定但经常能把量化掉点追回来一半玄学成分不小值得试。真机验证也不止跑一次就完。每版模型发布前我会在目标低端机上连续跑三小时巡检demo记录电池温度和帧率曲线。温度超过42度开始降频之后帧率能否维持可用这决定了现场复现时靠不靠谱。很多方案在实验室漂亮到了门店手里一热就没法跑这才是移动端部署的真正门槛。做零售货架智能巡检这几年我把这套流水线从CNN迁到轻量级Transformer最大的教训是结构选型只占两成工作量剩下八成都在数据组织、量化适配和端侧稳定性兜底。先把异常类别定义清楚再把视角和光照的边界摸清模型自然好调。希望这篇笔记能帮你少踩一轮我走过的坑。本文还有配套的精品资源点击获取