【RT-DETR实战】126、RT-DETR对抗样本生成与防御实战手记

一、从产线误检说起上周产线反馈了个诡异问题：夜间监控场景下，同一个工位上的工具箱，白天检测正常，晚上偶尔会被识别成“危险区域”。现场工程师查了半天没找到原因，最后把夜间视频片段发过来，我盯着看了半小时才发现端倪——监控补光灯在工具箱金属锁扣上形成的反光斑点，形状恰好有点像危险标志的局部特征。这让我背后一凉：这算不算自然场景下的“对抗样本”？虽然RT-DETR在COCO数据集上mAP刷得很漂亮，但面对这种精心设计（哪怕是无意形成）的干扰模式，模型表现得像个固执的孩子。今天我们就来聊聊怎么让RT-DETR既保持高精度，又能对抗这种“视觉欺骗”。二、对抗样本在目标检测中的特殊性很多人以为对抗攻击就是加个噪声，但在目标检测任务里，事情复杂得多。RT-DETR这类端到端检测器，对抗样本可能同时影响三个层面：分类分支：让人被认成椅子（这个太经典了）定位分支：框的位置偏移几个像素（工业场景里很致命）存在性攻击：直接让目标“消失”在特征图里最近测试时发现个有趣现象：RT-DETR的Transformer解码器对低频扰动特别敏感。试过在图片右下角加个不起眼的灰色色块，结果左上方的小目标召回率直接掉了8%。这说明全局注意力机制在带来性能提升的同时，也成了攻击的突破口。三、快速生成对抗样本的实战代码下面