YOLOv8-QSD: 革新自动驾驶视觉感知的小目标检测算法

YOLOv8-QSD是一种为了提高自动驾驶车辆在复杂交通环境中检测小物体的准确性和速度而设计的改进型算法。它基于YOLOv8并采用结构重参数化技术优化了多样化分支块DBB模型。YOLOv8-QSD通过双向特征金字塔网络BiFPN集成了多尺度特征并引入了基于查询的模型和新的管道结构来解决长距离检测的挑战。在SODA-A数据集上的测试结果显示YOLOv8-QSD在速度和准确性方面均优于YOLOv8准确率达到64.5%计算需求降低了7.1 GFLOPs。一、引言自动驾驶技术的发展对车辆感知系统提出了更高的要求尤其是在准确识别和及时响应周围环境方面。随着自动驾驶车辆在各种交通场景中的普及对车载传感技术的检测速度和准确性的要求也越来越高。为了确保自动驾驶车辆在复杂交通环境中的无缝运行开发具有以下特征的鲁棒感知系统变得至关重要准确性感知系统必须能够准确地识别附近物体的类别和大小并预测它们在复杂交通场景中的行为。对于高速公路上的高速商用车辆来说提高对远距离小物体的感知能力至关重要。小物体的检测能力在这种情况下受到严重考验。实时性能感知任务应在保持高精度的同时尽可能快速地完成。实时性能至关重要因为高延迟的感知系统可能会导致车辆决策和控制的延迟从而可能引发致命事故。适合车载感知模块的轻量级模型至关重要这要求计算能力低、成本低并且对小物体具有较强的处理能力。鲁棒性感知系统必须在不利的环境条件下如遮挡和低光照情况保持正常运行性能确保自动驾驶的安全性和稳定性。目前流行的目标检测算法主要分为两类两阶段和单阶段检测方法。两阶段方法包括基于区域的卷积神经网络Fast R-CNN、Faster R-CNN和Mask R-CNN。单阶段类别包括YOLO系列和单次多框检测器SSD。特别是YOLO系列随着2023年YOLOv8的推出其在准确性方面取得了快速和显著的进步。然而YOLOv8针对的是完整尺寸物体的检测在特定尺寸物体的场景中一些专门针对小物体检测SOD的算法表现更佳。为了解决这一局限性本文提出了一种改进的YOLOv8算法该算法在常规尺寸物体的准确性上略有提高在复杂场景中小物体的检测准确性上取得了显著提高。该算法能够有效地从小物体提取特征这对于准确和全面的特征提取至关重要。这种重要性在复杂环境中尤为明显其中对重叠物体的特征提取更具挑战性通常会导致算法在小物体检测准确性上的降低。该算法的主要贡献包括引入了Q块模块执行一种新的流水线操作将定位不精确的层重新输入网络以提高小物体的定位精度。它补充了在各个模块中下采样过程中丢失的信息确保在特征提取过程中更全面地保留上下文信息。用提出的C2f-DBB模块替换了YOLOv8探测器前的C2f模块。通过堆叠模块并不断融合每个小模块产生了新的网络结构。这增加了结构的整体深度实现了更高的分辨率和更低的计算成本并捕获了更多的上下文信息。强调大规模特征图引入了Bi-PAN-FPN的概念以改进YOLOv8的特征融合方法。这种改进增强了模型检测小物体的能力增加了多尺度特征融合的可能性和效率并实现了增强的特征工程。YOLOv8特征融合方法的增强无缝集成了浅层和深层信息从而在网络特征提取过程中更全面地保留了信息解决了由于定位不准确和随后的漏检问题。二、相关工作在自动驾驶和目标检测领域YOLOv8-QSD算法的提出是基于对现有技术的深入分析和对挑战的明确认识。YOLO系列YOLOYou Only Look Once系列算法是目标检测领域的重要里程碑以其速度快和精度高而著称。YOLOv8是该系列的最新版本它在保持实时性能的同时进一步提高了检测的准确性。YOLOv8引入了多项技术改进如从锚点基础转向锚点自由实施了TaskAlignedAssigner正样本分配策略以及引入了分布式焦点损失来优化损失计算。尽管YOLOv8在目标检测方面取得了显著进展但在处理小目标检测时仍存在局限性尤其是在远距离和低分辨率的情况下。小目标检测SOD在自动驾驶领域小目标检测是一个具有挑战性的问题因为这些目标可能因为尺寸小、对比度低或被部分遮挡而难以检测。SOD算法需要能够准确地识别和定位这些小目标。现有的SOD算法在处理小目标时面临多种挑战包括有限的特征利用、对误差的敏感性、高精度定位需求、样本不平衡和网络架构限制。为了克服这些挑战研究人员提出了多种方法包括改进网络架构、调整标签分配策略和采用特定的数据增强技术。特征金字塔网络FPN特征金字塔网络是解决多尺度目标检测问题的关键技术之一。它通过构建一个特征金字塔将不同尺度的特征进行有效融合以提高模型对小目标的检测能力。YOLOv8-QSD算法中作者提出了一种改进的BiFPN结构通过双向特征融合来增强模型对小目标的检测性能。注意力机制注意力机制在目标检测中起到了至关重要的作用它可以帮助模型集中注意力于图像中的关键区域。YOLOv8-QSD算法引入了基于注意力的机制如Q块和Dy-head模块这些模块通过动态调整特征融合和目标定位来提高小目标的检测精度。数据增强和损失函数为了提高模型对小目标的检测能力研究人员采用了特定的数据增强技术和损失函数。例如Mosaic数据增强操作可以增加模型在训练过程中对小目标的敏感性。此外YOLOv8-QSD算法采用了修改后的损失函数如归一化Wasserstein距离NWD以提高对小目标的检测精度。实验和比较在自动驾驶领域研究人员通常会在标准数据集上进行实验以评估和比较不同算法的性能。YOLOv8-QSD算法在多个数据集上进行了广泛的测试包括SODA-A、VisDrone和BDD100K数据集。这些数据集包含了各种交通场景和小目标实例为评估算法提供了丰富的测试案例。通过这些相关工作YOLOv8-QSD算法的开发旨在结合现有技术的优势同时解决小目标检测中的关键挑战以提高自动驾驶车辆的感知能力。三、方法YOLOv8-QSD算法的设计和实现涉及多个关键组件的创新和优化以提高对小目标的检测性能。以下是对这些方法的详细介绍1.骨干网络骨干网络是特征提取的基础YOLOv8-QSD采用的结构重参数化技术对骨干网络进行了增强。通过引入多样化分支块DBB网络能够捕捉到更丰富的特征表示。DBB利用了多种卷积核尺寸和池化操作以实现多尺度的特征提取。这种多分支结构在训练时提供了模型的复杂性而在推理时则通过参数化技术简化为单分支结构从而在保持轻量级的同时提高了模型的性能。2.特征金字塔网络特征金字塔网络FPN是目标检测中用于多尺度特征融合的关键组件。YOLOv8-QSD提出了一种改进的BiFPN结构通过双向特征融合来增强对小目标的检测能力。这种结构不仅包含了自底向上的特征传递还加入了自顶向下的路径以实现更有效的特征融合。此外YOLOv8-QSD还引入了Q块模块该模块通过查询机制来增强对小目标的定位精度。3.检测头检测头是负责最终目标定位和分类的关键部分。YOLOv8-QSD对检测头进行了重新设计引入了动态头Dy-head模块该模块包含注意力机制和动态卷积操作以增强对小目标的检测。这些注意力机制能够使模型动态地关注图像中的显著区域并适应不同尺度的物体从而有效地捕捉空间上下文信息。4.级联查询机制 为了进一步提升对小目标的检测精度YOLOv8-QSD引入了基于查询的机制。这种机制通过在特征金字塔的不同层级上应用查询操作生成与小目标相关的粗略特征图。然后这些特征图被用于预测检测框的位置和尺寸。通过这种方式YOLOv8-QSD能够在保持实时性能的同时提高对小目标的检测精度。为了解决小目标检测中的挑战YOLOv8-QSD对损失函数进行了优化。传统的IoU交并比损失函数对小目标的定位精度不够敏感因此YOLOv8-QSD采用了归一化的Wasserstein距离NWD作为损失函数的一部分。NWD对小目标的定位更为鲁棒能够更好地处理小目标的检测问题。四、实验和结果为了验证YOLOv8-QSD算法的性能进行了一系列的实验并与现有的目标检测算法进行了比较。以下是对实验设置、数据集、评估指标和结果的详细介绍1. 实验细节实验在配备NVIDIA GTX 3090 GPU和Intel i5-12400F CPU的硬件平台上进行确保了实验的计算强度需求。操作系统为Ubuntu 20.04开发环境包括Python、PyTorch 1.12.1和CUDA 11.3。实验中我们对YOLOv8-QSD进行了100轮训练每轮使用16张图片的批量大小最终在SODA-A、VisDrone和BDD100K数据集上进行测试。2.数据集SODA-A数据集专门针对自动驾驶场景中的小目标检测而设计包含24,828张高质量交通图像覆盖了多种交通场景和小目标类别。VisDrone数据集由无人机拍摄包含10,209张静态图像图像中的目标尺寸普遍较小适合评估小目标检测算法。BDD100K数据集一个大规模的自动驾驶数据集包含100,000张高清图像提供了多样化的交通场景。3.评估指标我们使用了以下评估指标来衡量模型性能平均精度均值mAP在不同IoU阈值下模型性能的平均值。精确度Precision正确预测的正样本占所有预测为正样本的比例。召回率Recall正确预测的正样本占所有实际正样本的比例。4.消融实验通过消融实验我们评估了YOLOv8-QSD中各个组件的贡献。实验结果显示引入的DBB、BiFPN和Q块模块显著提高了小目标的检测精度。5.可视化结果我们对YOLOv8-QSD在不同场景下的检测结果进行了可视化如图9-11所示。这些图像展示了模型在白天、夜晚以及不同天气条件下的检测性能。YOLOv8-QSD在白天环境下的检测结果可以看到YOLOv8-QSD能够准确地检测到远距离的小目标即使是在部分遮挡的情况下YOLOv8-QSD在夜晚环境下的检测性能结果表明即使在光照条件不理想的情况下YOLOv8-QSD仍然能够保持较高的检测精度YOLOv8-QSD在不同天气条件下的检测结果虽然在雨雾天气下检测性能略有下降但总体上模型表现出了良好的鲁棒性6.实车实验我们将YOLOv8-QSD部署在实车上并在真实交通环境中进行了测试。实验车辆配备了工业级计算机和高分辨率摄像头捕获的图像被用于评估模型的实际检测性能。7.结果分析实验结果表明YOLOv8-QSD在SODA-A数据集上达到了64.5%的准确率同时将计算需求降低了7.1 GFLOPs。与YOLOv8相比YOLOv8-QSD在检测小目标方面显示出显著的性能提升同时保持了实时性能和轻量化设计。在极端天气条件下对YOLOv8-QSD进行了额外的测试结果表明模型在大多数条件下都能保持较高的检测精度。然而在大雾天气下由于视线受阻检测性能有所下降这提示了未来工作中需要进一步优化的方向。通过这些详细的实验和结果分析YOLOv8-QSD证明了其在自动驾驶车辆小目标检测任务中的有效性和潜力。实验结果不仅展示了模型的高精度和实时性能还揭示了其在实际应用中的鲁棒性和可靠性。五、结论YOLOv8-QSD算法在检测远距离小目标方面取得了显著的性能提升。尽管在高清晰度图像需求和抗抖动能力方面存在局限性但该算法在自动驾驶车辆的感知系统中具有重要的应用潜力。未来的研究将集中在进一步优化Q块结构提高模型在极端天气条件下的性能和鲁棒性。