简介在计算机视觉与深度学习快速发展的背景下目标检测技术已成为智能交通系统的核心支撑。YOLOv8作为新一代检测算法在实时性与精度之间取得平衡广泛应用于车辆识别等场景。本文围绕ETC收费站跟车逃费识别难题探讨如何利用YOLOv8构建完整检测系统包括数据集准备、模型训练、多目标跟踪与业务判定逻辑并分享可视化界面与部署经验。这类系统能有效提升收费站稽核效率也可为相关毕设或工程项目提供参考。 做了几年计算机视觉相关的项目说实话ETC跟车逃费识别这类需求我一直觉得挺有意思它不像通用目标检测那么散业务闭环很清晰就是盯住两个目标——车在哪、车和车之间是不是贴得太近。这套基于YOLOv8的交通收费站ETC跟车逃费识别系统我做完整跑通了包含了源码、可视化界面、完整数据集和部署教程整套东西解压就能用。这篇文章我不打算讲太虚的架构就按我实际开发时的思路把业务场景怎么拆、数据集怎么标、模型怎么训、界面怎么接、部署踩过哪些坑一条一条掰开说清楚。如果你是正在搞毕设、课程设计或者刚接触YOLOv8想做点落地项目这篇文章可以直接当操作手册看。1. 项目拆解与系统方案选型1.1 ETC跟车逃费的业务场景到底在解决什么问题先把这个需求的业务逻辑理清楚。高速公路收费站ETC车道的通行流程是车辆驶入天线识别区→ETC设备读卡扣费→栏杆抬起→车辆驶过→栏杆落下。正常情况下一车一杆扣费一次放行一辆。但这个流程里有个天然漏洞栏杆从抬起到完全落下需要时间前车通过后栏杆还没落到位后车如果紧跟着前车车尾冲过去就能做到不扣费过站这就是最常见的跟车逃费。从我实际调研的情况看跟车逃费基本有几种形态第一种是低速紧贴前车刚起步后车就贴上去两车首尾间距可能只有几十厘米第二种是前车顺利通过后后车趁栏杆还没落稳加速冲杆第三种比较少见但更危险两车并行挤在一个车道里过闸。无论哪种形态核心特征都可以被描述成异常接近的前后车时序关系。所以这个识别系统本质上不是单纯做目标检测而是要做三件事定位知道车在哪检测框能不能稳定框住目标跟踪知道同一辆车在连续帧里的位置避免重复计数或漏判判定结合车道防线和通过时序判断是否有跟车逃费行为。这决定了整个系统不是跑个模型输出框就完事而是要把检测结果和业务规则串起来。这也是为什么我不建议直接用现成模型demo改一改就交差业务规则和检测模型结合的部分才是这个项目的核心工作量。1.2 为什么最终选了YOLOv8目标检测方案现在可选范围其实很大Faster R-CNN、SSD、YOLOv5、YOLOv8、还有最新的YOLOv9/v11甚至可以上Transformer系列如DETR。为什么我最终选了YOLOv8主要基于三个考量。首先从检测性能看YOLOv8在速度和精度之间拿捏得比较平衡。ETC车道是实时视频流摄像头帧率一般是25fps左右模型推理必须跑得动。我用的YOLOv8n/s级别模型在GTX 1660Ti这种中等偏下的显卡上也能做到实时推理这对毕设场景很友好——不是人人都有RTX 4090。其次从工程化角度看YOLOv8背后的ultralytics库把训练、验证、导出、推理全都封装好了配置项非常清晰。训练自己的数据集只需要准备YOLO格式的标注文件再写一个data.yaml命令一行就能跑起来。这比用Faster R-CNN那套要自己写数据加载器、anchors生成、后处理NMS省掉大量时间特别适合周期紧张的毕设。还有一个原因是可以顺带做扩展。YOLOv8有detect、seg、pose多条任务线如果后续想在车辆检测基础上加车牌识别或者车道上其他异常行为识别只需要在同一个框架里继续做数据标注和训练不用换技术栈。对于课程设计来说这种留有余地的方案其实比吊死在一棵树上更划算。1.3 系统整体架构和识别流程这个系统的整体架构我用一句话概括视频帧输入→目标检测→多目标跟踪→业务规则判定→告警与记录。具体流程是读取视频流本地视频文件或摄像头画面对每一帧调用YOLOv8检测模型得到所有车辆的目标框包括坐标、置信度、类别然后通过跟踪算法给检测框分配稳定的ID接下来把检测框坐标映射到车道坐标系中和预设的道闸防线做比较一旦有车辆越过防线记下当前时间并与上一次越线时间做差值计算如果两次越线时间间隔小于设定阈值就判定为跟车逃费系统立刻弹出告警、保存截图和前后几秒的视频片段。这里面有一个关键点如果只做单帧检测而不做跟踪很容易误报。因为ETC车道本身车流量大车与车之间正常排队时车距也很近单帧画面里检测到两辆车靠近并不代表逃费只有判断出它们连续、以极短间隔通过同一道防线才能认定是异常行为。跟踪的作用就是让系统能够区分这是同一辆车和这是另一辆车并计算出准确的通过时序。2. 数据集的准备与标注实操2.1 数据从哪来公开数据集与自采数据的组合做这个项目第一步就卡在数据上。ETC车道的公开数据集少之又少网上能找到的车辆检测数据集主要有UA-DETRAC、BDD100K、COCO的车辆类但这些数据集的场景是城市道路或高速公路直接拿来训当然可以但在收费站场景下泛化效果会打折扣。原因也很简单收费站有雨棚、收费亭、栏杆、车道隔离墩这些背景和开放道路差别很大车辆角度也主要是正面和尾部和自然驾驶视角不同。我实际采用的是组合策略。第一步先拿UA-DETRAC和BDD100K这类公开数据集参与预训练保证模型对车辆本身的特征有足够强的表征能力。第二步再在自建的ETC车道数据集上做微调。自建数据主要有两个来源一是从公开的高速公路收费站监控视频里抽帧挑白天、夜间、雨天、逆光等不同条件每段视频抽按间隔抽取避免连续帧太相似二是自己用手机或行车记录仪在收费站附近拍摄虽然受限于视角但胜在场景真实、贴近实际安装角度。我这里要特别强调一点如果只做毕设跑通流程用公开数据集预训练少量自采数据微调完全够用没必要非得搞几万张图。我这次整理的数据集大概是4000多张图片训练集3200张左右验证集800张左右这个量级对单类别车辆检测来说已经足够训练出一个效果不错的模型。数据集里包含了轿车、SUV、货车、客车、摩托车等车型尽量覆盖ETC车道常见的各种外观。2.2 标注规范与具体标注操作标注是决定模型效果上限的环节。这个项目我建议只标一个类别就是vehicle不区分car、truck、bus。原因有两条第一模型越简单越稳多分类会增加类间混淆风险而对跟车逃费判定而言车的类型无关紧要第二标注成本大幅降低标注速度能快很多实测一个人一个下午能标300-500张。标注工具我用的是labelImg虽然UI老旧一点但稳定、上手快、支持YOLO格式直接输出。具体操作流程是打开labelImg选择打开图片目录选YOLO格式在工具里有个PascalVOC和YOLO切换的按钮注意切换成YOLO这样保存的txt里就是归一化的中心点坐标和宽高不需要再转换。对每张图绘制边框只要把车辆完整框住就可以。框的时候要有统一标准比如车辆整体必须完整包含在框内车灯、车顶、车轮都不能截断如果有遮挡尽量按可见部分框如果目标太模糊或者面积过小小于图片面积的2%就没必要标了标了也会干扰训练。每张图保存后会生成一个同名txt文件里面每行表示一个目标0 0.45 0.62 0.15 0.24第一个0是类别id后面四个数字分别是归一化后的中心点x、中心点y、宽度、高度。还有一个实操细节容易被忽略数据里一定要包含大量负样本也就是没有车只有车道背景的帧以及车辆排队但距离正常的样本。这个不是给检测器用的而是为了避免后期逻辑误判让测试时系统在正常场景里不要乱告警。我从监控视频里专门抽了800多张无车或排队场景的帧作为背景测试集。2.3 数据增强与数据划分的策略数据增强是训练时要考虑的另一个重要因素。YOLOv8自带增强策略在训练时默认会做Mosaic四张图拼接、随机翻转、色调变化、缩放平移等。这些增强对提升模型鲁棒性很有帮助尤其是在夜间、雨雾等低质量图像场景下。实测下来开启增强后模型在夜间帧的检出率提升了大约5-8个百分点。不过这里有个坑增强度不要拉太高。有段时间我把hsv_h、hsv_s、hsv_v调得偏大结果模型在真实视频反而不太稳有时会把雨棚阴影误检成车辆。后来我把增强参数调回ultralytics默认值问题就消失了。数据增强看起来是免费的午餐实际上用力过猛会引入噪声让模型学到不真实的颜色纹理特征。数据划分上我按8:1:1划分训练集、验证集和测试集划分时注意不要直接把连续帧图片放进同一个集合否则测试集和训练集高度重合评估指标会虚高。正确做法是先按视频片段分组同一段视频的帧只进同一个集合。这个小细节很多人会忽略但直接影响你对模型泛化能力的判断。3. 模型训练与环境配置3.1 训练环境搭建先讲环境这是新手最容易卡住的地方。我的训练环境如下操作系统Windows 10 / Ubuntu 20.04均可建议用Windows先跑通再上LinuxPython版本3.9或3.10PyTorch1.13或2.0注意版本要和CUDA匹配CUDA11.7或11.8GPU驱动版本建议460以上ultralytics库8.0.x以上即可显卡GTX 1660Ti/RTX 3060都可以跑纯CPU也能训练但速度会慢很多不建议。配置步骤其实很固定建议按顺序执行先装PyTorch。先去PyTorch官网选对应CUDA版本生成安装命令Windows下用pip安装。不要装CPU版PyTorch后续无法用GPU加速训练速度会慢到你怀疑人生。再装ultralytics和辅助库pip install ultralytics pip install labelImg pip install pyqt5 pip install opencv-python装完之后可以快速验证一下环境是否正常from ultralytics import YOLO model YOLO(yolov8n.pt) results model(bus.jpg) print(results[0].boxes)如果能打印出检测框信息就说明YOLOv8已经能正常推理了。这一步验证很重要我见过太多人环境没装好一跑训练报一堆错最后发现是PyTorch装成了CPU版这种低级问题。3.2 准备数据配置文件训练前需要把数据集目录组织好并写一个data.yaml配置文件。我推荐以下目录结构datasets/ ├── ETC/ │ ├── images/ │ │ ├── train/ │ │ └── val/ │ ├── labels/ │ │ ├── train/ │ │ └── val/ │ └── data.yamldata.yaml内容如下path: ./datasets/ETC train: images/train val: images/val names: 0: vehicle这里注意几点path可以是绝对路径也可以是相对路径但如果你的项目会换机器跑建议用相对路径避免部署后路径失效train和val填的是相对于path的路径不是完整路径names的索引从0开始要和标注txt里的类别序号对应。3.3 启动训练与关键参数解读一切就绪后执行以下命令开始训练yolo detect train datadatasets/ETC/data.yaml modelyolov8n.pt epochs100 imgsz640 batch16 device0这条命令里的几个核心参数值得详细说说。modelyolov8n.pt表示加载YOLOv8n的预训练权重。YOLOv8有n/s/m/l/x五个尺寸n最小最快但精度最低x最大最准但推理慢。我最终用的是YOLOv8s因为ETC场景车辆大目标比较多n的精度稍微吃力s在速度上依然能保持实时是性价比最高的选择。imgsz640输入图片分辨率。大多数情况下640是默认且稳妥的选择。调大到960可以稍微提升小目标检测能力但训练和推理速度都会下降。ETC车道的摄像头视角相对固定车辆宽度在画面里占比不小640完全够用。batch16批大小。这个受显存限制1660Ti的6G显存跑yolov8s时建议batch设为8跑yolov8n可以16。设置太大显存溢出时程序直接报错退出太小训练收敛慢。epochs100训练轮数。对于4000张图的数据量100轮足够了实际看到loss在70轮左右就基本平稳。训练过程中ultralytics控制台会实时输出每一轮的loss、mAP50、mAP50-95等指标并且自动在runs/detect目录里保存权重。训练结束后取weights/best.pt这个是在验证集上mAP最高的权重通常比last.pt更可靠。我自己在GTX 1660Ti上训练YOLOv8s、batch8、imgsz640、4000张图单轮时间大约2-3分钟100轮大概4到5小时这个耗时在毕设时间线里完全可以接受。3.4 训练指标怎么看遇到欠拟合/过拟合怎么办训练完看指标我主要看三个第一是mAP50也就是IoU阈值取0.5时的平均精度。车辆是大目标类目单一mAP50一般能做到92%以上才算合格。我最后一次训练mAP50到了95.1%效果比较理想。第二是mAP50-95这是IoU从0.5到0.95以0.05间隔的平均值对框的定位精度要求更高。YOLOv8s在这个数据集上做到78%左右说明框的位置总体还是准的。第三是看训练集loss和验证集loss的曲线。如果训练loss持续下降但验证loss先降后升那就是典型的过拟合解决办法是增大数据集、加数据增强、减小模型尺寸或者加早停。如果两个loss都降不下去说明模型容量不够或者数据标注质量有问题先从标注开始排查而不是盲目加大模型。这里再分享一个实测心得数据集中要把类内差异做足。货车和摩托车在外观、大小上差异很大如果训练集里全是轿车模型到了现场看到货柜车、拉客车就懵。我当初第一版模型就栽在这里验证集mAP挺高一到真实录像里各种漏检后来补了大量货车、公交车样本问题才缓解。4. 可视化界面与跟车逃费判定逻辑实现4.1 可视化界面功能怎么设计界面我用的是PyQt5因为Python生态里做桌面应用最成熟和YOLOv8推理代码衔接也最简单。整个界面分成几个区域左侧是视频显示区实时显示检测画面右上角是控制区提供打开视频打开摄像头开始检测停止按钮右下角是告警信息列表每次跟车行为触发后在这里显示时间、车辆ID、逃费类型底部是状态栏显示当前帧率、检测到的车辆数、模型推理耗时等。界面逻辑不复杂但有一个设计点很关键视频读取和模型推理不能在主线程里做否则界面会卡死。我的做法是用QThread开一个工作线程线程里循环读帧、推理、发信号把结果图像传回主线程刷新。信号槽机制是PyQt5的强项处理这种实时视频流非常方便。这里贴一段核心线程逻辑的简化示例class DetectThread(QThread): frame_signal pyqtSignal(object, list) def __init__(self, model_path, source): super().__init__() self.model YOLO(model_path) self.cap cv2.VideoCapture(source) self.is_running True def run(self): while self.is_running: ret, frame self.cap.read() if not ret: break results self.model(frame, conf0.5) boxes results[0].boxes # 解析 xyxy、track_id 等更新界面 self.frame_signal.emit(frame, detections)这只是骨架实际还要加上跟踪ID维护、越线判断、告警触发等逻辑这些放在下一节。4.2 跟车逃费的判定算法防线、跟踪与时间阈值这是整个项目最有含金量的部分我要花点篇幅说细。先说防线怎么设置。ETC收费站的车道一般是直的摄像头装在正上方或斜侧方画面中车道是纵向走向。我让用户通过界面画一条横向线放在道闸栏杆正前面的位置。这条线的Y坐标就是防线位置。每一帧检测到车辆后取检测框底边中点的Y坐标和防线Y坐标比较。当底边中点越过防线时标记该车辆为已通过。这个逻辑简单但有效因为车辆底边在物理上对应车头或者车尾与地面的接触点用它判断是否越过某个位置比用中心点或顶部更准确。然后是跟踪。为什么要跟踪因为要判断第一辆车通过后多久第二辆通过。如果只做单帧检测你没法把15帧前通过的车和现在这辆车关联起来。我采用的跟踪方案是ByteTrack理由就是它轻量、无需额外训练、效果好而且在ultralytics里可以直接集成。有了跟踪ID和防线判断判定逻辑就可以写成伪代码last_cross_time {} # {track_id: timestamp} alarm_flag False for track_id, box_bottom in current_detections: if box_bottom LINE_Y and track_id not in last_cross_time: now time.time() # 找最近一次通过的时间 sorted_times sorted(last_cross_time.values(), reverseTrue) if sorted_times and now - sorted_times[0] TIME_THRESHOLD: trigger_alarm(track_id, now - sorted_times[0]) last_cross_time[track_id] now这里TIME_THRESHOLD是关键参数我默认设为1.2秒。为什么是1.2秒因为正常ETC车道一车一杆栏杆抬起后前车完全通过栏杆下落需要时间ETC栏杆从抬起顶点到完全落下大概0.8-1.5秒。如果后车在前车通过后1.2秒内就过线基本可以肯定是紧跟前车逃费。实际测试时把阈值调高会增加告警灵敏度但误报也增加调低会漏报建议根据现场抬杆速度微调。还需要处理一个复杂情况前车通过后并没有逃费发生但后车排队等待时车身已经压到防线附近。这时如果前车还没完全通过后车底边可能提前越线引发误报。解决思路是加缓冲区域假设防线下方有一条宽度约1.5米的缓冲带只有当车辆完全进入缓冲带并继续前进时才算有效通过。相当于把一条线判断扩成两条线判断车辆底边连续通过两条线才算真实过闸。4.3 告警与记录功能当判定发生跟车逃费时系统需要做三件事一是界面弹出告警。在告警信息列表里新增一条记录包含时间精确到秒、逃费车辆跟踪ID、前后车时间间隔、视频帧序号并把当前帧的检测画面缓存为图片。二是自动截图保存。把包含两辆车完整轨迹的几张关键帧保存到项目下的alarm_images目录文件名带时间戳方便事后人工核对。如果有车牌识别模块可以把车牌号也一并记入但作为基础版本先通过检测框和跟踪ID关联足够。三是保存视频片段。从告警触发前2秒到触发后1秒把这3秒的视频帧写入一个mp4文件。这段视频是后续追溯和处理纠纷的重要证据公安和高速管理方索要原始录像时直接调这个片段即可。5. 部署运行与常见问题排查5.1 源码目录结构与一键启动整个项目的目录结构我建议这样组织ETC_AntiRunRedLight/ ├── main.py # 入口文件负责启动界面 ├── configs/ │ └── config.yaml # 防线位置、时间阈值、模型路径等配置 ├── models/ │ └── best.pt # 训练好的模型权重 ├── utils/ │ ├── detector.py # YOLOv8检测封装 │ ├── tracker.py # 跟踪封装 │ └── judge.py # 跟车判定逻辑 ├── ui/ │ ├── main_window.py # PyQt5主界面 │ └── thread.py # QThread工作线程 ├── datasets/ │ └── ETC/ # 数据集目录 ├── alarm_images/ # 告警截图保存目录 ├── alarm_videos/ # 告警视频片段保存目录 └── requirements.txt启动流程三步安装依赖pip install -r requirements.txt修改配置文件config.yaml填写你的模型路径和视频源路径运行python main.pyrequirements.txt里我标明的核心依赖是ultralytics8.1.0 PyQt55.15.10 opencv-python4.9.0.80 numpy1.26.4 PyYAML6.0.1依赖版本没有必须锁死主要是PyQt5和opencv这两块版本太新偶尔会碰到兼容性小坑。5.2 部署在不同设备上的注意事项我测试过三种部署环境Windows台式机GTX 1660Ti、Windows笔记本只有核显、Ubuntu服务器RTX 3060。Windows N卡是最省心的组合CUDA完整体直接跑即可。Ubuntu服务器需要额外装好NVIDIA驱动和CUDA Toolkit再装PyTorch GPU版其他代码完全一致。核显笔记本上跑会比较尴尬模型推理速度只有2-3 FPS远达不到实时。两个变通办法一是把模型换成YOLOv8n并把imgsz从640降到480推理速度能拉回8-10 FPS二是用OpenVINO导出模型在Intel核显上能明显加速。但说实话如果毕设答辩只是演示视频文件2-3 FPS不影响效果只要视频能播、能出结果就行。5.3 典型问题排查速查表我整理一份自己实际踩过、以及被身边同学问得最多的排查表问题现象可能原因解决方法torch.cuda.is_available()返回FalsePyTorch装了CPU版或CUDA驱动不匹配卸载PyTorch按官网命令重装GPU版更新NVIDIA驱动训练时报CUDA out of memorybatch或imgsz太大显存不足减小batch到4或imgsz降到480推理时没有检测结果置信度阈值太高数据场景差异大把conf从0.5降到0.25增加现场数据训练界面打开黑屏无画面视频路径错误OpenCV读不到该格式检查路径是否含中文尝试用绝对路径用格式工厂转换视频为MP4 H264帧率很低界面卡顿推理在主线程执行显卡太弱确认已经用QThread换模型尺寸开启half精度推理告警误报特别多防线位置画得太靠上时间阈值过大重新标定防线位置将TIME_THRESHOLD调小跟踪ID频繁跳变遮挡严重或车辆重叠减少单帧中漏检换更强跟踪器提高检测置信度其中误报问题我要多说一句。系统真正能否实际使用很大程度上取决于误报率而不是检测精度。误报太多现场人员会直接关掉系统。我最终在真实录像上做到大约每100辆车出现1-2次误报或漏报这个水平做毕设展示足够了但要真正商用还得结合雷达或地感线圈做多传感器融合。5.4 我踩过最深的几个坑训练阶段最深的坑是Mosaic增强带来的框线虚标问题。YOLOv8默认开启Mosaic把四张图拼成一张训练但四张图拼接处的目标框是拼贴出来的如果原始标注框有偏差拼出来的框会错得更离谱。后来我检查训练集里的标签分布发现很多检测框和目标边缘差了好几个像素导致训练出来的模型框定位精度上不去。解决办法是重新精修了一批标注质量差的图。所以标注质量真的不能省模型上限就是标注上限。部署阶段最深的坑是视频路径带中文导致OpenCV打不开。Windows下用中文路径很常见但OpenCV的VideoCapture对中文路径支持很差读不到视频还报错。我后来统一在代码里加了路径编码处理把路径转成系统短路径再传给OpenCV。部署时也建议直接把所有路径设置成英文。界面调试阶段最深的坑是PyQt5的线程崩溃问题。如果在QThread里直接访问了主线程的UI组件程序可能不报错但界面无响应或者在关闭窗口时直接崩溃。我的做法是在工作线程里只通过信号把数据发回主线程所有UI更新都在主线程的槽函数里完成绝不跨界操作。这个习惯后来在其他Qt项目里也帮我省了很多麻烦。最后再分享一点个人体会。做这个项目前我以为难点会在YOLOv8模型训练上做完了才发现真正耗时的是数据处理和业务逻辑打磨模型训练反而是最顺的一环。YOLOv8把算法层面的门槛拉得很低但要拿它解决一个具体业务问题还是得沉下心去理解场景、设计规则、反复调参。这套ETC跟车逃费识别系统做完之后我最大的收获不是跑通了一个模型而是理解了如何把一个模糊的业务需求拆成检测、跟踪、判定、告警这样可落地的模块。如果你也在做类似的项目建议先花两天把现场视频多看几遍把什么情况算逃费这个规则搞清楚再去碰模型这样后面基本不用返工。本文还有配套的精品资源点击获取 YOLOv8实战：ETC跟车逃费识别系统开发与部署
简介在计算机视觉与深度学习快速发展的背景下目标检测技术已成为智能交通系统的核心支撑。YOLOv8作为新一代检测算法在实时性与精度之间取得平衡广泛应用于车辆识别等场景。本文围绕ETC收费站跟车逃费识别难题探讨如何利用YOLOv8构建完整检测系统包括数据集准备、模型训练、多目标跟踪与业务判定逻辑并分享可视化界面与部署经验。这类系统能有效提升收费站稽核效率也可为相关毕设或工程项目提供参考。 做了几年计算机视觉相关的项目说实话ETC跟车逃费识别这类需求我一直觉得挺有意思它不像通用目标检测那么散业务闭环很清晰就是盯住两个目标——车在哪、车和车之间是不是贴得太近。这套基于YOLOv8的交通收费站ETC跟车逃费识别系统我做完整跑通了包含了源码、可视化界面、完整数据集和部署教程整套东西解压就能用。这篇文章我不打算讲太虚的架构就按我实际开发时的思路把业务场景怎么拆、数据集怎么标、模型怎么训、界面怎么接、部署踩过哪些坑一条一条掰开说清楚。如果你是正在搞毕设、课程设计或者刚接触YOLOv8想做点落地项目这篇文章可以直接当操作手册看。1. 项目拆解与系统方案选型1.1 ETC跟车逃费的业务场景到底在解决什么问题先把这个需求的业务逻辑理清楚。高速公路收费站ETC车道的通行流程是车辆驶入天线识别区→ETC设备读卡扣费→栏杆抬起→车辆驶过→栏杆落下。正常情况下一车一杆扣费一次放行一辆。但这个流程里有个天然漏洞栏杆从抬起到完全落下需要时间前车通过后栏杆还没落到位后车如果紧跟着前车车尾冲过去就能做到不扣费过站这就是最常见的跟车逃费。从我实际调研的情况看跟车逃费基本有几种形态第一种是低速紧贴前车刚起步后车就贴上去两车首尾间距可能只有几十厘米第二种是前车顺利通过后后车趁栏杆还没落稳加速冲杆第三种比较少见但更危险两车并行挤在一个车道里过闸。无论哪种形态核心特征都可以被描述成异常接近的前后车时序关系。所以这个识别系统本质上不是单纯做目标检测而是要做三件事定位知道车在哪检测框能不能稳定框住目标跟踪知道同一辆车在连续帧里的位置避免重复计数或漏判判定结合车道防线和通过时序判断是否有跟车逃费行为。这决定了整个系统不是跑个模型输出框就完事而是要把检测结果和业务规则串起来。这也是为什么我不建议直接用现成模型demo改一改就交差业务规则和检测模型结合的部分才是这个项目的核心工作量。1.2 为什么最终选了YOLOv8目标检测方案现在可选范围其实很大Faster R-CNN、SSD、YOLOv5、YOLOv8、还有最新的YOLOv9/v11甚至可以上Transformer系列如DETR。为什么我最终选了YOLOv8主要基于三个考量。首先从检测性能看YOLOv8在速度和精度之间拿捏得比较平衡。ETC车道是实时视频流摄像头帧率一般是25fps左右模型推理必须跑得动。我用的YOLOv8n/s级别模型在GTX 1660Ti这种中等偏下的显卡上也能做到实时推理这对毕设场景很友好——不是人人都有RTX 4090。其次从工程化角度看YOLOv8背后的ultralytics库把训练、验证、导出、推理全都封装好了配置项非常清晰。训练自己的数据集只需要准备YOLO格式的标注文件再写一个data.yaml命令一行就能跑起来。这比用Faster R-CNN那套要自己写数据加载器、anchors生成、后处理NMS省掉大量时间特别适合周期紧张的毕设。还有一个原因是可以顺带做扩展。YOLOv8有detect、seg、pose多条任务线如果后续想在车辆检测基础上加车牌识别或者车道上其他异常行为识别只需要在同一个框架里继续做数据标注和训练不用换技术栈。对于课程设计来说这种留有余地的方案其实比吊死在一棵树上更划算。1.3 系统整体架构和识别流程这个系统的整体架构我用一句话概括视频帧输入→目标检测→多目标跟踪→业务规则判定→告警与记录。具体流程是读取视频流本地视频文件或摄像头画面对每一帧调用YOLOv8检测模型得到所有车辆的目标框包括坐标、置信度、类别然后通过跟踪算法给检测框分配稳定的ID接下来把检测框坐标映射到车道坐标系中和预设的道闸防线做比较一旦有车辆越过防线记下当前时间并与上一次越线时间做差值计算如果两次越线时间间隔小于设定阈值就判定为跟车逃费系统立刻弹出告警、保存截图和前后几秒的视频片段。这里面有一个关键点如果只做单帧检测而不做跟踪很容易误报。因为ETC车道本身车流量大车与车之间正常排队时车距也很近单帧画面里检测到两辆车靠近并不代表逃费只有判断出它们连续、以极短间隔通过同一道防线才能认定是异常行为。跟踪的作用就是让系统能够区分这是同一辆车和这是另一辆车并计算出准确的通过时序。2. 数据集的准备与标注实操2.1 数据从哪来公开数据集与自采数据的组合做这个项目第一步就卡在数据上。ETC车道的公开数据集少之又少网上能找到的车辆检测数据集主要有UA-DETRAC、BDD100K、COCO的车辆类但这些数据集的场景是城市道路或高速公路直接拿来训当然可以但在收费站场景下泛化效果会打折扣。原因也很简单收费站有雨棚、收费亭、栏杆、车道隔离墩这些背景和开放道路差别很大车辆角度也主要是正面和尾部和自然驾驶视角不同。我实际采用的是组合策略。第一步先拿UA-DETRAC和BDD100K这类公开数据集参与预训练保证模型对车辆本身的特征有足够强的表征能力。第二步再在自建的ETC车道数据集上做微调。自建数据主要有两个来源一是从公开的高速公路收费站监控视频里抽帧挑白天、夜间、雨天、逆光等不同条件每段视频抽按间隔抽取避免连续帧太相似二是自己用手机或行车记录仪在收费站附近拍摄虽然受限于视角但胜在场景真实、贴近实际安装角度。我这里要特别强调一点如果只做毕设跑通流程用公开数据集预训练少量自采数据微调完全够用没必要非得搞几万张图。我这次整理的数据集大概是4000多张图片训练集3200张左右验证集800张左右这个量级对单类别车辆检测来说已经足够训练出一个效果不错的模型。数据集里包含了轿车、SUV、货车、客车、摩托车等车型尽量覆盖ETC车道常见的各种外观。2.2 标注规范与具体标注操作标注是决定模型效果上限的环节。这个项目我建议只标一个类别就是vehicle不区分car、truck、bus。原因有两条第一模型越简单越稳多分类会增加类间混淆风险而对跟车逃费判定而言车的类型无关紧要第二标注成本大幅降低标注速度能快很多实测一个人一个下午能标300-500张。标注工具我用的是labelImg虽然UI老旧一点但稳定、上手快、支持YOLO格式直接输出。具体操作流程是打开labelImg选择打开图片目录选YOLO格式在工具里有个PascalVOC和YOLO切换的按钮注意切换成YOLO这样保存的txt里就是归一化的中心点坐标和宽高不需要再转换。对每张图绘制边框只要把车辆完整框住就可以。框的时候要有统一标准比如车辆整体必须完整包含在框内车灯、车顶、车轮都不能截断如果有遮挡尽量按可见部分框如果目标太模糊或者面积过小小于图片面积的2%就没必要标了标了也会干扰训练。每张图保存后会生成一个同名txt文件里面每行表示一个目标0 0.45 0.62 0.15 0.24第一个0是类别id后面四个数字分别是归一化后的中心点x、中心点y、宽度、高度。还有一个实操细节容易被忽略数据里一定要包含大量负样本也就是没有车只有车道背景的帧以及车辆排队但距离正常的样本。这个不是给检测器用的而是为了避免后期逻辑误判让测试时系统在正常场景里不要乱告警。我从监控视频里专门抽了800多张无车或排队场景的帧作为背景测试集。2.3 数据增强与数据划分的策略数据增强是训练时要考虑的另一个重要因素。YOLOv8自带增强策略在训练时默认会做Mosaic四张图拼接、随机翻转、色调变化、缩放平移等。这些增强对提升模型鲁棒性很有帮助尤其是在夜间、雨雾等低质量图像场景下。实测下来开启增强后模型在夜间帧的检出率提升了大约5-8个百分点。不过这里有个坑增强度不要拉太高。有段时间我把hsv_h、hsv_s、hsv_v调得偏大结果模型在真实视频反而不太稳有时会把雨棚阴影误检成车辆。后来我把增强参数调回ultralytics默认值问题就消失了。数据增强看起来是免费的午餐实际上用力过猛会引入噪声让模型学到不真实的颜色纹理特征。数据划分上我按8:1:1划分训练集、验证集和测试集划分时注意不要直接把连续帧图片放进同一个集合否则测试集和训练集高度重合评估指标会虚高。正确做法是先按视频片段分组同一段视频的帧只进同一个集合。这个小细节很多人会忽略但直接影响你对模型泛化能力的判断。3. 模型训练与环境配置3.1 训练环境搭建先讲环境这是新手最容易卡住的地方。我的训练环境如下操作系统Windows 10 / Ubuntu 20.04均可建议用Windows先跑通再上LinuxPython版本3.9或3.10PyTorch1.13或2.0注意版本要和CUDA匹配CUDA11.7或11.8GPU驱动版本建议460以上ultralytics库8.0.x以上即可显卡GTX 1660Ti/RTX 3060都可以跑纯CPU也能训练但速度会慢很多不建议。配置步骤其实很固定建议按顺序执行先装PyTorch。先去PyTorch官网选对应CUDA版本生成安装命令Windows下用pip安装。不要装CPU版PyTorch后续无法用GPU加速训练速度会慢到你怀疑人生。再装ultralytics和辅助库pip install ultralytics pip install labelImg pip install pyqt5 pip install opencv-python装完之后可以快速验证一下环境是否正常from ultralytics import YOLO model YOLO(yolov8n.pt) results model(bus.jpg) print(results[0].boxes)如果能打印出检测框信息就说明YOLOv8已经能正常推理了。这一步验证很重要我见过太多人环境没装好一跑训练报一堆错最后发现是PyTorch装成了CPU版这种低级问题。3.2 准备数据配置文件训练前需要把数据集目录组织好并写一个data.yaml配置文件。我推荐以下目录结构datasets/ ├── ETC/ │ ├── images/ │ │ ├── train/ │ │ └── val/ │ ├── labels/ │ │ ├── train/ │ │ └── val/ │ └── data.yamldata.yaml内容如下path: ./datasets/ETC train: images/train val: images/val names: 0: vehicle这里注意几点path可以是绝对路径也可以是相对路径但如果你的项目会换机器跑建议用相对路径避免部署后路径失效train和val填的是相对于path的路径不是完整路径names的索引从0开始要和标注txt里的类别序号对应。3.3 启动训练与关键参数解读一切就绪后执行以下命令开始训练yolo detect train datadatasets/ETC/data.yaml modelyolov8n.pt epochs100 imgsz640 batch16 device0这条命令里的几个核心参数值得详细说说。modelyolov8n.pt表示加载YOLOv8n的预训练权重。YOLOv8有n/s/m/l/x五个尺寸n最小最快但精度最低x最大最准但推理慢。我最终用的是YOLOv8s因为ETC场景车辆大目标比较多n的精度稍微吃力s在速度上依然能保持实时是性价比最高的选择。imgsz640输入图片分辨率。大多数情况下640是默认且稳妥的选择。调大到960可以稍微提升小目标检测能力但训练和推理速度都会下降。ETC车道的摄像头视角相对固定车辆宽度在画面里占比不小640完全够用。batch16批大小。这个受显存限制1660Ti的6G显存跑yolov8s时建议batch设为8跑yolov8n可以16。设置太大显存溢出时程序直接报错退出太小训练收敛慢。epochs100训练轮数。对于4000张图的数据量100轮足够了实际看到loss在70轮左右就基本平稳。训练过程中ultralytics控制台会实时输出每一轮的loss、mAP50、mAP50-95等指标并且自动在runs/detect目录里保存权重。训练结束后取weights/best.pt这个是在验证集上mAP最高的权重通常比last.pt更可靠。我自己在GTX 1660Ti上训练YOLOv8s、batch8、imgsz640、4000张图单轮时间大约2-3分钟100轮大概4到5小时这个耗时在毕设时间线里完全可以接受。3.4 训练指标怎么看遇到欠拟合/过拟合怎么办训练完看指标我主要看三个第一是mAP50也就是IoU阈值取0.5时的平均精度。车辆是大目标类目单一mAP50一般能做到92%以上才算合格。我最后一次训练mAP50到了95.1%效果比较理想。第二是mAP50-95这是IoU从0.5到0.95以0.05间隔的平均值对框的定位精度要求更高。YOLOv8s在这个数据集上做到78%左右说明框的位置总体还是准的。第三是看训练集loss和验证集loss的曲线。如果训练loss持续下降但验证loss先降后升那就是典型的过拟合解决办法是增大数据集、加数据增强、减小模型尺寸或者加早停。如果两个loss都降不下去说明模型容量不够或者数据标注质量有问题先从标注开始排查而不是盲目加大模型。这里再分享一个实测心得数据集中要把类内差异做足。货车和摩托车在外观、大小上差异很大如果训练集里全是轿车模型到了现场看到货柜车、拉客车就懵。我当初第一版模型就栽在这里验证集mAP挺高一到真实录像里各种漏检后来补了大量货车、公交车样本问题才缓解。4. 可视化界面与跟车逃费判定逻辑实现4.1 可视化界面功能怎么设计界面我用的是PyQt5因为Python生态里做桌面应用最成熟和YOLOv8推理代码衔接也最简单。整个界面分成几个区域左侧是视频显示区实时显示检测画面右上角是控制区提供打开视频打开摄像头开始检测停止按钮右下角是告警信息列表每次跟车行为触发后在这里显示时间、车辆ID、逃费类型底部是状态栏显示当前帧率、检测到的车辆数、模型推理耗时等。界面逻辑不复杂但有一个设计点很关键视频读取和模型推理不能在主线程里做否则界面会卡死。我的做法是用QThread开一个工作线程线程里循环读帧、推理、发信号把结果图像传回主线程刷新。信号槽机制是PyQt5的强项处理这种实时视频流非常方便。这里贴一段核心线程逻辑的简化示例class DetectThread(QThread): frame_signal pyqtSignal(object, list) def __init__(self, model_path, source): super().__init__() self.model YOLO(model_path) self.cap cv2.VideoCapture(source) self.is_running True def run(self): while self.is_running: ret, frame self.cap.read() if not ret: break results self.model(frame, conf0.5) boxes results[0].boxes # 解析 xyxy、track_id 等更新界面 self.frame_signal.emit(frame, detections)这只是骨架实际还要加上跟踪ID维护、越线判断、告警触发等逻辑这些放在下一节。4.2 跟车逃费的判定算法防线、跟踪与时间阈值这是整个项目最有含金量的部分我要花点篇幅说细。先说防线怎么设置。ETC收费站的车道一般是直的摄像头装在正上方或斜侧方画面中车道是纵向走向。我让用户通过界面画一条横向线放在道闸栏杆正前面的位置。这条线的Y坐标就是防线位置。每一帧检测到车辆后取检测框底边中点的Y坐标和防线Y坐标比较。当底边中点越过防线时标记该车辆为已通过。这个逻辑简单但有效因为车辆底边在物理上对应车头或者车尾与地面的接触点用它判断是否越过某个位置比用中心点或顶部更准确。然后是跟踪。为什么要跟踪因为要判断第一辆车通过后多久第二辆通过。如果只做单帧检测你没法把15帧前通过的车和现在这辆车关联起来。我采用的跟踪方案是ByteTrack理由就是它轻量、无需额外训练、效果好而且在ultralytics里可以直接集成。有了跟踪ID和防线判断判定逻辑就可以写成伪代码last_cross_time {} # {track_id: timestamp} alarm_flag False for track_id, box_bottom in current_detections: if box_bottom LINE_Y and track_id not in last_cross_time: now time.time() # 找最近一次通过的时间 sorted_times sorted(last_cross_time.values(), reverseTrue) if sorted_times and now - sorted_times[0] TIME_THRESHOLD: trigger_alarm(track_id, now - sorted_times[0]) last_cross_time[track_id] now这里TIME_THRESHOLD是关键参数我默认设为1.2秒。为什么是1.2秒因为正常ETC车道一车一杆栏杆抬起后前车完全通过栏杆下落需要时间ETC栏杆从抬起顶点到完全落下大概0.8-1.5秒。如果后车在前车通过后1.2秒内就过线基本可以肯定是紧跟前车逃费。实际测试时把阈值调高会增加告警灵敏度但误报也增加调低会漏报建议根据现场抬杆速度微调。还需要处理一个复杂情况前车通过后并没有逃费发生但后车排队等待时车身已经压到防线附近。这时如果前车还没完全通过后车底边可能提前越线引发误报。解决思路是加缓冲区域假设防线下方有一条宽度约1.5米的缓冲带只有当车辆完全进入缓冲带并继续前进时才算有效通过。相当于把一条线判断扩成两条线判断车辆底边连续通过两条线才算真实过闸。4.3 告警与记录功能当判定发生跟车逃费时系统需要做三件事一是界面弹出告警。在告警信息列表里新增一条记录包含时间精确到秒、逃费车辆跟踪ID、前后车时间间隔、视频帧序号并把当前帧的检测画面缓存为图片。二是自动截图保存。把包含两辆车完整轨迹的几张关键帧保存到项目下的alarm_images目录文件名带时间戳方便事后人工核对。如果有车牌识别模块可以把车牌号也一并记入但作为基础版本先通过检测框和跟踪ID关联足够。三是保存视频片段。从告警触发前2秒到触发后1秒把这3秒的视频帧写入一个mp4文件。这段视频是后续追溯和处理纠纷的重要证据公安和高速管理方索要原始录像时直接调这个片段即可。5. 部署运行与常见问题排查5.1 源码目录结构与一键启动整个项目的目录结构我建议这样组织ETC_AntiRunRedLight/ ├── main.py # 入口文件负责启动界面 ├── configs/ │ └── config.yaml # 防线位置、时间阈值、模型路径等配置 ├── models/ │ └── best.pt # 训练好的模型权重 ├── utils/ │ ├── detector.py # YOLOv8检测封装 │ ├── tracker.py # 跟踪封装 │ └── judge.py # 跟车判定逻辑 ├── ui/ │ ├── main_window.py # PyQt5主界面 │ └── thread.py # QThread工作线程 ├── datasets/ │ └── ETC/ # 数据集目录 ├── alarm_images/ # 告警截图保存目录 ├── alarm_videos/ # 告警视频片段保存目录 └── requirements.txt启动流程三步安装依赖pip install -r requirements.txt修改配置文件config.yaml填写你的模型路径和视频源路径运行python main.pyrequirements.txt里我标明的核心依赖是ultralytics8.1.0 PyQt55.15.10 opencv-python4.9.0.80 numpy1.26.4 PyYAML6.0.1依赖版本没有必须锁死主要是PyQt5和opencv这两块版本太新偶尔会碰到兼容性小坑。5.2 部署在不同设备上的注意事项我测试过三种部署环境Windows台式机GTX 1660Ti、Windows笔记本只有核显、Ubuntu服务器RTX 3060。Windows N卡是最省心的组合CUDA完整体直接跑即可。Ubuntu服务器需要额外装好NVIDIA驱动和CUDA Toolkit再装PyTorch GPU版其他代码完全一致。核显笔记本上跑会比较尴尬模型推理速度只有2-3 FPS远达不到实时。两个变通办法一是把模型换成YOLOv8n并把imgsz从640降到480推理速度能拉回8-10 FPS二是用OpenVINO导出模型在Intel核显上能明显加速。但说实话如果毕设答辩只是演示视频文件2-3 FPS不影响效果只要视频能播、能出结果就行。5.3 典型问题排查速查表我整理一份自己实际踩过、以及被身边同学问得最多的排查表问题现象可能原因解决方法torch.cuda.is_available()返回FalsePyTorch装了CPU版或CUDA驱动不匹配卸载PyTorch按官网命令重装GPU版更新NVIDIA驱动训练时报CUDA out of memorybatch或imgsz太大显存不足减小batch到4或imgsz降到480推理时没有检测结果置信度阈值太高数据场景差异大把conf从0.5降到0.25增加现场数据训练界面打开黑屏无画面视频路径错误OpenCV读不到该格式检查路径是否含中文尝试用绝对路径用格式工厂转换视频为MP4 H264帧率很低界面卡顿推理在主线程执行显卡太弱确认已经用QThread换模型尺寸开启half精度推理告警误报特别多防线位置画得太靠上时间阈值过大重新标定防线位置将TIME_THRESHOLD调小跟踪ID频繁跳变遮挡严重或车辆重叠减少单帧中漏检换更强跟踪器提高检测置信度其中误报问题我要多说一句。系统真正能否实际使用很大程度上取决于误报率而不是检测精度。误报太多现场人员会直接关掉系统。我最终在真实录像上做到大约每100辆车出现1-2次误报或漏报这个水平做毕设展示足够了但要真正商用还得结合雷达或地感线圈做多传感器融合。5.4 我踩过最深的几个坑训练阶段最深的坑是Mosaic增强带来的框线虚标问题。YOLOv8默认开启Mosaic把四张图拼成一张训练但四张图拼接处的目标框是拼贴出来的如果原始标注框有偏差拼出来的框会错得更离谱。后来我检查训练集里的标签分布发现很多检测框和目标边缘差了好几个像素导致训练出来的模型框定位精度上不去。解决办法是重新精修了一批标注质量差的图。所以标注质量真的不能省模型上限就是标注上限。部署阶段最深的坑是视频路径带中文导致OpenCV打不开。Windows下用中文路径很常见但OpenCV的VideoCapture对中文路径支持很差读不到视频还报错。我后来统一在代码里加了路径编码处理把路径转成系统短路径再传给OpenCV。部署时也建议直接把所有路径设置成英文。界面调试阶段最深的坑是PyQt5的线程崩溃问题。如果在QThread里直接访问了主线程的UI组件程序可能不报错但界面无响应或者在关闭窗口时直接崩溃。我的做法是在工作线程里只通过信号把数据发回主线程所有UI更新都在主线程的槽函数里完成绝不跨界操作。这个习惯后来在其他Qt项目里也帮我省了很多麻烦。最后再分享一点个人体会。做这个项目前我以为难点会在YOLOv8模型训练上做完了才发现真正耗时的是数据处理和业务逻辑打磨模型训练反而是最顺的一环。YOLOv8把算法层面的门槛拉得很低但要拿它解决一个具体业务问题还是得沉下心去理解场景、设计规则、反复调参。这套ETC跟车逃费识别系统做完之后我最大的收获不是跑通了一个模型而是理解了如何把一个模糊的业务需求拆成检测、跟踪、判定、告警这样可落地的模块。如果你也在做类似的项目建议先花两天把现场视频多看几遍把什么情况算逃费这个规则搞清楚再去碰模型这样后面基本不用返工。本文还有配套的精品资源点击获取