【YOLO目标检测全栈实战】79 YOLO部署中的动态批处理：让推理服务吞吐量翻倍的真实案例

开篇故事去年夏天，我帮一家智慧零售客户优化他们的YOLOv5商品识别服务。上线第一天，压力测试就暴露了问题：当20台收银机同时发起请求时，GPU利用率只有35%，但平均响应时间却飙升到800ms。客户CTO急得直拍桌子：“你们不是说能支撑100路并发吗？”我盯着监控面板看了十分钟，发现了一个反直觉的现象：单张图片推理只要12ms，但10张图片排队推理却要500ms。问题出在哪？不是模型不够快，而是批处理策略没做好。GPU就像个大力士，你每次只让它搬一块砖（单张推理），它的算力大部分都浪费在启动和同步上了。而动态批处理，就是让这个大力士一次搬一整车砖。痛点拆解误区1：盲目使用固定批次大小很多新手会把输入数据凑成固定batch size（比如32），然后一股脑丢给模型。这有两个致命缺陷：等待延迟：如果请求不够32张，系统会一直等，直到凑齐或超时。显存浪费：如果某张图片尺寸特别大（比如1920×1080），固定batch size可能导致OOM。反例代码：静态批处理的“死亡等待”importtime