简介基于OpenPose卷积神经网络的人体姿态识别及预警系统完整项目面向计算机相关专业学生与算法开发者覆盖从模型训练到部署预警的全流程适合毕业设计、课程设计及项目演示。资源共148个文件压缩包约232MB以Python源码62个py为核心配合UI界面、XML配置、YAML参数、训练好的PTH/PT权重模型以及mp4演示视频、图片和说明文档可直观对照学习姿态估计、关键点检测与异常预警的实现思路。目前已有186人学习下载。内含部署教程文档、全部数据集和已训练模型并附带跨平台运行测试记录在Windows和macOS环境下均验证通过另附Dockerfile与shell脚本便于快速复现环境数据库文件与CSV记录则支撑实时预警与管理功能。从原始视频到最终预警输出路径完整代码注释清晰适合在此基础上继续改进或直接用于答辩展示。1. 基于OpenPose卷积神经网络的人体姿态识别及预警系统先想清楚预警挂在哪一层拿到这个压缩包别急着解压跑 demo。标题里最值钱的是“预警系统”四个字而不是前面的 OpenPose 卷积神经网络姿态识别。骨架检测网络只负责把每帧图像里的人变成 18 个关键点坐标跌倒预警、姿态异常报警全都得在关键点之上另加一套时序判定逻辑。源码、部署教程、全部数据、训练好的模型是典型的课程高分项目交付物从业者能复用的只有三样可复现的环境、能加载的权重、清晰的数据组织方式。下面按“网络结构 → 环境部署 → 预警规则 → 验证排错”展开适合做跌倒预警、工业安全监控、运动姿态纠正的工程师也适合要把这类项目吃透后二次开发的人。2. 理解 OpenPose 的卷积神经网络结构关键点热图与 PAF 是预警输入的地基2.1 两分支多阶段设计热图定位置PAF 定归属OpenPose 的经典实现取 ImageNet 预训练 VGG-19 的前几层卷积特征作为主干后面级联多个 stage每个 stage 同时输出两组张量一组是关键点置信度热图heatmap另一组是部分亲和场Part Affinity FieldsPAF。热图回答“第 k 个关节可能出现在哪些位置”PAF 回答“散落在图像各处的关键点哪些属于同一个人”。两个分支共享主干但参数独立stage 越深感受野越大匹配结果越可靠。看它的卷积神经网络结构图最直观的是两条分叉支路逐级细化。stage 内部由 3×3 卷积加 1×1 卷积堆叠而成3×3 负责局部邻域特征细化1×1 负责跨通道融合整条链路没有全连接层所以输入尺寸可以任意只要能被 8 整除。把卷积、池化、步长、核、填充这几个概念对号入座主干靠池化和步长 2 的卷积下采样分支用步长 1、填充 1 保持分辨率输出热图的尺寸是输入图像的 1/8。比如输入 368×368热图就是 46×46。训练阶段另一个关键点是多阶段监督。每个 stage 的预测都和真实标签计算一次损失这相当于逼着浅层阶段也产出接近最终答案的中间结果级联结构才能收敛。后来很多姿态估计网络沿用多阶段损失设计根本原因就在这里。提示预警系统的输入不是原始图像而是热图和 PAF 这两个中间张量。理解偏了看部署包里的推理代码时会一直纠结“为什么输出不是坐标而是一堆通道”。2.2 COCO 18 点骨架预警规则直接引用的坐标索引课程项目的模型输出基本按 COCO 18 点定义索引从 0 到 17。写规则引擎之前必须先核对索引约定否则把颈部当头部、髋部左右拿反角度计算全错。18 个关键点在预警里的典型用途如下。| 索引 | 关键点 | 预警里的典型用途 | | 0 | 鼻尖 | 头部朝向辅助判断 | | 1 | 颈部 | 躯干倾角计算的主参考点 | | 2 / 5 | 右 / 左肩 | 上肢姿态、重心摆动区间 | | 3 / 6 | 右 / 左肘 | 动作幅度辅助 | | 4 / 7 | 右 / 左手腕 | 是否伸手扶墙、支撑状态 | | 8 / 11 | 右 / 左髋 | 躯干底端、身体高度计算 | | 9 / 12 | 右 / 左膝 | 区分下蹲与屈膝 | | 10 / 13 | 右 / 左脚踝 | 站立支撑面判断 | | 14 / 15 | 右 / 左眼 | 头部旋转辅助一般不用 | | 16 / 17 | 右 / 左耳 | 同上 |PAF 的通道数是成对的一段连接占两个通道分别存向量在 x、y 方向的分量。19 段连接覆盖颈部到左右肩、肩到肘、肘到腕、肩到髋、髋到膝、膝到踝等主干路径。匹配时用候选关键点连线方向与 PAF 向量方向做积分方向一致才判定属于同一人。单人场景可以用简化逻辑多人交叉时没有 PAF 这一步手脚必然接错人角度和速度全都会算歪。2.3 姿态识别与行为识别的边界预警必须引入时间维OpenPose 每一帧给出的都是独立的姿态它不理解“这个人正在摔倒”。摔倒、站立、弯腰、蹲下属于行为或动作需要把连续帧串起来。常见做法是维护一个 0.5 秒左右的骨架滑动窗口把窗口内坐标变化率、角度变化率喂给轻量分类器或者直接走显式规则。理解这个边界就能看懂部署包里的预警代码为什么长得像一个状态机而不是一个端到端神经网络。3. 本地部署教程源码目录、运行环境与训练好的模型如何核对3.1 解包后的标准工程结构先别急着装环境把解压后的目录完整看一遍。高分项目交付物的目录通常长这样project/ ├── configs/ │ └── pose_cfg.yaml # 网络结构、输入尺寸、训练超参 ├── data/ │ ├── images/ # 原始图像或视频抽帧 │ ├── annotations/ # 关键点标注 json / xml │ └── split/ # train.txt / val.txt / test.txt ├── models/ │ ├── openpose.py # 多阶段网络定义 │ ├── backbones/ # VGG 等主干定义 │ └── weights/ │ └── best.pth # 训练好的模型 ├── scripts/ │ ├── train.py │ ├── infer.py │ └── alert.py # 预警规则 ├── docs/ │ └── 部署文档.md └── requirements.txt第一遍只读 configs 和 docs第二遍再看 scripts。pose_cfg.yaml 里锁定了输入尺寸、stage 数量、关键点数量三项最关键的配置任何一项和权重文件不匹配后面加载模型都会报错。data 目录下 annotations 里的标注格式要重点看一般是每帧每人的 18 组 (x, y, score)score 表示该点标注置信度训练时要拿它做加权损失。split 目录如果只有 train.txt 没有 val.txt说明项目可能没做独立验证集复现指标时要注意别把训练集指标当成泛化结果。3.2 用 conda 复现 PyTorch 推理环境部署包带的 requirements.txt 不一定锁死 PyTorch 版本而训练好的模型对 torch 版本敏感最稳妥的做法是严格按照 docs/部署文档.md 里写的环境重装。文档缺失时按下面这条路径走conda create -n openpose python3.9 -y conda activate openpose pip install torch1.13.1 torchvision0.14.1 --index-url https://download.pytorch.org/whl/cu117 pip install -r requirements.txt第一行创建独立的 Python 3.9 环境避免把系统 Python 搞乱。第三行从 PyTorch 官方 wheel 源安装 GPU 版cu117 对应 CUDA 11.7部署机器没有独立显卡时去掉 --index-url 参数直接装 CPU 版先验证整条推理链路能跑通。装完立刻执行下面的探针脚本确认基础依赖import torch, cv2 print(torch, torch.__version__, cuda, torch.cuda.is_available()) print(cv2, cv2.__version__)torch.cuda.is_available() 返回 False 不一定是环境坏了也可能是 torch 版本和显卡驱动不匹配。cv2 版本要特别留意requirements.txt 里如果同时混入 opencv-python 和 opencv-contrib-python 两个包cv2 会报符号缺失处理办法是只保留其中一个。3.3 加载训练好的模型并检查前向输出环境就绪后用一段脚本把网络定义和权重文件对起来这一步能过滤掉部署包最常见的两类问题state_dict 键名不匹配、DataParallel 前缀残留。import torch, yaml from models.openpose import build_model cfg yaml.safe_load(open(configs/pose_cfg.yaml)) net build_model(cfg) ckpt torch.load(models/weights/best.pth, map_locationcpu, weights_onlyFalse) state ckpt[state_dict] if isinstance(ckpt, dict) and state_dict in ckpt else ckpt state {k.replace(module., ): v for k, v in state.items()} missing, unexpected net.load_state_dict(state, strictFalse) print(missing:, len(missing), unexpected:, len(unexpected)) net.eval() dummy torch.randn(1, 3, 368, 368) with torch.no_grad(): heatmaps, pafs net(dummy) print(heatmaps.shape, pafs.shape)torch.load 里的 weights_onlyFalse 是 PyTorch 2.6 之后加载包含自定义类权重时的常用写法老版本不需要。missing 为空才正常非空说明 configs 里的 stage 数或关键点数与权重训练时不一致。unexpected 里大量出现 “module.” 前缀的键说明模型用 DataParallel 训练前面的 replace 已经处理了。期望输出是 (1, 19, 46, 46) 和 (1, 38, 46, 46)19 通道是 18 个关键点加 1 个背景46 是 368 除以 8 的结果。推理代码里还有个隐藏坑OpenCV 读进来是 BGR模型训练时用的是 RGB还得做归一化。加载权重后先跑一张真实图片看关键点是否叠在正确位置如果整体偏且置信度低优先查颜色通道顺序img cv2.cvtColor(frame_bgr, cv2.COLOR_BGR2RGB) img cv2.resize(img, (368, 368)) x img.astype(np.float32) / 255.0 x (x - np.array([0.485, 0.456, 0.406])) / np.array([0.229, 0.224, 0.225]) x torch.from_numpy(x).permute(2, 0, 1).unsqueeze(0).float()缩放用 cv2.resize归一化的均值和标准差取 ImageNet 的默认值和训练时一致。如果部署文档里写了自定义 mean/std以文档为准这是新手最容易忽略的“数据预处理不一致导致精度崩掉”的典型案例。4. 预警系统的实现最小推理、参数整定与告警状态机4.1 从热图到坐标最小推理代码单人跌倒场景下不需要把完整的 PAF 贪心匹配写出来直接对每张热图取全局最大值就能得到关节坐标代码量小、便于调试。def decode_keypoints(heatmaps, stride8, conf_thresh0.5): 从 18 张热图里取每个关节的峰值位置返回 (x, y, score) 列表 pts [] for k in range(18): hm heatmaps[0, k] score, idx torch.max(hm.view(-1), 0) if float(score) conf_thresh: pts.append(None) continue y, x divmod(int(idx), hm.shape[1]) pts.append((int(x * stride), int(y * stride), float(score))) return ptsstride8 是把 46×46 热图坐标映射回 368×368 原图的关键参数Heatmap 上偏移 1 像素对应原图 8 像素。置信度低于 conf_thresh 的关节直接置 None规则引擎后续遇到 None 要能跳过不能直接参与角度计算。这段代码的局限是每张热图只取一个点画面里出现第二个人时会被漏掉所以它只适用于单人监控场景。推理主循环把图像预处理、网络前向、坐标解码串起来def infer_frame(net, frame_bgr, cfg): h, w cfg[input_size] img cv2.cvtColor(frame_bgr, cv2.COLOR_BGR2RGB) img cv2.resize(img, (w, h)) x img.astype(np.float32) / 255.0 x (x - np.array(cfg[mean])) / np.array(cfg[std]) x torch.from_numpy(x).permute(2, 0, 1).unsqueeze(0).float() with torch.no_grad(): heatmaps, pafs net(x) return decode_keypoints(heatmaps)pafs 在这个简化流程里没用到但它仍然是网络输出的必需部分。cfg[mean] 和 cfg[std] 直接从 pose_cfg.yaml 读不要再写死一份避免改配置时两处不同步。4.2 预警触发的 3 个必调参数预警系统上线后调得最多的就是下面三个参数。它们互相牵制调整顺序建议是 confidence → angle → frames。| 参数名 | 推荐范围 | 作用 | 调错的后果 | | conf_thresh | 0.4 ~ 0.7 | 关键点置信度下限 | 调太低骨架乱跳调太高整帧拿不到完整骨架 | | angle_th | 45° ~ 60° | 躯干与竖直方向的夹角阈值 | 调太小弯腰捡东西就误报调太大侧滑跌倒漏报 | | confirm_frames | 3 ~ 5 帧 | 持续满足条件才确认告警 | 调太小单帧抖动就报警调太大真实跌倒延迟明显 |confirm_frames 的单位是帧不是秒如果摄像头帧率波动大按帧计数会不准。稳妥做法是按时间窗口换算30 fps 下 4 帧约 133 ms写成帧数时把 fps 参与计算。conf_thresh 建议对着可视化调把低于阈值的关节画成灰色高于阈值的画成彩色一眼就能看出漏检集中在哪个部位。4.3 跌倒告警状态机与多目标关联有了躯干倾角和关键点坐标预警规则就变成一个三态状态机NORMAL正常→ FALLING疑似跌落→ DOWN倒地确认→ 触发 ALARM。from collections import deque from math import degrees, atan2 def torso_angle(pts): 颈部到双侧髋部中点的向量与竖直方向夹角单位度 if pts[1] is None or pts[8] is None or pts[11] is None: return None neck pts[1] mid_hip ((pts[8][0] pts[11][0]) / 2, (pts[8][1] pts[11][1]) / 2) dx, dy neck[0] - mid_hip[0], neck[1] - mid_hip[1] return degrees(atan2(dx, -dy)) class FallAlarm: def __init__(self, angle_th50, confirm_frames4): self.angle_th angle_th self.confirm_frames confirm_frames self.count 0 def update(self, pts): ang torso_angle(pts) if ang is None: self.count max(0, self.count - 1) return False self.count self.count 1 if ang self.angle_th else 0 return self.count self.confirm_framestorso_angle 里颈部到髋部中点的向量站立时指向屏幕上方atan2(dx, -dy) 约等于 0倒地时向量接近水平角度逼近 90。状态机只认连续帧数角度偶尔超过阈值不会触发持续超阈值才报警这就是 confirm_frames 存在的意义。只靠躯干角度会误判弯腰捡物和侧躺休息。常见做法是叠加第二路判断计算人体包围框的宽高比站立时高显著大于宽倒地后宽大于高再算颈部关键点在数帧内的下落速度速度高判跌倒速度低判下蹲。两路同时满足才进入 DOWN 状态误报能压掉大半。多人同框时需要先做目标关联再进状态机。常见做法是维护上一帧每个目标的颈部坐标当前帧候选目标与历史颈部坐标做最近邻匹配距离阈值取骨架高度的 0.3 倍左右超过阈值的当作新目标。这样两个人都出现在画面里时状态机不会把 A 的躯干角和 B 的髋部拼成一条假骨架。5. 部署后的验证技巧离线回放、指标计算与实时流排错5.1 用离线视频回放算漏报率与告警延迟接摄像头之前准备一段带跌倒标注的视频把全部逻辑冻住跑回放。标注文件里每个条目记录帧号和标签脚本统计两个指标漏报率和告警延迟。告警延迟定义为真实跌倒起始帧到系统首次触发报警帧的间隔多数场景要求在 3~5 帧内。延迟偏大说明 confirm_frames 太长或 FALLING 到 DOWN 的转换条件过于苛刻。回放时把轨迹可视化一起录下来哪一帧开始倾斜、哪一帧开始报警逐帧对照比只看数字有用得多。5.2 实时流排错顺序与告警留证实时流出问题按三个顺序查。第一查推理耗时在 GPU 上 368×368 单帧推理常见在 30~80 毫秒CPU 上可能要一秒以上卡顿先缩输入尺寸到 320×320或把模型导出成 ONNX 用 ONNX Runtime 跑。第二查置信度把低于阈值的关节点画灰漏检位置一目了然。第三查多人遮挡导致的 ID 跳变报警闪烁多半是目标关联没做而不是模型坏了。最后一个实用技巧是告警自动留证。触发告警那一帧把原图、骨架叠加图、18 个关键点坐标和置信度一起写盘文件名带时间戳cv2.imwrite(falerts/{ts}_frame.jpg, frame) cv2.imwrite(falerts/{ts}_skeleton.jpg, vis_frame) json.dump({points: pts, scores: scores}, open(falerts/{ts}.json, w))这样回查时不需要重新跑模型现场画面和历史轨迹一次看全后续做误报分析也有了原始素材。本文还有配套的精品资源点击获取 OpenPose人体姿态识别及预警系统：从关键点检测到部署实践
简介基于OpenPose卷积神经网络的人体姿态识别及预警系统完整项目面向计算机相关专业学生与算法开发者覆盖从模型训练到部署预警的全流程适合毕业设计、课程设计及项目演示。资源共148个文件压缩包约232MB以Python源码62个py为核心配合UI界面、XML配置、YAML参数、训练好的PTH/PT权重模型以及mp4演示视频、图片和说明文档可直观对照学习姿态估计、关键点检测与异常预警的实现思路。目前已有186人学习下载。内含部署教程文档、全部数据集和已训练模型并附带跨平台运行测试记录在Windows和macOS环境下均验证通过另附Dockerfile与shell脚本便于快速复现环境数据库文件与CSV记录则支撑实时预警与管理功能。从原始视频到最终预警输出路径完整代码注释清晰适合在此基础上继续改进或直接用于答辩展示。1. 基于OpenPose卷积神经网络的人体姿态识别及预警系统先想清楚预警挂在哪一层拿到这个压缩包别急着解压跑 demo。标题里最值钱的是“预警系统”四个字而不是前面的 OpenPose 卷积神经网络姿态识别。骨架检测网络只负责把每帧图像里的人变成 18 个关键点坐标跌倒预警、姿态异常报警全都得在关键点之上另加一套时序判定逻辑。源码、部署教程、全部数据、训练好的模型是典型的课程高分项目交付物从业者能复用的只有三样可复现的环境、能加载的权重、清晰的数据组织方式。下面按“网络结构 → 环境部署 → 预警规则 → 验证排错”展开适合做跌倒预警、工业安全监控、运动姿态纠正的工程师也适合要把这类项目吃透后二次开发的人。2. 理解 OpenPose 的卷积神经网络结构关键点热图与 PAF 是预警输入的地基2.1 两分支多阶段设计热图定位置PAF 定归属OpenPose 的经典实现取 ImageNet 预训练 VGG-19 的前几层卷积特征作为主干后面级联多个 stage每个 stage 同时输出两组张量一组是关键点置信度热图heatmap另一组是部分亲和场Part Affinity FieldsPAF。热图回答“第 k 个关节可能出现在哪些位置”PAF 回答“散落在图像各处的关键点哪些属于同一个人”。两个分支共享主干但参数独立stage 越深感受野越大匹配结果越可靠。看它的卷积神经网络结构图最直观的是两条分叉支路逐级细化。stage 内部由 3×3 卷积加 1×1 卷积堆叠而成3×3 负责局部邻域特征细化1×1 负责跨通道融合整条链路没有全连接层所以输入尺寸可以任意只要能被 8 整除。把卷积、池化、步长、核、填充这几个概念对号入座主干靠池化和步长 2 的卷积下采样分支用步长 1、填充 1 保持分辨率输出热图的尺寸是输入图像的 1/8。比如输入 368×368热图就是 46×46。训练阶段另一个关键点是多阶段监督。每个 stage 的预测都和真实标签计算一次损失这相当于逼着浅层阶段也产出接近最终答案的中间结果级联结构才能收敛。后来很多姿态估计网络沿用多阶段损失设计根本原因就在这里。提示预警系统的输入不是原始图像而是热图和 PAF 这两个中间张量。理解偏了看部署包里的推理代码时会一直纠结“为什么输出不是坐标而是一堆通道”。2.2 COCO 18 点骨架预警规则直接引用的坐标索引课程项目的模型输出基本按 COCO 18 点定义索引从 0 到 17。写规则引擎之前必须先核对索引约定否则把颈部当头部、髋部左右拿反角度计算全错。18 个关键点在预警里的典型用途如下。| 索引 | 关键点 | 预警里的典型用途 | | 0 | 鼻尖 | 头部朝向辅助判断 | | 1 | 颈部 | 躯干倾角计算的主参考点 | | 2 / 5 | 右 / 左肩 | 上肢姿态、重心摆动区间 | | 3 / 6 | 右 / 左肘 | 动作幅度辅助 | | 4 / 7 | 右 / 左手腕 | 是否伸手扶墙、支撑状态 | | 8 / 11 | 右 / 左髋 | 躯干底端、身体高度计算 | | 9 / 12 | 右 / 左膝 | 区分下蹲与屈膝 | | 10 / 13 | 右 / 左脚踝 | 站立支撑面判断 | | 14 / 15 | 右 / 左眼 | 头部旋转辅助一般不用 | | 16 / 17 | 右 / 左耳 | 同上 |PAF 的通道数是成对的一段连接占两个通道分别存向量在 x、y 方向的分量。19 段连接覆盖颈部到左右肩、肩到肘、肘到腕、肩到髋、髋到膝、膝到踝等主干路径。匹配时用候选关键点连线方向与 PAF 向量方向做积分方向一致才判定属于同一人。单人场景可以用简化逻辑多人交叉时没有 PAF 这一步手脚必然接错人角度和速度全都会算歪。2.3 姿态识别与行为识别的边界预警必须引入时间维OpenPose 每一帧给出的都是独立的姿态它不理解“这个人正在摔倒”。摔倒、站立、弯腰、蹲下属于行为或动作需要把连续帧串起来。常见做法是维护一个 0.5 秒左右的骨架滑动窗口把窗口内坐标变化率、角度变化率喂给轻量分类器或者直接走显式规则。理解这个边界就能看懂部署包里的预警代码为什么长得像一个状态机而不是一个端到端神经网络。3. 本地部署教程源码目录、运行环境与训练好的模型如何核对3.1 解包后的标准工程结构先别急着装环境把解压后的目录完整看一遍。高分项目交付物的目录通常长这样project/ ├── configs/ │ └── pose_cfg.yaml # 网络结构、输入尺寸、训练超参 ├── data/ │ ├── images/ # 原始图像或视频抽帧 │ ├── annotations/ # 关键点标注 json / xml │ └── split/ # train.txt / val.txt / test.txt ├── models/ │ ├── openpose.py # 多阶段网络定义 │ ├── backbones/ # VGG 等主干定义 │ └── weights/ │ └── best.pth # 训练好的模型 ├── scripts/ │ ├── train.py │ ├── infer.py │ └── alert.py # 预警规则 ├── docs/ │ └── 部署文档.md └── requirements.txt第一遍只读 configs 和 docs第二遍再看 scripts。pose_cfg.yaml 里锁定了输入尺寸、stage 数量、关键点数量三项最关键的配置任何一项和权重文件不匹配后面加载模型都会报错。data 目录下 annotations 里的标注格式要重点看一般是每帧每人的 18 组 (x, y, score)score 表示该点标注置信度训练时要拿它做加权损失。split 目录如果只有 train.txt 没有 val.txt说明项目可能没做独立验证集复现指标时要注意别把训练集指标当成泛化结果。3.2 用 conda 复现 PyTorch 推理环境部署包带的 requirements.txt 不一定锁死 PyTorch 版本而训练好的模型对 torch 版本敏感最稳妥的做法是严格按照 docs/部署文档.md 里写的环境重装。文档缺失时按下面这条路径走conda create -n openpose python3.9 -y conda activate openpose pip install torch1.13.1 torchvision0.14.1 --index-url https://download.pytorch.org/whl/cu117 pip install -r requirements.txt第一行创建独立的 Python 3.9 环境避免把系统 Python 搞乱。第三行从 PyTorch 官方 wheel 源安装 GPU 版cu117 对应 CUDA 11.7部署机器没有独立显卡时去掉 --index-url 参数直接装 CPU 版先验证整条推理链路能跑通。装完立刻执行下面的探针脚本确认基础依赖import torch, cv2 print(torch, torch.__version__, cuda, torch.cuda.is_available()) print(cv2, cv2.__version__)torch.cuda.is_available() 返回 False 不一定是环境坏了也可能是 torch 版本和显卡驱动不匹配。cv2 版本要特别留意requirements.txt 里如果同时混入 opencv-python 和 opencv-contrib-python 两个包cv2 会报符号缺失处理办法是只保留其中一个。3.3 加载训练好的模型并检查前向输出环境就绪后用一段脚本把网络定义和权重文件对起来这一步能过滤掉部署包最常见的两类问题state_dict 键名不匹配、DataParallel 前缀残留。import torch, yaml from models.openpose import build_model cfg yaml.safe_load(open(configs/pose_cfg.yaml)) net build_model(cfg) ckpt torch.load(models/weights/best.pth, map_locationcpu, weights_onlyFalse) state ckpt[state_dict] if isinstance(ckpt, dict) and state_dict in ckpt else ckpt state {k.replace(module., ): v for k, v in state.items()} missing, unexpected net.load_state_dict(state, strictFalse) print(missing:, len(missing), unexpected:, len(unexpected)) net.eval() dummy torch.randn(1, 3, 368, 368) with torch.no_grad(): heatmaps, pafs net(dummy) print(heatmaps.shape, pafs.shape)torch.load 里的 weights_onlyFalse 是 PyTorch 2.6 之后加载包含自定义类权重时的常用写法老版本不需要。missing 为空才正常非空说明 configs 里的 stage 数或关键点数与权重训练时不一致。unexpected 里大量出现 “module.” 前缀的键说明模型用 DataParallel 训练前面的 replace 已经处理了。期望输出是 (1, 19, 46, 46) 和 (1, 38, 46, 46)19 通道是 18 个关键点加 1 个背景46 是 368 除以 8 的结果。推理代码里还有个隐藏坑OpenCV 读进来是 BGR模型训练时用的是 RGB还得做归一化。加载权重后先跑一张真实图片看关键点是否叠在正确位置如果整体偏且置信度低优先查颜色通道顺序img cv2.cvtColor(frame_bgr, cv2.COLOR_BGR2RGB) img cv2.resize(img, (368, 368)) x img.astype(np.float32) / 255.0 x (x - np.array([0.485, 0.456, 0.406])) / np.array([0.229, 0.224, 0.225]) x torch.from_numpy(x).permute(2, 0, 1).unsqueeze(0).float()缩放用 cv2.resize归一化的均值和标准差取 ImageNet 的默认值和训练时一致。如果部署文档里写了自定义 mean/std以文档为准这是新手最容易忽略的“数据预处理不一致导致精度崩掉”的典型案例。4. 预警系统的实现最小推理、参数整定与告警状态机4.1 从热图到坐标最小推理代码单人跌倒场景下不需要把完整的 PAF 贪心匹配写出来直接对每张热图取全局最大值就能得到关节坐标代码量小、便于调试。def decode_keypoints(heatmaps, stride8, conf_thresh0.5): 从 18 张热图里取每个关节的峰值位置返回 (x, y, score) 列表 pts [] for k in range(18): hm heatmaps[0, k] score, idx torch.max(hm.view(-1), 0) if float(score) conf_thresh: pts.append(None) continue y, x divmod(int(idx), hm.shape[1]) pts.append((int(x * stride), int(y * stride), float(score))) return ptsstride8 是把 46×46 热图坐标映射回 368×368 原图的关键参数Heatmap 上偏移 1 像素对应原图 8 像素。置信度低于 conf_thresh 的关节直接置 None规则引擎后续遇到 None 要能跳过不能直接参与角度计算。这段代码的局限是每张热图只取一个点画面里出现第二个人时会被漏掉所以它只适用于单人监控场景。推理主循环把图像预处理、网络前向、坐标解码串起来def infer_frame(net, frame_bgr, cfg): h, w cfg[input_size] img cv2.cvtColor(frame_bgr, cv2.COLOR_BGR2RGB) img cv2.resize(img, (w, h)) x img.astype(np.float32) / 255.0 x (x - np.array(cfg[mean])) / np.array(cfg[std]) x torch.from_numpy(x).permute(2, 0, 1).unsqueeze(0).float() with torch.no_grad(): heatmaps, pafs net(x) return decode_keypoints(heatmaps)pafs 在这个简化流程里没用到但它仍然是网络输出的必需部分。cfg[mean] 和 cfg[std] 直接从 pose_cfg.yaml 读不要再写死一份避免改配置时两处不同步。4.2 预警触发的 3 个必调参数预警系统上线后调得最多的就是下面三个参数。它们互相牵制调整顺序建议是 confidence → angle → frames。| 参数名 | 推荐范围 | 作用 | 调错的后果 | | conf_thresh | 0.4 ~ 0.7 | 关键点置信度下限 | 调太低骨架乱跳调太高整帧拿不到完整骨架 | | angle_th | 45° ~ 60° | 躯干与竖直方向的夹角阈值 | 调太小弯腰捡东西就误报调太大侧滑跌倒漏报 | | confirm_frames | 3 ~ 5 帧 | 持续满足条件才确认告警 | 调太小单帧抖动就报警调太大真实跌倒延迟明显 |confirm_frames 的单位是帧不是秒如果摄像头帧率波动大按帧计数会不准。稳妥做法是按时间窗口换算30 fps 下 4 帧约 133 ms写成帧数时把 fps 参与计算。conf_thresh 建议对着可视化调把低于阈值的关节画成灰色高于阈值的画成彩色一眼就能看出漏检集中在哪个部位。4.3 跌倒告警状态机与多目标关联有了躯干倾角和关键点坐标预警规则就变成一个三态状态机NORMAL正常→ FALLING疑似跌落→ DOWN倒地确认→ 触发 ALARM。from collections import deque from math import degrees, atan2 def torso_angle(pts): 颈部到双侧髋部中点的向量与竖直方向夹角单位度 if pts[1] is None or pts[8] is None or pts[11] is None: return None neck pts[1] mid_hip ((pts[8][0] pts[11][0]) / 2, (pts[8][1] pts[11][1]) / 2) dx, dy neck[0] - mid_hip[0], neck[1] - mid_hip[1] return degrees(atan2(dx, -dy)) class FallAlarm: def __init__(self, angle_th50, confirm_frames4): self.angle_th angle_th self.confirm_frames confirm_frames self.count 0 def update(self, pts): ang torso_angle(pts) if ang is None: self.count max(0, self.count - 1) return False self.count self.count 1 if ang self.angle_th else 0 return self.count self.confirm_framestorso_angle 里颈部到髋部中点的向量站立时指向屏幕上方atan2(dx, -dy) 约等于 0倒地时向量接近水平角度逼近 90。状态机只认连续帧数角度偶尔超过阈值不会触发持续超阈值才报警这就是 confirm_frames 存在的意义。只靠躯干角度会误判弯腰捡物和侧躺休息。常见做法是叠加第二路判断计算人体包围框的宽高比站立时高显著大于宽倒地后宽大于高再算颈部关键点在数帧内的下落速度速度高判跌倒速度低判下蹲。两路同时满足才进入 DOWN 状态误报能压掉大半。多人同框时需要先做目标关联再进状态机。常见做法是维护上一帧每个目标的颈部坐标当前帧候选目标与历史颈部坐标做最近邻匹配距离阈值取骨架高度的 0.3 倍左右超过阈值的当作新目标。这样两个人都出现在画面里时状态机不会把 A 的躯干角和 B 的髋部拼成一条假骨架。5. 部署后的验证技巧离线回放、指标计算与实时流排错5.1 用离线视频回放算漏报率与告警延迟接摄像头之前准备一段带跌倒标注的视频把全部逻辑冻住跑回放。标注文件里每个条目记录帧号和标签脚本统计两个指标漏报率和告警延迟。告警延迟定义为真实跌倒起始帧到系统首次触发报警帧的间隔多数场景要求在 3~5 帧内。延迟偏大说明 confirm_frames 太长或 FALLING 到 DOWN 的转换条件过于苛刻。回放时把轨迹可视化一起录下来哪一帧开始倾斜、哪一帧开始报警逐帧对照比只看数字有用得多。5.2 实时流排错顺序与告警留证实时流出问题按三个顺序查。第一查推理耗时在 GPU 上 368×368 单帧推理常见在 30~80 毫秒CPU 上可能要一秒以上卡顿先缩输入尺寸到 320×320或把模型导出成 ONNX 用 ONNX Runtime 跑。第二查置信度把低于阈值的关节点画灰漏检位置一目了然。第三查多人遮挡导致的 ID 跳变报警闪烁多半是目标关联没做而不是模型坏了。最后一个实用技巧是告警自动留证。触发告警那一帧把原图、骨架叠加图、18 个关键点坐标和置信度一起写盘文件名带时间戳cv2.imwrite(falerts/{ts}_frame.jpg, frame) cv2.imwrite(falerts/{ts}_skeleton.jpg, vis_frame) json.dump({points: pts, scores: scores}, open(falerts/{ts}.json, w))这样回查时不需要重新跑模型现场画面和历史轨迹一次看全后续做误报分析也有了原始素材。本文还有配套的精品资源点击获取