动态未知环境下的自主避障是移动机器人实现自主导航的核心基础能力对工业物流、室内服务等场景的机器人落地应用具有重要的实际工程价值。传统移动机器人避障方法高度依赖环境先验地图与人工预定义规则在动态未知场景中对多变障碍物的适配能力不足而深度 Q 网络算法在本科教学与毕设应用中存在从理论到工程落地缺少完整训练 - 评估 - 演示闭环、复现门槛高的问题。该研究以深度 Q 网络为核心算法先通过 CartPole-v1 倒立摆标准环境完成算法收敛性与稳定性验证自主设计适配算法离散动作特性的二维动态避障仿真环境完成离散动作空间、激光雷达感知仿真、多维度奖励函数的全模块开发同时搭建基于 FastAPI 与 Vue3 的前后端分离可视化平台实现算法全流程的闭环展示。实验结果表明设计的系统在 5 类典型动态场景中实现 100% 的避障成功率碰撞率与超时率均为 0可在普通家用 CPU 设备上流畅运行为本科深度强化学习教学实验、移动机器人避障算法验证提供了低门槛、可复用的完整方案。关键词DQN移动机器人动态避障强化学习可视化1.3研究目标与主要工作1.3.1 研究目标该研究以基础 DQN 算法为核心围绕移动机器人动态避障场景完成算法从理论到工程化的完整落地最终实现两大核心目标。第一算法层面从零实现 DQN 算法的全流程模块完成适配 DQN 算法的移动机器人动态避障仿真环境设计验证 DQN 算法在动态未知环境中的避障性能解决传统避障方法在动态场景中适应性不足的问题。第二系统层面搭建一套前后端分离的可视化系统实现 DQN 算法训练、多场景评估、参数对比分析、避障过程动画演示的全流程闭环解决深度强化学习算法落地过程中缺少可视化演示载体、复现门槛高的问题最终形成一套可直接用于本科教学、算法验证与毕设答辩的完整系统。1.3.2 主要工作该研究完成的主要工作包括以下几个方面(1)完成 DQN 算法的全流程从零实现。基于 PyTorch 框架完成 DQN 核心网络的模块化设计实现经验回放池、ε-greedy 探索策略、目标网络同步、损失计算与参数更新等核心模块搭建完整的 DQN 训练器与推理器并通过 CartPole-v1 倒立摆标准环境完成算法的收敛性与稳定性验证。(2)完成移动机器人动态避障仿真环境的自主设计。针对 DQN 算法的离散动作特性设计包含 5 个基础动作的离散动作空间完成机器人、动态障碍物、目标点的环境实体建模实现 16 线束激光雷达的感知仿真与环境状态编码设计多维度复合奖励函数引导机器人学习避障策略同时完成随机场景生成器的开发提升模型的泛化能力。(3)完成多组对照实验与结果分析。设计完整的实验方案完成动态避障多场景评估实验验证算法的避障性能通过控制变量法完成 5 组核心超参数的对比实验分析超参数对训练效果的影响规律完成两组消融实验验证目标网络机制与多维度奖励函数设计的必要性为算法优化提供依据。(4)完成动态避障系统的前后端工程开发。基于 FastAPI 框架开发后端服务封装算法训练、评估、结果读取的核心接口通过 Pydantic 实现前后端数据契约的统一基于 Vue3 框架开发前端可视化平台设计实验总览、倒立摆验证、参数分析、动态避障、避障演示 5 个核心页面实现训练曲线、评估指标、避障轨迹动画的直观可视化展示。(5)完成系统的性能测试与优化。在普通家用 CPU 环境中完成系统的全流程性能测试优化训练与推理效率保证系统的训练耗时、接口响应速度、动画播放流畅度均达到实际使用要求最终实现系统的零硬件门槛运行。3.2.2 离散动作空间设计为适配 DQN 算法的离散输出特性该课题设计了5个离散动作构成的动作空间动作设计覆盖机器人的基础机动行为与复合避障动作动作数量适中既保证了机器人的运动表达能力又避免了动作空间过大导致的训练难度提升问题。动作空间的完整设计如表3-2所示表3-3 离散动作空间设计动作编号动作名称线速度m/s转向速率rad/s动作说明0直行0.450.0保持当前朝向向前直线移动1原地左转0.00.55保持位置不变原地向左转动2原地右转0.0-0.55保持位置不变原地向右转动3前进左转0.450.55向前移动的同时向左转向4前进右转0.45-0.55向前移动的同时向右转向3.2.3 环境核心实体建模环境内的核心实体分为机器人、目标点、动态障碍物三类所有实体的物理参数与运动学建模均为自主设计各类实体的建模细节如下1.机器人实体机器人采用差分运动学模型建模核心状态参数包含二维平面位置 (x, y)、朝向角 θ、线速度 v同时设置机器人碰撞半径为 0.45m当机器人与障碍物的距离小于该值时判定为发生碰撞。机器人的运动学更新完全遵循差分轮式机器人的运动规律保证仿真环境与真实机器人的运动特性一致。2.目标点实体目标点为环境内的固定位置点核心参数包含二维平面位置 (x, y)同时设置到达容差为0.5m当机器人与目标点的直线距离小于该值时判定为成功到达目标点回合正常终止。3.动态障碍物实体动态障碍物采用圆形刚体建模核心参数包含二维平面位置 (x, y)、二维速度向量 (vx, vy)、碰撞半径 0.35m。障碍物的运动策略包含随机游走、直线往返、预设固定轨迹三类训练过程中随机选择障碍物的运动策略丰富训练场景的多样性提升模型的泛化能力。3.2.4 单步环境状态更新流程单步环境状态更新是仿真环境的核心执行逻辑对应dynamic_avoidance_env.py文件中的step ()方法该方法接收智能体输出的离散动作完成整个环境的单步状态更新并向智能体反馈下一时刻状态、即时奖励与回合终止标志完整执行流程如图3-4所示。3.4 模型训练与推理流程实现课题对模型的训练与推理流程进行了解耦设计训练流程负责智能体避障策略的学习与优化推理流程负责训练完成后模型的策略执行与轨迹数据生成二者相互独立既保证了训练过程的稳定性也为后续的实验验证与前端可视化提供了标准化的轨迹数据支撑。3.4.1 DQN 训练器完整流程DQN 训练器的完整实现完全对应 backend/rl/trainers/dqn_trainer.py 代码文件是算法训练的核心载体完整流程分为初始化阶段与训练主循环阶段两部分具体执行逻辑如下1.初始化阶段初始化阶段的核心作用是完成训练前的全部准备工作保证训练过程的可复现性与稳定性具体执行流程如下表3-6 初始化阶段基本流程初始化阶段基本流程1. 读取YAML格式的训练配置文件加载环境、网络、训练的超参数2. 固定Python、NumPy、PyTorch的全局随机种子保证实验结果可复现3. 创建对应的强化学习环境倒立摆环境/动态避障环境4. 初始化在线DQN网络与目标DQN网络两个网络初始结构与参数完全一致5. 调用hard_update函数将在线网络的初始参数完全复制到目标网络6. 初始化Adam优化器设置对应的学习率与权重衰减参数7. 初始化固定容量的经验回放池8. 初始化ε-greedy探索策略设置初始探索率与衰减参数9. 初始化训练日志服务创建训练结果、模型权重、日志文件的存储目录2.训练主循环阶段训练主循环以回合为基本单位完成预设的总训练轮次每轮回合完成环境的完整交互与网络参数更新具体执行流程如下表3-6 单轮训练流程单轮训练流程1. 读取YAML格式的训练配置文件加载环境、网络、训练的超参数2. 固定Python、NumPy、PyTorch的全局随机种子保证实验结果可复现3. 创建对应的强化学习环境倒立摆环境/动态避障环境4. 初始化在线DQN网络与目标DQN网络两个网络初始结构与参数完全一致5. 调用hard_update函数将在线网络的初始参数完全复制到目标网络6. 初始化Adam优化器设置对应的学习率与权重衰减参数7. 初始化固定容量的经验回放池8. 初始化ε-greedy探索策略设置初始探索率与衰减参数9. 初始化训练日志服务创建训练结果、模型权重、日志文件的存储目录训练器采用统一的接口设计仅需更换环境实例与对应的配置文件即可同时支持倒立摆验证任务与动态避障任务具备良好的代码复用性与可扩展性。3.4.2 模型推理流程实现推理过程与训练过程完全解耦核心作用是加载训练完成的最佳模型执行纯贪心策略的避障决策同时记录完整的轨迹数据为后续的多场景性能评估与前端动画演示提供数据支撑。1.推理核心流程推理过程中关闭所有随机探索采用纯贪心策略始终选择 Q 值最大的动作同时关闭梯度计算提升推理速度完整执行流程如下表3-7 推理核心流程推理核心流程1.调用环境reset()函数完成环境重置获取初始观测状态observation2. 初始化回合内变量回合总奖励total_reward0.0、损失列表losses空列表、回合终止标志doneFalse3. 进入单回合内的步循环最大循环次数为单回合最大步数max_steps_per_episodea. 根据当前ε值通过ε-greedy策略选择动作生成随机数若小于ε则随机选择动作否则选择Q值最大的动作b. 调用环境step()函数执行动作获取下一时刻观测next_observation、即时奖励reward、终止标志done、辅助信息infoc. 将经验元组(obs, action, reward, next_obs, done)存入经验回放池d. 若经验回放池内的经验数量大于等于热身步数阈值warmup_sizei. 从回放池中随机抽取batch_size条经验组成训练批次ii. 通过在线网络计算当前状态对应动作的Q值iii. 通过目标网络计算下一状态所有动作的Q值并提取最大值iv. 基于Bellman方程计算目标Q值v. 计算当前Q值与目标Q值之间的Smooth L1损失vi. 执行反向传播计算梯度并执行梯度裁剪最大梯度范数设为1.0vii. 通过优化器更新在线网络的参数viii. 若当前全局步数达到目标网络更新间隔将在线网络参数完全同步到目标网络e. 将即时奖励reward累加到回合总奖励total_rewardf. 将当前观测状态更新为下一时刻观测next_observationg. 若终止标志done为True跳出步循环4. 调用ε-greedy策略的step()函数完成探索率的衰减更新5. 计算本轮训练的平均损失值若有参数更新6. 将本轮的回合奖励、平均损失、探索率等数据写入训练日志7. 若当前回合总奖励大于历史最佳奖励保存当前在线网络的权重为最佳模型8. 在控制台打印本轮训练的核心指标信息2.轨迹数据结构设计轨迹数据结构分为摘要信息与逐帧数据两部分其中摘要信息用于多场景评估的指标统计与快速展示逐帧数据用于单场景轨迹图绘制与前端动画逐帧播放。4.1.5 系统整体架构与运行数据流系统采用三层模块化架构设计各模块职责清晰、相互解耦整体架构如图4-1所示。各模块核心职责1.算法核心模块负责 DQN 算法的网络定义、训练、推理等核心逻辑2.数据管理模块负责配置管理、数据存储、结果服务等3.可视化展示模块负责后端 API 服务和前端页面展示4.3 动态避障性能测试与参数分析4.3.1 动态避障性能测试1 实验目的本实验的核心目的是验证自主设计的动态避障环境、离散动作空间、多维度奖励函数的有效性测试 DQN 算法在不同典型动态场景中的避障性能、稳定性与泛化能力验证课题提出的动态避障方法的实际应用效果。2 测试场景设计实验设计5类代表性动态测试场景覆盖移动机器人实际应用中的典型避障难点场景设计与特点如表 4-3 所示。表4-3 动态避障测试场景设计场景名称场景特点说明default_eval 默认场景基础动态避障场景包含 4 个随机游走的动态障碍物用于测试算法基础避障能力crossing_flow 交叉流场景障碍物从场景两侧交叉穿过形成动态交叉流测试机器人对相向运动障碍物的避障能力narrow_passage 狭窄通道场景场景两侧设置固定障碍物形成狭窄通道通道内存在动态障碍物测试机器人的精细避障与通道通行能力dense_center 中心密集场景场景中心区域设置密集动态障碍物簇目标点位于障碍物簇后方测试机器人的复杂环境绕行能力diagonal_reverse 对角反向场景机器人与障碍物沿对角反向运动易发生正面碰撞测试机器人对相向运动目标的实时避障能力3 实验结果5类测试场景的综合量化实验结果如表 4-4 所示每个场景完成 20 次重复测试取平均值作为最终结果。表4-4 动态避障任务综合量化实验结果指标名称数值总测试场景数100 次5 类场景 ×20 次重复成功到达目标场景数100 次发生碰撞场景数0 次超时未到达场景数0 次整体避障成功率100.00%整体碰撞率0.00%整体超时率0.00%平均路径长度10.80 场景单位平均回合回报103.47图4-3 倒立摆训练奖励曲线图4-4 倒立摆回合长度曲线4 实验结果分析结合量化数据与轨迹可视化结果可得到以下实验结论1.动态避障环境设计具备合理性。5类典型场景覆盖了不同难度的动态避障需求能够全面、有效地测试算法的避障性能环境建模贴合真实移动机器人的运动特性与感知逻辑训练完成的策略具备向真实场景迁移的潜力。2.离散动作空间设计具备有效性。设计的5个离散动作能够完整覆盖机器人的基础机动行为与复合避障动作机器人可根据不同场景灵活选择动作实现直行、转向、绕行等多种避障行为动作空间维度适中既保证了运动表达能力也未增加算法的训练难度。3.多维度奖励函数设计具备引导性。多维度奖惩项的设计有效解决了简单奖励函数的稀疏性问题机器人能够快速学习到 “安全优先、兼顾高效” 的避障策略在保证零碰撞的前提下实现了路径长度的优化奖励函数的设计完全符合预期目标。4.算法具备优异的避障性能与泛化能力。算法在 5 类场景中实现了100%的避障成功率碰撞率与超时率均为0说明训练完成的策略能够适配不同特点的动态场景具备较强的泛化能力与鲁棒性可稳定完成动态环境下的避障与导航任务。4.4 前端可视化实现4-6 实验总览界面该界面为系统首页集成展示倒立摆与动态避障两类任务的核心量化指标如成功率、碰撞率、平均奖励同时嵌入奖励曲线与参数对比图提供实验结论摘要面板帮助用户快速掌握整体实验结果。4-7 动态避障演示界面该界面支持随机生成避障场景通过SVG逐帧播放机器人避障动画可调节播放速度、拖拽进度条。界面实时显示当前动作、累计回报、路径长度等信息并抽取关键帧数据表格直观展示DQN模型的实时推理决策过程。4-8 参数对比实验界面该界面展示控制变量法下的5组参数对比实验结果呈现参数对比曲线图列出每组实验的最佳奖励与最终奖励明细通过结论面板总结不同超参数如学习率、γ折扣因子对DQN收敛速度与最终性能的影响规律。