简介基于深度强化学习的差分驱动移动机器人行驶控制MATLAB仿真方案面向机器人控制与深度强化学习方向的硕博研究生、工程开发人员用于解决差速驱动机器人的路径跟踪与行驶稳定控制问题。压缩包共含30个文件其中.mat文件保存训练过程数据与智能体参数.m脚本对应主程序、路径生成与测试模块.slx模型搭建Simulink仿真环境另附avi操作演示视频整体约100MB。已有678人学习下载工程内包含训练脚本、已训练智能体和路径生成器可直接运行验证算法效果配合操作录像能快速复现仿真流程。通过深度强化学习与Simulink结合读者可直观观察训练收敛过程与实际控制响应适用于课程项目、毕业设计及算法对比也可作为扩展至其他移动机器人平台的控制参考。1. 深度强化学习控制差分驱动小车为什么先做 MATLAB 仿真差分驱动移动机器人是轮式机器人里最常见的一类底盘构型左右两轮独立驱动靠轮速差实现转向。运动学模型只有三个状态量、两个控制输入看起来比机械臂简单得多但真正做行驶控制时地面摩擦变化、负载扰动、轮胎打滑这些不确定因素会让固定参数的 PID 控制律频繁失效。深度强化学习能绕开对精确模型的依赖通过与环境交互试错直接学出从传感器状态到轮速指令的映射。MATLAB 是这个方向落地效率最高的验证环境自带 Reinforcement Learning Toolbox从环境建模、智能体搭建到训练可视化全部在一个生态里完成还能一键生成 C 代码往真实控制器上移植。这篇文章面对的是已经了解深度学习基础、想用强化学习做移动机器人控制验证的工程师和学生按照“运动学建模 - 算法选型与奖励设计 - 网络与训练调参 - 结果评估与演示”这条路径把差分驱动小车从零跑到目标点的完整方案讲透。2. 差分驱动运动学建模与 MATLAB 仿真环境搭建2.1 速度逆解与位姿更新控制量到状态量的映射关系差分驱动底盘的控制输入是左右轮速 vL 和 vR单位 m/s。工程上先把轮速合成机器人的线速度和角速度v (vL vR) / 2 ω (vR - vL) / W这里 W 是左右轮距单位米。线速度 v 的方向是机器人车头朝向角速度 ω 绕竖直轴逆时针为正。位姿状态量为 [x, y, θ]其中 θ 是车头与世界坐标系 X 轴的夹角。位姿更新用运动学微分方程dx/dt v·cos(θ) dy/dt v·sin(θ) dθ/dt ωMATLAB 仿真里这一步有陷阱。很多新手直接把三行欧拉积分写进循环% 欧拉积分dt 为仿真步长 x x v * cos(theta) * dt; y y v * sin(theta) * dt; theta theta omega * dt;这段代码在 dt 小于 0.05 秒、速度变化平缓时误差可以接受但强化学习训练初期策略是随机噪声左右轮速会剧烈跳变欧拉积分会造成位姿累积误差严重时轨迹明显偏离真实解。我一般建议至少用二阶龙格库塔或者直接用 ode45 做单步积分。RL 训练要求环境步进函数快速返回ode45 用固定步长模式反而更慢所以折中方案是使用中点法% 中点法积分比欧拉法精度高一个阶数计算量增加可忽略 mid_v v; % 假设一个步长内速度恒定 mid_omega omega; theta_mid theta 0.5 * mid_omega * dt; x x mid_v * cos(theta_mid) * dt; y y mid_v * sin(theta_mid) * dt; theta theta mid_omega * dt; theta wrapToPi(theta); % 角度归一化到 [-pi, pi)theta 每步做完 wrapToPi 是非常关键的操作。后续计算目标方向角差时如果不做角度归一化当车头角度从 179° 转到 -179°差值会误算成 358°智能体无论如何都学不会在这个边界附近转向。2.2 用 MATLAB 手写一个最简环境步进器MATLAB 的 Reinforcement Learning Toolbox 提供 rlFunctionEnv 接口可以不用 Simulink 直接写 MATLAB 函数定义环境。这对做算法实验是最灵活的方式因为不用维护 Simulink 模型文件纯代码便于版本管理。步进器的核心逻辑包含三部分读取当前动作、更新状态、计算奖励与终止条件。function [obs, reward, isDone, info] myStep(action, env) % action 是 RL 智能体输出的 2x1 向量范围经过缩放后得到左右轮速 vL env.MaxWheelSpeed * action(1); vR env.MaxWheelSpeed * action(2); % 2.1 中的运动学更新 [env.State, ~] updateKinematics(env.State, vL, vR, env.W, env.dt); % 提取当前状态x, y, theta x env.State(1); y env.State(2); theta env.State(3); % 观测向量到目标的距离和角度差归一化 dx env.Goal(1) - x; dy env.Goal(2) - y; dist sqrt(dx^2 dy^2); angleToGoal wrapToPi(atan2(dy, dx) - theta); obs [dist / env.MaxDist, angleToGoal / pi, vL, vR]; % 奖励与终止条件 reward computeReward(env, dist, angleToGoal); isDone (dist env.GoalRadius) || (dist env.MaxDist); info.DistToGoal dist; end环境步进函数里 action 的缩放要放在运动学更新之前保证进入积分器的值始终是有物理意义的轮速。最常出问题的地方是选手把动作范围设计成 [-1, 1]忘了在环境内部做映射结果左右轮速出现负值导致小车倒着走。观测向量也是 RL 训练成败的关键距离除以最大距离、角度差除以 π把观测压到 [-1, 1] 区间内神经网络输入层的饱和问题会少很多。2.3 可视化调试仿真发散时先看轨迹而不是看奖励曲线训练过程中出现奖励不涨或突然发散第一步永远是打开轨迹可视化观察小车在场景里到底怎么跑。MATLAB 里画一个带朝向箭头的小车只需要几行代码function renderEnv(env) clf; hold on; axis equal; grid on; xlim([-2, 8]); ylim([-2, 8]); plot(env.Goal(1), env.Goal(2), go, MarkerSize, 12, LineWidth, 2); x env.State(1); y env.State(2); theta env.State(3); quiver(x, y, cos(theta), sin(theta), 0.5, r, LineWidth, 2); plot(x, y, bo, MarkerSize, 6); drawnow; endquiver 命令里的四个参数分别是箭头起点和方向向量0.5 是缩放系数。仿真发散时候选轨迹通常有几种典型形态小车转圈不前进、直线冲向目标后反复冲过、在目标点附近来回振荡。这三种形态对应的奖励设计和网络结构问题是完全不一样的只盯 Episode Reward 曲线无法区分。转圈往往是角度差奖励权重过低策略发现原地转圈也能积累正向奖励来回振荡则是距离差奖励变化过于剧烈策略在高频抖动的梯度里过拟合。3. 深度强化学习算法选型与状态动作奖励设计3.1 连续动作空间选 TD3不选 DDPG 和 PPO 的理由差分驱动行驶控制的动作空间是左右轮速两个连续量算法必须在连续动作域里输出策略。MATLAB 的 Reinforcement Learning Toolbox 里可用算法有 DDPG、TD3、PPO 和 SAC。DDPG 是最早被用在连续控制上的 actor-critic 方法但过估计问题在奖励稀疏的导航任务里特别明显Q 值会被逐渐推高训练后期策略容易突变。PPO 属于 on-policy 算法每次更新都要重新采集数据MATLAB 下环境交互本身是串行的样本效率明显低于 off-policy 的 TD3 和 SAC。TD3 在 DDPG 基础上加了三项关键改进双 Critic 网络取较小值计算目标、延迟更新 Actor、目标策略加平滑噪声这些都是为连续控制任务定制的稳定性优化。SAC 引入了熵正则项适合需要随机探索的任务但差分驱动行驶控制最终输出是确定性策略在 MATLAB 默认配置下 TD3 收敛速度和最终成功率普遍比 SAC 稳定。3.2 观测向量设计只用相对坐标不用绝对坐标观测设计的核心原则是让同一套控制策略在不同起点和目标位置都能复用。绝对坐标 x、y、θ 会让网络记忆固定的坐标位置换一个开局就失效。正确做法是只使用目标相对机器人的距离和方向角差dx goal(1) - x; dy goal(2) - y; dist sqrt(dx^2 dy^2); angleDiff wrapToPi(atan2(dy, dx) - theta); obs [dist / dist_norm, angleDiff / pi, v / v_max, omega / omega_max];这里加了当前线速度和角速度的归一化值让策略能感知自身运动状态判断是应该减速转向还是持续前进。理论依据是马尔可夫性质从观测中能重建出系统当前状态的全部信息策略才有最优解。有些实现会额外加入目标点的全局坐标我强烈不建议因为训练分布外的起点会导致网络在绝对坐标维度外推表现会急剧下降。3.3 奖励塑形距离差奖励加上角度差约束的四项式奖励函数直接决定策略能不能收敛。稀疏奖励在 MATLAB 仿真里基本训不出来因为随机策略在几百步内很难碰到目标点。工程上常用“稠密距离差奖励”引导智能体朝目标靠近奖励项公式权重说明到达奖励50固定常数只在 isDone 时累加一次距离差奖励(d_prev - d) / d_norm2.0鼓励每步比上一步更近角度差惩罚-abs(angleDiff)0.5避免绕圈和倒退碰撞或超距惩罚-30固定常数强制终止并给出强负信号这些项直接相加就是奖励值。距离差奖励的分子是上一步距离减去当前步距离为正说明比上一步更接近目标点。这个设计的问题在于智能体可能找到一个漏洞——原地顺时针转圈距离差保持稳定但角度差很大这时必须有角度差惩罚把转圈行为压制住。角度差惩罚权重大小很敏感过大会导致策略不敢转向小幅偏差时宁愿绕一个大圈过小则转圈行为压不住。我一般从 0.2 起步每 100 个 episode 看一维轨迹图如果发现收敛方向跑偏就调整。奖励实现的 MATLAB 代码如下function reward computeReward(env, d_prev, d_curr, angleDiff, isCollision) reward 0; if isCollision reward -30; return; end reward reward 1.2 * ((d_prev - d_curr) / env.MaxDist); % 接近目标的正向激励 reward reward - 0.3 * abs(angleDiff); % 角度偏差惩罚 reward reward - 0.01; % 时间惩罚鼓励高效路径 if d_curr env.GoalRadius reward reward 50; end end时间惩罚项 -0.01 很容易被忽略但它的作用非常大没有时间惩罚时策略学会绕远路也能到达目标点训练得到的路径非常不经济。3.4 奖励收敛失败的三种模式与排查方法奖励函数如果设计不当训练曲线会出现几种不同的失败模式。第一种是 Episode Reward 全程在负值区间徘徊不涨这通常说明距离差奖励的权重太小智能体无法从噪声策略中区分“靠近”和“远离”的差异。第二种是奖励先涨后崩表现为曲线在某个高点后突变这是策略进入奖励陷阱比如发现原地快速旋转能产生正角度差奖励的相反方向静止位置从而锁定在一个局部最优。第三种是奖励涨到很高但轨迹很奇怪说明有奖励被刷了需要单独打印每一维奖励分量看是哪一项在持续增长。我通常在训练循环里维护一个 reward_log 矩阵每一行记录 [distance_reward, angle_penalty, time_penalty, reach_bonus]训练结束后用 plot 画出四列曲线一眼就能定位问题。4. TD3 网络结构设计与 MATLAB 训练参数配置4.1 actor 输出层用 tanh 激活动作范围映射要同时约束轮速极限TD3 的 Actor 网络输出层激活函数是 tanh把原始输出压缩到 [-1, 1]再映射到物理轮速区间。这里有一个差分驱动特有的约束左右轮速差过大时小车会原地急转对机械结构冲击大而且训练前期随机策略频繁急转会拖慢收敛。实际部署时会把轮速差限制在一个安全范围% 动作映射把 [-1,1] 映射到 [0, MaxWheelSpeed]并约束左右轮速差 vL_raw (action(1) 1) / 2 * env.MaxWheelSpeed; vR_raw (action(2) 1) / 2 * env.MaxWheelSpeed; maxDiff env.MaxWheelSpeed * 0.5; if abs(vL_raw - vR_raw) maxDiff % 保持平均速度不变压缩差速 avg (vL_raw vR_raw) / 2; vL avg sign(vL_raw - vR_raw) * maxDiff / 2; vR avg - sign(vL_raw - vR_raw) * maxDiff / 2; else vL vL_raw; vR vR_raw; end这段逻辑放在环境步进器的起始位置意思是智能体可以大胆输出大差速动作但环境层把危险动作“柔和化”。这么做的好处是训练初期探索更安全坏处是策略学到的动作空间边界被压缩了最终路径的曲率会偏大。我一般只在训练前 300 个 episode 启用这个约束之后放开让策略自己调整。4.2 使用 rlTD3Agent 创建智能体的完整流程RL 工具箱里创建 TD3 智能体需要先定义观测和动作规格然后用 createNetwork 搭好 actor 和 critic 网络。函数名和参数在不同 MATLAB 版本上略有差异核心流程如下% 定义观测规格4 个观测值分别是距离、角度差、线速度、角速度 obsInfo rlNumericSpec([4 1]); obsInfo.Name observations; % 定义动作规格左右轮速在 [-1, 1] 范围内的归一化值 actInfo rlNumericSpec([2 1], LowerLimit, -1, UpperLimit, 1); actInfo.Name wheelSpeeds; % 创建 TD3 agent agent rlTD3Agent(obsInfo, actInfo, ... ActorNetwork, actorNet, ... CriticNetwork, criticNet, ... AgentOptions, agentOpts);rlNumericSpec 的第一个参数是观测向量的维度差分驱动导航场景固定用 4x1。LowerLimit 和 UpperLimit 设置成 -1 和 1 是因为环境内部已经处理了速度映射保持归一化动作空间可以让网络的 tanh 输出层自然匹配。我在调试中发现把动作空间设成真实轮速范围效果反而差因为 tanh 输出两端饱和处的梯度几乎为零智能体一旦输出接近极值的动作反向传播梯度会消失。4.3 训练参数配置六个最关键的选项及其设定依据TD3 在 MATLAB 里的超参数收敛敏感性比 DDPG 低但默认参数用在本任务上仍然偏保守。以下是我经过多组对照实验筛选出的推荐配置参数推荐值设置理由AgentOptions.SampleTime0.1与运动学积分步长一致避免环境步进与 Agent 步调不匹配TargetSmoothFactor1e-3目标网络软更新速率过大会导致 Q 值震荡ExperienceBufferLength1e6经验池容量至少能覆盖最近 100 个 episode 的数据MiniBatchSize128批次越大梯度越稳定但训练速度明显下降DiscountFactor0.99接近 1 让智能体考虑长期收益但过大在长 horizon 任务里会方差爆炸ExplorationNoiseVariance0.4高斯探索噪声方差训练后期应衰减到 0.05 以下这些参数在训练选项里分成两个层级AgentOptions 里的参数是策略优化层面的trainOptions 里的参数是环境交互层面的。我习惯用 ExplorationNoiseVariance 配合 VarianceDecayRate 控制探索强度随训练推进递减否则后期策略已经接近最优大幅噪声会把 Q 值估计搞得极不稳定。训练启动命令本身很简洁但训练过程的监控方式值得展开讲trainOpts rlTrainingOptions; trainOpts.MaxEpisodes 1000; trainOpts.MaxStepsPerEpisode 600; trainOpts.ScoreAveragingWindowLength 20; trainOpts.Plots training-progress; trainOpts.StopTrainingCriteria AverageReward; trainOpts.StopTrainingValue 25; trainOpts.StopTrainingWindowLength 20; % 开始训练 trainingStats train(agent, env, trainOpts);StopTrainingCriteria 设置为 AverageReward 并配合停止阈值可以让训练在指标稳定后自动退出不用人肉盯着曲线。20 个 episode 的滑动窗口是避免偶然好评触发提前截断的最小声学窗口再小的窗口会被单次成功 episode 干扰再大的窗口会浪费训练时间。4.4 训练曲线振荡与发散的处理顺序面对训练曲线发散我按下面的顺序排查。第一步检查奖励数值的尺度RewardScale 参数默认值是 1但有些版本的例子程序会给到 100此时 Q 值目标也会被同尺度放大critic 网络要拟合的目标值分布极不均匀训练自然不稳定。第二步看探索噪声方差训练中后期方差还没衰减到 0.1 以下时Episode Reward 会出现明显的周期性波动——每波起点是噪声注入后策略被拉偏随后 TD3 的延迟更新机制逐步修正这种波动不是 bug但如果幅度超过平均奖励的 50% 就要加大衰减速率。第三步检查经验池是否串场之前某个 episode 的极端状态-动作对数据如果长期保存在缓冲区内每轮 batch 采样都会抽到这些异常数据Q 网络被反复拉向错误方向清空经验池重来往往比继续训练更高效。5. 策略评估与演示视频录制让代码和视频完全对得上训练结束后的第一件工作不是急着录视频而是做一次严格的评估。训练过程中的 Episode Reward 包含探索噪声影响不能代表智能体真实水平。正确的评估姿态是关闭探索噪声把智能体策略作为确定性策略连续运行 20 个随机初始条件的 episode统计成功率、平均到达时间、路径长度和平滑程度。代码实现如下% 关闭探索噪声后的确定性评估 setDeterministic(agent, true); successCount 0; totalSteps 0; for ep 1:20 obs reset(env); for step 1:600 action getAction(agent, obs); % getAction 直接取 mean 动作 [obs, ~, isDone, info] step(env, action); if isDone if info.DistToGoal env.GoalRadius successCount successCount 1; totalSteps totalSteps step; end break; end end end fprintf(成功率: %.1f%%, 平均步数: %.1f\n, ... successCount/20*100, totalSteps/max(successCount,1));录制成视频可以用 VideoWriter在评估循环里逐帧写图。给出一段可直接运行的录制框架videoFile td3_diff_drive_result.avi; writerObj VideoWriter(videoFile); open(writerObj); for step 1:maxSteps % 更新环境并绘制当前帧 [obs, reward, isDone, ~] step(env, action); renderEnv(env); title(sprintf(Step: %d, Dist: %.2f m, step, env.DistToGoal)); frame getframe(gcf); writeVideo(writerObj, frame); if isDone break; end end close(writerObj);标题栏里的 DistToGoal 数值一定要保留这样演示视频的观看者能直接看到策略在逐步逼近目标而不是只有一张轨迹图事后解释。注意 VideoWriter 默认输出是未压缩的 AVI 文件录 20 秒视频就有几百 MB建议在写入时设置压缩质量set(writerObj, Quality, 85); writerObj.VideoFormat MPEG-4;视频录完后建议同时导出一张轨迹统计表把 20 个评估 episode 数据整理成 markdown 表格贴到演示文档里。这样别人看视频时能对应上平均步数和成功率的具体数字判断策略是“稳定到达”还是“偶尔成功”。我通常还会计算一个平滑度指标——相邻两步速度差的绝对值和值越小说明速度变化越平缓机械磨损也更小。如果轨迹平滑度指标太高可以尝试在奖励函数中增加对左右轮速差的二次惩罚重新训练 200 个 episode 往往就能显著改善。本文还有配套的精品资源点击获取 深度强化学习控制差分驱动小车的MATLAB仿真与TD3实现
简介基于深度强化学习的差分驱动移动机器人行驶控制MATLAB仿真方案面向机器人控制与深度强化学习方向的硕博研究生、工程开发人员用于解决差速驱动机器人的路径跟踪与行驶稳定控制问题。压缩包共含30个文件其中.mat文件保存训练过程数据与智能体参数.m脚本对应主程序、路径生成与测试模块.slx模型搭建Simulink仿真环境另附avi操作演示视频整体约100MB。已有678人学习下载工程内包含训练脚本、已训练智能体和路径生成器可直接运行验证算法效果配合操作录像能快速复现仿真流程。通过深度强化学习与Simulink结合读者可直观观察训练收敛过程与实际控制响应适用于课程项目、毕业设计及算法对比也可作为扩展至其他移动机器人平台的控制参考。1. 深度强化学习控制差分驱动小车为什么先做 MATLAB 仿真差分驱动移动机器人是轮式机器人里最常见的一类底盘构型左右两轮独立驱动靠轮速差实现转向。运动学模型只有三个状态量、两个控制输入看起来比机械臂简单得多但真正做行驶控制时地面摩擦变化、负载扰动、轮胎打滑这些不确定因素会让固定参数的 PID 控制律频繁失效。深度强化学习能绕开对精确模型的依赖通过与环境交互试错直接学出从传感器状态到轮速指令的映射。MATLAB 是这个方向落地效率最高的验证环境自带 Reinforcement Learning Toolbox从环境建模、智能体搭建到训练可视化全部在一个生态里完成还能一键生成 C 代码往真实控制器上移植。这篇文章面对的是已经了解深度学习基础、想用强化学习做移动机器人控制验证的工程师和学生按照“运动学建模 - 算法选型与奖励设计 - 网络与训练调参 - 结果评估与演示”这条路径把差分驱动小车从零跑到目标点的完整方案讲透。2. 差分驱动运动学建模与 MATLAB 仿真环境搭建2.1 速度逆解与位姿更新控制量到状态量的映射关系差分驱动底盘的控制输入是左右轮速 vL 和 vR单位 m/s。工程上先把轮速合成机器人的线速度和角速度v (vL vR) / 2 ω (vR - vL) / W这里 W 是左右轮距单位米。线速度 v 的方向是机器人车头朝向角速度 ω 绕竖直轴逆时针为正。位姿状态量为 [x, y, θ]其中 θ 是车头与世界坐标系 X 轴的夹角。位姿更新用运动学微分方程dx/dt v·cos(θ) dy/dt v·sin(θ) dθ/dt ωMATLAB 仿真里这一步有陷阱。很多新手直接把三行欧拉积分写进循环% 欧拉积分dt 为仿真步长 x x v * cos(theta) * dt; y y v * sin(theta) * dt; theta theta omega * dt;这段代码在 dt 小于 0.05 秒、速度变化平缓时误差可以接受但强化学习训练初期策略是随机噪声左右轮速会剧烈跳变欧拉积分会造成位姿累积误差严重时轨迹明显偏离真实解。我一般建议至少用二阶龙格库塔或者直接用 ode45 做单步积分。RL 训练要求环境步进函数快速返回ode45 用固定步长模式反而更慢所以折中方案是使用中点法% 中点法积分比欧拉法精度高一个阶数计算量增加可忽略 mid_v v; % 假设一个步长内速度恒定 mid_omega omega; theta_mid theta 0.5 * mid_omega * dt; x x mid_v * cos(theta_mid) * dt; y y mid_v * sin(theta_mid) * dt; theta theta mid_omega * dt; theta wrapToPi(theta); % 角度归一化到 [-pi, pi)theta 每步做完 wrapToPi 是非常关键的操作。后续计算目标方向角差时如果不做角度归一化当车头角度从 179° 转到 -179°差值会误算成 358°智能体无论如何都学不会在这个边界附近转向。2.2 用 MATLAB 手写一个最简环境步进器MATLAB 的 Reinforcement Learning Toolbox 提供 rlFunctionEnv 接口可以不用 Simulink 直接写 MATLAB 函数定义环境。这对做算法实验是最灵活的方式因为不用维护 Simulink 模型文件纯代码便于版本管理。步进器的核心逻辑包含三部分读取当前动作、更新状态、计算奖励与终止条件。function [obs, reward, isDone, info] myStep(action, env) % action 是 RL 智能体输出的 2x1 向量范围经过缩放后得到左右轮速 vL env.MaxWheelSpeed * action(1); vR env.MaxWheelSpeed * action(2); % 2.1 中的运动学更新 [env.State, ~] updateKinematics(env.State, vL, vR, env.W, env.dt); % 提取当前状态x, y, theta x env.State(1); y env.State(2); theta env.State(3); % 观测向量到目标的距离和角度差归一化 dx env.Goal(1) - x; dy env.Goal(2) - y; dist sqrt(dx^2 dy^2); angleToGoal wrapToPi(atan2(dy, dx) - theta); obs [dist / env.MaxDist, angleToGoal / pi, vL, vR]; % 奖励与终止条件 reward computeReward(env, dist, angleToGoal); isDone (dist env.GoalRadius) || (dist env.MaxDist); info.DistToGoal dist; end环境步进函数里 action 的缩放要放在运动学更新之前保证进入积分器的值始终是有物理意义的轮速。最常出问题的地方是选手把动作范围设计成 [-1, 1]忘了在环境内部做映射结果左右轮速出现负值导致小车倒着走。观测向量也是 RL 训练成败的关键距离除以最大距离、角度差除以 π把观测压到 [-1, 1] 区间内神经网络输入层的饱和问题会少很多。2.3 可视化调试仿真发散时先看轨迹而不是看奖励曲线训练过程中出现奖励不涨或突然发散第一步永远是打开轨迹可视化观察小车在场景里到底怎么跑。MATLAB 里画一个带朝向箭头的小车只需要几行代码function renderEnv(env) clf; hold on; axis equal; grid on; xlim([-2, 8]); ylim([-2, 8]); plot(env.Goal(1), env.Goal(2), go, MarkerSize, 12, LineWidth, 2); x env.State(1); y env.State(2); theta env.State(3); quiver(x, y, cos(theta), sin(theta), 0.5, r, LineWidth, 2); plot(x, y, bo, MarkerSize, 6); drawnow; endquiver 命令里的四个参数分别是箭头起点和方向向量0.5 是缩放系数。仿真发散时候选轨迹通常有几种典型形态小车转圈不前进、直线冲向目标后反复冲过、在目标点附近来回振荡。这三种形态对应的奖励设计和网络结构问题是完全不一样的只盯 Episode Reward 曲线无法区分。转圈往往是角度差奖励权重过低策略发现原地转圈也能积累正向奖励来回振荡则是距离差奖励变化过于剧烈策略在高频抖动的梯度里过拟合。3. 深度强化学习算法选型与状态动作奖励设计3.1 连续动作空间选 TD3不选 DDPG 和 PPO 的理由差分驱动行驶控制的动作空间是左右轮速两个连续量算法必须在连续动作域里输出策略。MATLAB 的 Reinforcement Learning Toolbox 里可用算法有 DDPG、TD3、PPO 和 SAC。DDPG 是最早被用在连续控制上的 actor-critic 方法但过估计问题在奖励稀疏的导航任务里特别明显Q 值会被逐渐推高训练后期策略容易突变。PPO 属于 on-policy 算法每次更新都要重新采集数据MATLAB 下环境交互本身是串行的样本效率明显低于 off-policy 的 TD3 和 SAC。TD3 在 DDPG 基础上加了三项关键改进双 Critic 网络取较小值计算目标、延迟更新 Actor、目标策略加平滑噪声这些都是为连续控制任务定制的稳定性优化。SAC 引入了熵正则项适合需要随机探索的任务但差分驱动行驶控制最终输出是确定性策略在 MATLAB 默认配置下 TD3 收敛速度和最终成功率普遍比 SAC 稳定。3.2 观测向量设计只用相对坐标不用绝对坐标观测设计的核心原则是让同一套控制策略在不同起点和目标位置都能复用。绝对坐标 x、y、θ 会让网络记忆固定的坐标位置换一个开局就失效。正确做法是只使用目标相对机器人的距离和方向角差dx goal(1) - x; dy goal(2) - y; dist sqrt(dx^2 dy^2); angleDiff wrapToPi(atan2(dy, dx) - theta); obs [dist / dist_norm, angleDiff / pi, v / v_max, omega / omega_max];这里加了当前线速度和角速度的归一化值让策略能感知自身运动状态判断是应该减速转向还是持续前进。理论依据是马尔可夫性质从观测中能重建出系统当前状态的全部信息策略才有最优解。有些实现会额外加入目标点的全局坐标我强烈不建议因为训练分布外的起点会导致网络在绝对坐标维度外推表现会急剧下降。3.3 奖励塑形距离差奖励加上角度差约束的四项式奖励函数直接决定策略能不能收敛。稀疏奖励在 MATLAB 仿真里基本训不出来因为随机策略在几百步内很难碰到目标点。工程上常用“稠密距离差奖励”引导智能体朝目标靠近奖励项公式权重说明到达奖励50固定常数只在 isDone 时累加一次距离差奖励(d_prev - d) / d_norm2.0鼓励每步比上一步更近角度差惩罚-abs(angleDiff)0.5避免绕圈和倒退碰撞或超距惩罚-30固定常数强制终止并给出强负信号这些项直接相加就是奖励值。距离差奖励的分子是上一步距离减去当前步距离为正说明比上一步更接近目标点。这个设计的问题在于智能体可能找到一个漏洞——原地顺时针转圈距离差保持稳定但角度差很大这时必须有角度差惩罚把转圈行为压制住。角度差惩罚权重大小很敏感过大会导致策略不敢转向小幅偏差时宁愿绕一个大圈过小则转圈行为压不住。我一般从 0.2 起步每 100 个 episode 看一维轨迹图如果发现收敛方向跑偏就调整。奖励实现的 MATLAB 代码如下function reward computeReward(env, d_prev, d_curr, angleDiff, isCollision) reward 0; if isCollision reward -30; return; end reward reward 1.2 * ((d_prev - d_curr) / env.MaxDist); % 接近目标的正向激励 reward reward - 0.3 * abs(angleDiff); % 角度偏差惩罚 reward reward - 0.01; % 时间惩罚鼓励高效路径 if d_curr env.GoalRadius reward reward 50; end end时间惩罚项 -0.01 很容易被忽略但它的作用非常大没有时间惩罚时策略学会绕远路也能到达目标点训练得到的路径非常不经济。3.4 奖励收敛失败的三种模式与排查方法奖励函数如果设计不当训练曲线会出现几种不同的失败模式。第一种是 Episode Reward 全程在负值区间徘徊不涨这通常说明距离差奖励的权重太小智能体无法从噪声策略中区分“靠近”和“远离”的差异。第二种是奖励先涨后崩表现为曲线在某个高点后突变这是策略进入奖励陷阱比如发现原地快速旋转能产生正角度差奖励的相反方向静止位置从而锁定在一个局部最优。第三种是奖励涨到很高但轨迹很奇怪说明有奖励被刷了需要单独打印每一维奖励分量看是哪一项在持续增长。我通常在训练循环里维护一个 reward_log 矩阵每一行记录 [distance_reward, angle_penalty, time_penalty, reach_bonus]训练结束后用 plot 画出四列曲线一眼就能定位问题。4. TD3 网络结构设计与 MATLAB 训练参数配置4.1 actor 输出层用 tanh 激活动作范围映射要同时约束轮速极限TD3 的 Actor 网络输出层激活函数是 tanh把原始输出压缩到 [-1, 1]再映射到物理轮速区间。这里有一个差分驱动特有的约束左右轮速差过大时小车会原地急转对机械结构冲击大而且训练前期随机策略频繁急转会拖慢收敛。实际部署时会把轮速差限制在一个安全范围% 动作映射把 [-1,1] 映射到 [0, MaxWheelSpeed]并约束左右轮速差 vL_raw (action(1) 1) / 2 * env.MaxWheelSpeed; vR_raw (action(2) 1) / 2 * env.MaxWheelSpeed; maxDiff env.MaxWheelSpeed * 0.5; if abs(vL_raw - vR_raw) maxDiff % 保持平均速度不变压缩差速 avg (vL_raw vR_raw) / 2; vL avg sign(vL_raw - vR_raw) * maxDiff / 2; vR avg - sign(vL_raw - vR_raw) * maxDiff / 2; else vL vL_raw; vR vR_raw; end这段逻辑放在环境步进器的起始位置意思是智能体可以大胆输出大差速动作但环境层把危险动作“柔和化”。这么做的好处是训练初期探索更安全坏处是策略学到的动作空间边界被压缩了最终路径的曲率会偏大。我一般只在训练前 300 个 episode 启用这个约束之后放开让策略自己调整。4.2 使用 rlTD3Agent 创建智能体的完整流程RL 工具箱里创建 TD3 智能体需要先定义观测和动作规格然后用 createNetwork 搭好 actor 和 critic 网络。函数名和参数在不同 MATLAB 版本上略有差异核心流程如下% 定义观测规格4 个观测值分别是距离、角度差、线速度、角速度 obsInfo rlNumericSpec([4 1]); obsInfo.Name observations; % 定义动作规格左右轮速在 [-1, 1] 范围内的归一化值 actInfo rlNumericSpec([2 1], LowerLimit, -1, UpperLimit, 1); actInfo.Name wheelSpeeds; % 创建 TD3 agent agent rlTD3Agent(obsInfo, actInfo, ... ActorNetwork, actorNet, ... CriticNetwork, criticNet, ... AgentOptions, agentOpts);rlNumericSpec 的第一个参数是观测向量的维度差分驱动导航场景固定用 4x1。LowerLimit 和 UpperLimit 设置成 -1 和 1 是因为环境内部已经处理了速度映射保持归一化动作空间可以让网络的 tanh 输出层自然匹配。我在调试中发现把动作空间设成真实轮速范围效果反而差因为 tanh 输出两端饱和处的梯度几乎为零智能体一旦输出接近极值的动作反向传播梯度会消失。4.3 训练参数配置六个最关键的选项及其设定依据TD3 在 MATLAB 里的超参数收敛敏感性比 DDPG 低但默认参数用在本任务上仍然偏保守。以下是我经过多组对照实验筛选出的推荐配置参数推荐值设置理由AgentOptions.SampleTime0.1与运动学积分步长一致避免环境步进与 Agent 步调不匹配TargetSmoothFactor1e-3目标网络软更新速率过大会导致 Q 值震荡ExperienceBufferLength1e6经验池容量至少能覆盖最近 100 个 episode 的数据MiniBatchSize128批次越大梯度越稳定但训练速度明显下降DiscountFactor0.99接近 1 让智能体考虑长期收益但过大在长 horizon 任务里会方差爆炸ExplorationNoiseVariance0.4高斯探索噪声方差训练后期应衰减到 0.05 以下这些参数在训练选项里分成两个层级AgentOptions 里的参数是策略优化层面的trainOptions 里的参数是环境交互层面的。我习惯用 ExplorationNoiseVariance 配合 VarianceDecayRate 控制探索强度随训练推进递减否则后期策略已经接近最优大幅噪声会把 Q 值估计搞得极不稳定。训练启动命令本身很简洁但训练过程的监控方式值得展开讲trainOpts rlTrainingOptions; trainOpts.MaxEpisodes 1000; trainOpts.MaxStepsPerEpisode 600; trainOpts.ScoreAveragingWindowLength 20; trainOpts.Plots training-progress; trainOpts.StopTrainingCriteria AverageReward; trainOpts.StopTrainingValue 25; trainOpts.StopTrainingWindowLength 20; % 开始训练 trainingStats train(agent, env, trainOpts);StopTrainingCriteria 设置为 AverageReward 并配合停止阈值可以让训练在指标稳定后自动退出不用人肉盯着曲线。20 个 episode 的滑动窗口是避免偶然好评触发提前截断的最小声学窗口再小的窗口会被单次成功 episode 干扰再大的窗口会浪费训练时间。4.4 训练曲线振荡与发散的处理顺序面对训练曲线发散我按下面的顺序排查。第一步检查奖励数值的尺度RewardScale 参数默认值是 1但有些版本的例子程序会给到 100此时 Q 值目标也会被同尺度放大critic 网络要拟合的目标值分布极不均匀训练自然不稳定。第二步看探索噪声方差训练中后期方差还没衰减到 0.1 以下时Episode Reward 会出现明显的周期性波动——每波起点是噪声注入后策略被拉偏随后 TD3 的延迟更新机制逐步修正这种波动不是 bug但如果幅度超过平均奖励的 50% 就要加大衰减速率。第三步检查经验池是否串场之前某个 episode 的极端状态-动作对数据如果长期保存在缓冲区内每轮 batch 采样都会抽到这些异常数据Q 网络被反复拉向错误方向清空经验池重来往往比继续训练更高效。5. 策略评估与演示视频录制让代码和视频完全对得上训练结束后的第一件工作不是急着录视频而是做一次严格的评估。训练过程中的 Episode Reward 包含探索噪声影响不能代表智能体真实水平。正确的评估姿态是关闭探索噪声把智能体策略作为确定性策略连续运行 20 个随机初始条件的 episode统计成功率、平均到达时间、路径长度和平滑程度。代码实现如下% 关闭探索噪声后的确定性评估 setDeterministic(agent, true); successCount 0; totalSteps 0; for ep 1:20 obs reset(env); for step 1:600 action getAction(agent, obs); % getAction 直接取 mean 动作 [obs, ~, isDone, info] step(env, action); if isDone if info.DistToGoal env.GoalRadius successCount successCount 1; totalSteps totalSteps step; end break; end end end fprintf(成功率: %.1f%%, 平均步数: %.1f\n, ... successCount/20*100, totalSteps/max(successCount,1));录制成视频可以用 VideoWriter在评估循环里逐帧写图。给出一段可直接运行的录制框架videoFile td3_diff_drive_result.avi; writerObj VideoWriter(videoFile); open(writerObj); for step 1:maxSteps % 更新环境并绘制当前帧 [obs, reward, isDone, ~] step(env, action); renderEnv(env); title(sprintf(Step: %d, Dist: %.2f m, step, env.DistToGoal)); frame getframe(gcf); writeVideo(writerObj, frame); if isDone break; end end close(writerObj);标题栏里的 DistToGoal 数值一定要保留这样演示视频的观看者能直接看到策略在逐步逼近目标而不是只有一张轨迹图事后解释。注意 VideoWriter 默认输出是未压缩的 AVI 文件录 20 秒视频就有几百 MB建议在写入时设置压缩质量set(writerObj, Quality, 85); writerObj.VideoFormat MPEG-4;视频录完后建议同时导出一张轨迹统计表把 20 个评估 episode 数据整理成 markdown 表格贴到演示文档里。这样别人看视频时能对应上平均步数和成功率的具体数字判断策略是“稳定到达”还是“偶尔成功”。我通常还会计算一个平滑度指标——相邻两步速度差的绝对值和值越小说明速度变化越平缓机械磨损也更小。如果轨迹平滑度指标太高可以尝试在奖励函数中增加对左右轮速差的二次惩罚重新训练 200 个 episode 往往就能显著改善。本文还有配套的精品资源点击获取