简介面向计算机、电子信息工程与数学专业学生的一份无人机辅助移动边缘计算UAV-MEC卸载优化Python代码包基于深度确定性策略梯度DDPG方法解决动态任务卸载决策问题。代码有17个文件包含16个Python脚本和1个说明文档压缩包仅45KB体积精简但结构完整覆盖DDPG算法核心的Actor-Critic网络、DQN对比方案以及Edge_only、Local_only等基准策略。已有147人学习下载。工程采用参数化编程关键参数可灵活调整注释详细并附可直接运行的案例数据便于验证算法效果并拓展到智能交通、智慧城市、远程医疗等场景。这份资源不仅能作为大学课程设计、期末大作业和毕业设计的完整项目参考也能帮助研究者快速理解强化学习在移动边缘计算卸载中的建模思路为进一步开发更高效的优化策略提供实验基础。1. 无人机辅助MEC的计算卸载为什么我劝你先跑通这套DDPG代码移动边缘计算MEC和计算卸载这两个词在过去两年被论文洗版了无数次。但真正把手伸进代码里把无人机悬停位置、任务队列、信道状态和卸载比例揉进一个强化学习模型还能跑出收敛曲线的其实不多。这套基于深度确定性策略梯度DDPG的Python代码包把无人机辅助MEC场景下的动态卸载决策做成了可复现的实验框架——网络结构是Actor-Critic双网络动作空间是连续的卸载比例状态空间覆盖信道增益、任务缓冲长度和无人机剩余能量奖励函数兼顾时延和能耗。适合三类人做课程设计和毕业设计的本科生刚进边缘计算方向的研究生以及想快速验证DDPG在卸载问题上效果的工程师。你要做的不是读懂每一行数学推导而是把代码跑通再改参数看曲线怎么变——这套代码恰恰给了你最大的改参数自由。2. 拆开UAV-DDPG代码包目录结构与DDPG核心逻辑2.1 代码包目录到底装了什么拿到压缩包解压后第一眼看到的是UAV-DDPG-main这个主目录。我建议你先把README.md打开看一眼作者把环境依赖和运行顺序写在里面了。目录结构大体长这样UAV-DDPG-main/ ├── README.md ├── Edge_only/ ├── DDPG/ │ ├── Actor.py │ ├── Critic.py │ ├── ReplayBuffer.py │ └── Trainer.py ├── DQN/ ├── Local_only/ └── ...Edge_only和Local_only是两种对比策略前者把所有任务都卸载到边缘服务器后者全部留在本地计算。这两个目录是拿来当baseline的你在论文里画对比曲线时会用到。DQN目录是另一个对比算法。主目录下还有一个matlab版本的案例数据附赠包能用Matlab 2014/2019a/2024a直接跑适合不想打开Python IDE的人。DDPG目录下是核心算法部分。Actor.py定义策略网络输入状态输出动作——在卸载场景里动作就是卸载比例范围从0到1。Critic.py定义Q网络输入状态和动作输出Q值。ReplayBuffer.py是经验回放缓冲区存储四元组(s, a, r, s)训练时随机采样打破时间相关性。Trainer.py是训练主循环把探索噪声、软更新、梯度下降全部串起来。2.2 Actor-Critic为什么卸载任务要用连续动作空间计算卸载问题的核心决策是任务在本地算、卸载到边缘服务器算还是按比例拆分。如果用DQN动作空间只能是离散的——要么全卸载要么全不卸载再或者拆成固定的几个档位。但真实场景里信道是连续变化的任务大小也是随机的更细粒度的卸载比例能显著降低总代价。DDPG就是为连续动作空间设计的。Actor网络把状态映射成确定性动作值Critic网络评估这个动作的好坏训练时在动作上加入随机噪声做探索。下面这段是Actor网络的核心结构我从Trainer.py里摘出来的做了精简class Actor(nn.Module): def __init__(self, state_dim, action_dim, max_action): super(Actor, self).__init__() self.l1 nn.Linear(state_dim, 256) self.l2 nn.Linear(256, 256) self.l3 nn.Linear(256, action_dim) self.max_action max_action def forward(self, state): x F.relu(self.l1(state)) x F.relu(self.l2(x)) x torch.tanh(self.l3(x)) # tanh输出范围[-1,1] return self.max_action * x # 乘上限映射到[0, max_action]这里的关键动作是最后一层用了tanh激活函数输出范围在[-1, 1]再乘上max_action映射到合理的动作区间。在卸载场景里max_action通常设为1表示卸载比例上限。注意max_action不在模型内部定义而是在外部传入这是一个容易理解的参数。Critic网络接收状态和动作的拼接作为输入输出Q值。时序差分目标用贝尔曼方程计算目标网络用软更新。这两个网络的定义逻辑在所有DDPG实现里几乎一致但这套代码的可读性更好注释写到了每一个张量变换的维度变化调试时不用自己推理shape。2.3 经验回放与软更新DDPG稳定的两个关键阀DDPG容易不稳定尤其是超参数调得不合适时Critic的loss直接发散。这里有两个机制在兜底——经验回放和软更新。# 软更新逻辑来自Trainer.py def soft_update(self, tau0.005): for target_param, param in zip(self.target_actor.parameters(), self.actor.parameters()): target_param.data.copy_(tau * param.data (1 - tau) * target_param.data) # Critic目标网络同理tau取0.005意味着目标网络每次只向当前网络移动0.5%。这个值太小学习慢太大训练不稳定。代码包默认0.005是DDPG的经典配置。经验回放的buffer大小建议设在10000到100000之间取小了样本相关性高取大了旧样本利用率低。代码包默认大概在20000适合中小型任务仿真。2.4 训练主循环回合、步数、噪声衰减的关系训练循环里有一个容易被忽略的细节噪声不是固定幅度的。DDPG在探索阶段需要大噪声随着训练进行噪声应该逐渐减小让策略从探索转向利用。# 训练主循环逻辑伪码结构 for episode in range(max_episodes): state env.reset() for step in range(max_steps): action actor_get_action(state) noise.sample() # 加探索噪声 next_state, reward, done env.step(action) replay_buffer.push((state, action, reward, next_state, done)) if replay_buffer.size() batch_size: actor_update_and_critic_update() # 采样更新 noise.scale * noise_decay # 噪声衰减常见的配置是噪声初始scale取0.2到0.3decay取0.995到0.999。衰减太快探索不足容易陷入局部最优衰减太慢策略稳定下来后动作还在抖动。这套代码在这些参数上都做了变量化你在文件头部能找到NOISE_STD、NOISE_DECAY这样的全局参数改起来很方便。3. 把代码跑起来环境准备、训练启动与可视化验证3.1 Python环境安装卡住的往往是sklearn和numpy版本代码包的依赖主要涉及torch、numpy、matplotlib还有可能用到sklearn做数据预处理的对比。很多人在安装阶段就翻车问题往往出在Python版本与torch版本的匹配上。我建议用Python 3.8或3.9搭配torch 1.10到2.0之间的版本太大或者太小的版本在导入时会出现兼容性报错。# 建议按这个顺序安装 pip install numpy1.21.6 pip install matplotlib3.5.3 pip install torch1.13.1 --index-url https://download.pytorch.org/whl/cu117如果用的是CPU版本去掉最后一个index-url参数即可。代码里用到的torch功能主要是MLP、relu、tanh、Adam优化器对GPU没有硬性要求CPU跑也能出结果只是慢一些。安装完成后用python -c import torch, numpy, matplotlib; print(ok)验证三个库能否同时导入。一个常见的坑是numpy版本过高比如numpy 2.0以上和旧版torch的C扩展不兼容报错通常是module compiled against API version。降级到1.21.6基本能解决。3.2 直接跑训练先看曲线再读代码打开终端进入UAV-DDPG-main目录执行主训练脚本。如果代码包中主文件是main.py或train.py运行方式如下python main.py --mode train如果报错提示缺少参数通常在main.py头部有全局变量定义例如MAX_EPISODES 500、MAX_STEPS 200直接改这些值即可。训练完成后会出现reward曲线图保存格式可能是PNG或者PDF。第一次跑的时候先用默认参数跑完整个训练过程重点观察曲线是否总体上升、波动幅度是否收敛。DDPG的奖励曲线不会像DQN那样平滑递增它会有明显的抖动这属于正常现象。判断训练是否成功要关注曲线的整体趋势和末尾水平。如果曲线一路上扬或者持平在高位说明策略在稳定学习如果断崖式下跌或者持续剧烈震荡说明超参数可能不合适。3.3 生成对比图Edge_only、Local_only、DQN、DDPG放在同一张图上这套代码包的一大价值是自带了多个baseline算法。论文里需要的对比实验基本不需要额外写代码。运行完DDPG后依次运行Edge_only和Local_only的测试脚本保存各自的reward或cost曲线。# 绘制对比曲线的参考代码 import matplotlib.pyplot as plt import numpy as np ddpg_reward np.load(results/ddpg_reward.npy) dqn_reward np.load(results/dqn_reward.npy) edge_only_reward np.load(results/edge_only_reward.npy) plt.figure(figsize(10, 6)) plt.plot(ddpg_reward, labelDDPG, linewidth2) plt.plot(dqn_reward, labelDQN, linewidth1.5) plt.plot(edge_only_reward, labelEdge Only, linewidth1.5, linestyle--) plt.xlabel(Episode) plt.ylabel(Cumulative Reward) plt.legend() plt.grid(True) plt.savefig(comparison.png, dpi150)要确保各算法跑的是同一个环境场景——同样的无人机数量、任务到达率、信道条件。否则对比就没有意义。3.4 案例数据与Matlab版本的补充验证代码包附赠的Matlab案例数据可以直接跑Matlab版本的程序。适用版本覆盖Matlab 2014、2019a和2024a这覆盖了大多数实验室机器的配置。Matlab版本适合做快速演示——打开.m文件点击运行等待输出图。和Python版本对比结果是否一致可以作为代码正确性的交叉验证。建议用同一组随机种子这样两边结果可复现。4. 避坑指南DDPG训练不收敛的五个排查方向4.1 训练曲线发散reward直接飞到负几千现象训练刚开始几百步reward曲线直线下滑最后停在某个极大的负值附近。原因奖励函数数值跨度过大例如时延惩罚和时间项加权不平衡导致Q值估计在初期完全失真。Critic网络的输出在初始随机权重下给出巨大偏差反向传播把Actor推向错误方向形成恶性循环。解决先检查reward归一化。把reward计算中用到的时延和能耗做了量纲统一对时延除以一个参考值对能耗也除以对应参考值把数值缩放到0.1到1.0之间再加大时延项的权重系数。改完reward后用小学习率重新训练。4.2 前期收敛中后期突然崩盘现象训练到100到200个episode时曲线已经平稳突然一个episode的reward断崖式下跌之后再也无法恢复。原因强化的经典陷阱——经验回放缓冲区里的样本分布已经偏离当前策略的分布策略在旧样本上更新但环境反馈变了。这本质上是off-policy方法在策略剧烈变化时遇到的稳定性问题。解决降低软更新tau值比如从0.005降到0.001让目标网络追得更慢。同时检查是不是奖励函数里有未处理的终止条件——比如无人机能量耗尽或任务丢弃率超过某阈值时应该显式给一个大的负奖励并结束episode而不是让环境继续跑下去。4.3 Actor的loss一直在减小但Critic的loss不降现象训练日志中Actor loss单调下降Critic loss徘徊不变甚至升高最终reward停止增长。原因Critic学到的Q值与真实回报之间的误差没有被有效反馈到Actor更新上出现了梯度方向错误或梯度消失。常见原因是两层网络结构太浅特征表达能力不足。解决把隐藏层数从两层增加到三层每层宽度从256加大到512。同时确认Critic输入层做了torch.cat([state, action], dim1)操作动作要和状态在特征维度上对齐拼接顺序在PyTorch代码里写错会导致特征错位。4.4 训练太慢一个episode要等很久现象CPU环境下训练500个episode可能需要数小时。原因环境仿真代码中用纯Python循环模拟任务生成、信道衰减和传输过程没有向量化。而且每个episode内步数设置太长大量步数在探索噪声较大的早期是无意义的。解决先调小MAX_EPISODES到100MAX_STEPS到100验证整个管道能跑通得到趋势曲线再把参数调大做完整训练。同时优先用NumPy的向量化运算替代for循环尤其是在计算信道增益和任务队列更新时。4.5 改了参数后结果反而更差现象把学习率调大、把噪声尺度调大、把回放buffer调大训练结果反而全面退步。原因DDPG对超参数极其敏感它不遵循“越大越好”的直觉。学习率过大导致Critic过度更新噪声过大会让Actor在后期还在盲目探索。解决以代码包的默认为准一次只改一个参数。先把最优参数组合确定下来再物理性更改环境参数。记录每次实验的参数组合和最终reward曲线文件形成对照表。5. 把已有代码改造成自己的实验状态、动作、奖励的木桶效应5.1 状态空间设计决定了你能看到什么多数MEC卸载论文的状态空间包含信道增益、任务到达率、任务队列长度、无人机剩余能量、边缘服务器负载。这套代码给了你默认的状态定义但如果你需要加入新的状态维度比如无人机与地面用户的距离矩阵需要扩展状态空间的长度同时调整Agent网络的第一层输入维度。状态不是越多越好。多一个维度的状态意味着需要更多样本来拟合如果你新增的状态维度和奖励几乎不相关会拖慢收敛速度。判断方式是做一次相关性分析。# 计算状态维度与reward的相关性 import numpy as np state_history np.load(results/state_history.npy) # 形状 (N, state_dim) reward_history np.load(results/reward_history.npy) corr np.array([np.corrcoef(state_history[:, i], reward_history)[0, 1] for i in range(state_history.shape[1])])相关系数绝对值低于0.05的维度建议直接去掉。这是一个简单有效的特征筛选方法。5.2 动作空间维度与约束条件代码里的DDPG动作是1维的——卸载比例。但实际场景中无人机可能有多台每台都有独立的卸载决策动作空间维度会从1扩展到无人机数量。max_action同样要配合每个维度的上下限。如果任务是任务可拆分模型卸载比例0到1之间是连续可行的。如果模型切换成不可拆分的计算卸载模型那动作空间应当重新定义此时DDPG不再适用应该切换回DQN或者混合动作空间的强化学习算法。这是选题方向上容易踩的大坑——动作空间的连续/离散判断直接决定算法选型。5.3 奖励函数调优的经验顺序奖励设计是整个代码改造中最难的部分。我的一般流程是第一版只按时延和能耗的线性加权写跑出来不收敛很正常。第二版加入任务完成率的强约束——任务丢弃给一个大的负奖励。第三版加入能量约束——无人机剩余能量低于阈值时给额外惩罚。有一个技巧值得记住奖励函数中的每一项都单独存放在一份列表中追踪日志记录下这样就能看到算法到底在优化哪一个目标。如果时延在下降但能耗在上升说明加权系数失衡。这种可解释性对于论文写作和debug都极其关键。5.4 保存与加载模型训练中断时给你一颗后悔药长时间训练最怕中途断电或环境崩溃。在训练循环里加入模型定期保存的机制每50个episode保存一次中断时加载最近的版本继续训练。# 模型保存与继续训练 torch.save({ actor_state_dict: actor.state_dict(), critic_state_dict: critic.state_dict(), actor_optimizer_state_dict: actor_optimizer.state_dict(), critic_optimizer_state_dict: critic_optimizer.state_dict(), episode: episode, }, checkpoint.pth) # 恢复训练 checkpoint torch.load(checkpoint.pth) actor.load_state_dict(checkpoint[actor_state_dict]) episode_start checkpoint[episode] 1从那以后我每次训练DDPG都会强制走一遍这个流程——先配环境再训练跑通然后保存checkpoint最后做对比实验。论文里的每一张图我都能说出是用了哪组超参数跑出来的而不是训练了一晚上拿一张自己都无法复现的曲线。这套代码给了你一个扎实的起点你在这上面做的每一次调参和改造都会变成你在这条路上真正磨出来的手感。希望帮到你。本文还有配套的精品资源点击获取 无人机辅助MEC计算卸载：DDPG代码实战与调参避坑指南
简介面向计算机、电子信息工程与数学专业学生的一份无人机辅助移动边缘计算UAV-MEC卸载优化Python代码包基于深度确定性策略梯度DDPG方法解决动态任务卸载决策问题。代码有17个文件包含16个Python脚本和1个说明文档压缩包仅45KB体积精简但结构完整覆盖DDPG算法核心的Actor-Critic网络、DQN对比方案以及Edge_only、Local_only等基准策略。已有147人学习下载。工程采用参数化编程关键参数可灵活调整注释详细并附可直接运行的案例数据便于验证算法效果并拓展到智能交通、智慧城市、远程医疗等场景。这份资源不仅能作为大学课程设计、期末大作业和毕业设计的完整项目参考也能帮助研究者快速理解强化学习在移动边缘计算卸载中的建模思路为进一步开发更高效的优化策略提供实验基础。1. 无人机辅助MEC的计算卸载为什么我劝你先跑通这套DDPG代码移动边缘计算MEC和计算卸载这两个词在过去两年被论文洗版了无数次。但真正把手伸进代码里把无人机悬停位置、任务队列、信道状态和卸载比例揉进一个强化学习模型还能跑出收敛曲线的其实不多。这套基于深度确定性策略梯度DDPG的Python代码包把无人机辅助MEC场景下的动态卸载决策做成了可复现的实验框架——网络结构是Actor-Critic双网络动作空间是连续的卸载比例状态空间覆盖信道增益、任务缓冲长度和无人机剩余能量奖励函数兼顾时延和能耗。适合三类人做课程设计和毕业设计的本科生刚进边缘计算方向的研究生以及想快速验证DDPG在卸载问题上效果的工程师。你要做的不是读懂每一行数学推导而是把代码跑通再改参数看曲线怎么变——这套代码恰恰给了你最大的改参数自由。2. 拆开UAV-DDPG代码包目录结构与DDPG核心逻辑2.1 代码包目录到底装了什么拿到压缩包解压后第一眼看到的是UAV-DDPG-main这个主目录。我建议你先把README.md打开看一眼作者把环境依赖和运行顺序写在里面了。目录结构大体长这样UAV-DDPG-main/ ├── README.md ├── Edge_only/ ├── DDPG/ │ ├── Actor.py │ ├── Critic.py │ ├── ReplayBuffer.py │ └── Trainer.py ├── DQN/ ├── Local_only/ └── ...Edge_only和Local_only是两种对比策略前者把所有任务都卸载到边缘服务器后者全部留在本地计算。这两个目录是拿来当baseline的你在论文里画对比曲线时会用到。DQN目录是另一个对比算法。主目录下还有一个matlab版本的案例数据附赠包能用Matlab 2014/2019a/2024a直接跑适合不想打开Python IDE的人。DDPG目录下是核心算法部分。Actor.py定义策略网络输入状态输出动作——在卸载场景里动作就是卸载比例范围从0到1。Critic.py定义Q网络输入状态和动作输出Q值。ReplayBuffer.py是经验回放缓冲区存储四元组(s, a, r, s)训练时随机采样打破时间相关性。Trainer.py是训练主循环把探索噪声、软更新、梯度下降全部串起来。2.2 Actor-Critic为什么卸载任务要用连续动作空间计算卸载问题的核心决策是任务在本地算、卸载到边缘服务器算还是按比例拆分。如果用DQN动作空间只能是离散的——要么全卸载要么全不卸载再或者拆成固定的几个档位。但真实场景里信道是连续变化的任务大小也是随机的更细粒度的卸载比例能显著降低总代价。DDPG就是为连续动作空间设计的。Actor网络把状态映射成确定性动作值Critic网络评估这个动作的好坏训练时在动作上加入随机噪声做探索。下面这段是Actor网络的核心结构我从Trainer.py里摘出来的做了精简class Actor(nn.Module): def __init__(self, state_dim, action_dim, max_action): super(Actor, self).__init__() self.l1 nn.Linear(state_dim, 256) self.l2 nn.Linear(256, 256) self.l3 nn.Linear(256, action_dim) self.max_action max_action def forward(self, state): x F.relu(self.l1(state)) x F.relu(self.l2(x)) x torch.tanh(self.l3(x)) # tanh输出范围[-1,1] return self.max_action * x # 乘上限映射到[0, max_action]这里的关键动作是最后一层用了tanh激活函数输出范围在[-1, 1]再乘上max_action映射到合理的动作区间。在卸载场景里max_action通常设为1表示卸载比例上限。注意max_action不在模型内部定义而是在外部传入这是一个容易理解的参数。Critic网络接收状态和动作的拼接作为输入输出Q值。时序差分目标用贝尔曼方程计算目标网络用软更新。这两个网络的定义逻辑在所有DDPG实现里几乎一致但这套代码的可读性更好注释写到了每一个张量变换的维度变化调试时不用自己推理shape。2.3 经验回放与软更新DDPG稳定的两个关键阀DDPG容易不稳定尤其是超参数调得不合适时Critic的loss直接发散。这里有两个机制在兜底——经验回放和软更新。# 软更新逻辑来自Trainer.py def soft_update(self, tau0.005): for target_param, param in zip(self.target_actor.parameters(), self.actor.parameters()): target_param.data.copy_(tau * param.data (1 - tau) * target_param.data) # Critic目标网络同理tau取0.005意味着目标网络每次只向当前网络移动0.5%。这个值太小学习慢太大训练不稳定。代码包默认0.005是DDPG的经典配置。经验回放的buffer大小建议设在10000到100000之间取小了样本相关性高取大了旧样本利用率低。代码包默认大概在20000适合中小型任务仿真。2.4 训练主循环回合、步数、噪声衰减的关系训练循环里有一个容易被忽略的细节噪声不是固定幅度的。DDPG在探索阶段需要大噪声随着训练进行噪声应该逐渐减小让策略从探索转向利用。# 训练主循环逻辑伪码结构 for episode in range(max_episodes): state env.reset() for step in range(max_steps): action actor_get_action(state) noise.sample() # 加探索噪声 next_state, reward, done env.step(action) replay_buffer.push((state, action, reward, next_state, done)) if replay_buffer.size() batch_size: actor_update_and_critic_update() # 采样更新 noise.scale * noise_decay # 噪声衰减常见的配置是噪声初始scale取0.2到0.3decay取0.995到0.999。衰减太快探索不足容易陷入局部最优衰减太慢策略稳定下来后动作还在抖动。这套代码在这些参数上都做了变量化你在文件头部能找到NOISE_STD、NOISE_DECAY这样的全局参数改起来很方便。3. 把代码跑起来环境准备、训练启动与可视化验证3.1 Python环境安装卡住的往往是sklearn和numpy版本代码包的依赖主要涉及torch、numpy、matplotlib还有可能用到sklearn做数据预处理的对比。很多人在安装阶段就翻车问题往往出在Python版本与torch版本的匹配上。我建议用Python 3.8或3.9搭配torch 1.10到2.0之间的版本太大或者太小的版本在导入时会出现兼容性报错。# 建议按这个顺序安装 pip install numpy1.21.6 pip install matplotlib3.5.3 pip install torch1.13.1 --index-url https://download.pytorch.org/whl/cu117如果用的是CPU版本去掉最后一个index-url参数即可。代码里用到的torch功能主要是MLP、relu、tanh、Adam优化器对GPU没有硬性要求CPU跑也能出结果只是慢一些。安装完成后用python -c import torch, numpy, matplotlib; print(ok)验证三个库能否同时导入。一个常见的坑是numpy版本过高比如numpy 2.0以上和旧版torch的C扩展不兼容报错通常是module compiled against API version。降级到1.21.6基本能解决。3.2 直接跑训练先看曲线再读代码打开终端进入UAV-DDPG-main目录执行主训练脚本。如果代码包中主文件是main.py或train.py运行方式如下python main.py --mode train如果报错提示缺少参数通常在main.py头部有全局变量定义例如MAX_EPISODES 500、MAX_STEPS 200直接改这些值即可。训练完成后会出现reward曲线图保存格式可能是PNG或者PDF。第一次跑的时候先用默认参数跑完整个训练过程重点观察曲线是否总体上升、波动幅度是否收敛。DDPG的奖励曲线不会像DQN那样平滑递增它会有明显的抖动这属于正常现象。判断训练是否成功要关注曲线的整体趋势和末尾水平。如果曲线一路上扬或者持平在高位说明策略在稳定学习如果断崖式下跌或者持续剧烈震荡说明超参数可能不合适。3.3 生成对比图Edge_only、Local_only、DQN、DDPG放在同一张图上这套代码包的一大价值是自带了多个baseline算法。论文里需要的对比实验基本不需要额外写代码。运行完DDPG后依次运行Edge_only和Local_only的测试脚本保存各自的reward或cost曲线。# 绘制对比曲线的参考代码 import matplotlib.pyplot as plt import numpy as np ddpg_reward np.load(results/ddpg_reward.npy) dqn_reward np.load(results/dqn_reward.npy) edge_only_reward np.load(results/edge_only_reward.npy) plt.figure(figsize(10, 6)) plt.plot(ddpg_reward, labelDDPG, linewidth2) plt.plot(dqn_reward, labelDQN, linewidth1.5) plt.plot(edge_only_reward, labelEdge Only, linewidth1.5, linestyle--) plt.xlabel(Episode) plt.ylabel(Cumulative Reward) plt.legend() plt.grid(True) plt.savefig(comparison.png, dpi150)要确保各算法跑的是同一个环境场景——同样的无人机数量、任务到达率、信道条件。否则对比就没有意义。3.4 案例数据与Matlab版本的补充验证代码包附赠的Matlab案例数据可以直接跑Matlab版本的程序。适用版本覆盖Matlab 2014、2019a和2024a这覆盖了大多数实验室机器的配置。Matlab版本适合做快速演示——打开.m文件点击运行等待输出图。和Python版本对比结果是否一致可以作为代码正确性的交叉验证。建议用同一组随机种子这样两边结果可复现。4. 避坑指南DDPG训练不收敛的五个排查方向4.1 训练曲线发散reward直接飞到负几千现象训练刚开始几百步reward曲线直线下滑最后停在某个极大的负值附近。原因奖励函数数值跨度过大例如时延惩罚和时间项加权不平衡导致Q值估计在初期完全失真。Critic网络的输出在初始随机权重下给出巨大偏差反向传播把Actor推向错误方向形成恶性循环。解决先检查reward归一化。把reward计算中用到的时延和能耗做了量纲统一对时延除以一个参考值对能耗也除以对应参考值把数值缩放到0.1到1.0之间再加大时延项的权重系数。改完reward后用小学习率重新训练。4.2 前期收敛中后期突然崩盘现象训练到100到200个episode时曲线已经平稳突然一个episode的reward断崖式下跌之后再也无法恢复。原因强化的经典陷阱——经验回放缓冲区里的样本分布已经偏离当前策略的分布策略在旧样本上更新但环境反馈变了。这本质上是off-policy方法在策略剧烈变化时遇到的稳定性问题。解决降低软更新tau值比如从0.005降到0.001让目标网络追得更慢。同时检查是不是奖励函数里有未处理的终止条件——比如无人机能量耗尽或任务丢弃率超过某阈值时应该显式给一个大的负奖励并结束episode而不是让环境继续跑下去。4.3 Actor的loss一直在减小但Critic的loss不降现象训练日志中Actor loss单调下降Critic loss徘徊不变甚至升高最终reward停止增长。原因Critic学到的Q值与真实回报之间的误差没有被有效反馈到Actor更新上出现了梯度方向错误或梯度消失。常见原因是两层网络结构太浅特征表达能力不足。解决把隐藏层数从两层增加到三层每层宽度从256加大到512。同时确认Critic输入层做了torch.cat([state, action], dim1)操作动作要和状态在特征维度上对齐拼接顺序在PyTorch代码里写错会导致特征错位。4.4 训练太慢一个episode要等很久现象CPU环境下训练500个episode可能需要数小时。原因环境仿真代码中用纯Python循环模拟任务生成、信道衰减和传输过程没有向量化。而且每个episode内步数设置太长大量步数在探索噪声较大的早期是无意义的。解决先调小MAX_EPISODES到100MAX_STEPS到100验证整个管道能跑通得到趋势曲线再把参数调大做完整训练。同时优先用NumPy的向量化运算替代for循环尤其是在计算信道增益和任务队列更新时。4.5 改了参数后结果反而更差现象把学习率调大、把噪声尺度调大、把回放buffer调大训练结果反而全面退步。原因DDPG对超参数极其敏感它不遵循“越大越好”的直觉。学习率过大导致Critic过度更新噪声过大会让Actor在后期还在盲目探索。解决以代码包的默认为准一次只改一个参数。先把最优参数组合确定下来再物理性更改环境参数。记录每次实验的参数组合和最终reward曲线文件形成对照表。5. 把已有代码改造成自己的实验状态、动作、奖励的木桶效应5.1 状态空间设计决定了你能看到什么多数MEC卸载论文的状态空间包含信道增益、任务到达率、任务队列长度、无人机剩余能量、边缘服务器负载。这套代码给了你默认的状态定义但如果你需要加入新的状态维度比如无人机与地面用户的距离矩阵需要扩展状态空间的长度同时调整Agent网络的第一层输入维度。状态不是越多越好。多一个维度的状态意味着需要更多样本来拟合如果你新增的状态维度和奖励几乎不相关会拖慢收敛速度。判断方式是做一次相关性分析。# 计算状态维度与reward的相关性 import numpy as np state_history np.load(results/state_history.npy) # 形状 (N, state_dim) reward_history np.load(results/reward_history.npy) corr np.array([np.corrcoef(state_history[:, i], reward_history)[0, 1] for i in range(state_history.shape[1])])相关系数绝对值低于0.05的维度建议直接去掉。这是一个简单有效的特征筛选方法。5.2 动作空间维度与约束条件代码里的DDPG动作是1维的——卸载比例。但实际场景中无人机可能有多台每台都有独立的卸载决策动作空间维度会从1扩展到无人机数量。max_action同样要配合每个维度的上下限。如果任务是任务可拆分模型卸载比例0到1之间是连续可行的。如果模型切换成不可拆分的计算卸载模型那动作空间应当重新定义此时DDPG不再适用应该切换回DQN或者混合动作空间的强化学习算法。这是选题方向上容易踩的大坑——动作空间的连续/离散判断直接决定算法选型。5.3 奖励函数调优的经验顺序奖励设计是整个代码改造中最难的部分。我的一般流程是第一版只按时延和能耗的线性加权写跑出来不收敛很正常。第二版加入任务完成率的强约束——任务丢弃给一个大的负奖励。第三版加入能量约束——无人机剩余能量低于阈值时给额外惩罚。有一个技巧值得记住奖励函数中的每一项都单独存放在一份列表中追踪日志记录下这样就能看到算法到底在优化哪一个目标。如果时延在下降但能耗在上升说明加权系数失衡。这种可解释性对于论文写作和debug都极其关键。5.4 保存与加载模型训练中断时给你一颗后悔药长时间训练最怕中途断电或环境崩溃。在训练循环里加入模型定期保存的机制每50个episode保存一次中断时加载最近的版本继续训练。# 模型保存与继续训练 torch.save({ actor_state_dict: actor.state_dict(), critic_state_dict: critic.state_dict(), actor_optimizer_state_dict: actor_optimizer.state_dict(), critic_optimizer_state_dict: critic_optimizer.state_dict(), episode: episode, }, checkpoint.pth) # 恢复训练 checkpoint torch.load(checkpoint.pth) actor.load_state_dict(checkpoint[actor_state_dict]) episode_start checkpoint[episode] 1从那以后我每次训练DDPG都会强制走一遍这个流程——先配环境再训练跑通然后保存checkpoint最后做对比实验。论文里的每一张图我都能说出是用了哪组超参数跑出来的而不是训练了一晚上拿一张自己都无法复现的曲线。这套代码给了你一个扎实的起点你在这上面做的每一次调参和改造都会变成你在这条路上真正磨出来的手感。希望帮到你。本文还有配套的精品资源点击获取