简介基于多智能体深度强化学习DDPG算法的综合能源系统优化控制框架完整代码面向能源系统调度、智能电网与强化学习应用研究人员。框架构建电力-天然气耦合网络环境采用根协调器、电力控制器、燃气控制器三级智能体协作结合三重经验回放、异步更新与高斯噪声探索实现负荷损失、经济成本、网络效率及故障恢复速度的多目标优化。资源共92个文件含16个Python核心模块、23张PNG可视化图表、22个CSV指标数据、4个MAT电力系统案例及地理信息数据等包体约54.44MB工程目录按智能体与功能模块划分便于定位和二次开发。已有113人学习下载可直接复现500步协同训练流程获得30余项指标记录和21类分析图表。配备完整训练日志、输出数据集与地图绘图脚本便于后续扩展对比实验是研究多智能体DDPG在综合能源系统中落地调度的实用参考。1. 综合能源系统的优化控制框架多智能体DDPG到底把什么调明白了做过园区能源调度的人都有同感电、热、气、储放在同一个优化模型里光伏和负荷还在实时波动传统的混合整数规划模型动辄几十个二进制变量求解慢、模型维护难。我最初尝试用单个DDPG算法做全局调度动作空间一展开就是十几个连续维度训练不到两千回合Q值就开始乱跳动作全部撞到边界上。后来把决策拆成多智能体深度强化学习结构——储能、热电联产、热泵各管各的动作训练时再用全局信息协调框架才真正跑稳。这篇笔记把综合能源系统优化控制框架从建模到落地完整拆开讲覆盖选型、状态动作奖励设计、MADDPG最小实现和调参避坑适合正在做园区综合能源、微电网调度的工程师和研究者照着能搭出一套能训练、能对比、能扩展的框架。2. 为什么是DDPG而不是PPO连续控制与多智能体的选型边界2.1 综合能源系统的动作空间离散挡位解决不了日内调度先看动作从哪来。园区综合能源系统里需要实时决策的设备一般是这几类电储能充放电功率、燃气热电联产机组CHP电出力、热泵电转热功率、以及和上级电网的交互功率购电/售电。这些变量的共同特征是本质连续储能充放电功率可以从零平滑调到额定值CHP电出力受爬坡约束是一个连续区间热泵功率更是连续可调。如果把动作空间按「挡位」离散日内调度立刻会遇到两个问题第一是精度储能功率离散成十个挡位SOC跟踪误差会被挡位间距放大热负荷稍微波动一下就抵消了挡位精度第二是维度每台设备离散成N挡多台设备联合动作空间是N的m次方枚举决策在这个规模下基本不可行。所以综合能源系统的日内调度天然需要能输出连续动作的算法这正是DDPG算法进入视野的原因。DDPG的全称是Deep Deterministic Policy Gradientactor-critic结构actor输出动作、critic给动作打分配合经验回放和目标网络稳定训练。多智能体版本就是每个设备或子系统一个actor训练阶段用全局信息协调执行阶段只依赖本地观测。相比随机策略梯度算法DDPG的确定性策略直接给出一组连续动作数值在能源调度这种「每个时刻必须给出明确出力指令」的场景里语义最匹配。2.2 DDPG、PPO、SAC怎么选采样效率和实现成本说了算不少刚入门的人会问综合能源系统里PPO不也能做连续动作吗确实能但如果把主流深度强化学习算法放在多智能体场景里对比取舍就非常清楚。综合能源系统仿真环境每步要算电热平衡、设备效率和成本一个调度周期96步一天下来上万个交互样本采样方式直接决定训练时间。对比项DDPGPPOSAC采样方式off-policy复用历史样本on-policy样本用完即弃off-policy复用历史样本动作空间连续连续/离散均可连续多智能体适配成熟MADDPG路线需额外处理策略同步需调温度系数训练稳定性对超参数敏感但可控最稳定稳定但偏慢实现成本低参考实现多中中高PPO是on-policy每次策略更新后旧样本全部作废环境交互成本高得离谱。DDPG是off-policy历史经验反复用采样效率高几个量级。SAC虽然也是off-policy它引入的最大熵项在多智能体场景下会让各个agent的探索策略互相干扰温度系数变成一个需要单独调的新维度。我的血泪经验是先上多智能体DDPG把框架跑通经济性验证有结论之后再决定要不要换SAC或TD3做对比。算法选择不是「最新最好」而是「最容易验证正确」。2.3 CTDE架构集中训练与分布执行的边界多智能体DDPG的核心不是「每个agent独立跑一个DDPG」而是CTDE即集中式训练、分布式执行。这句话是这套框架的定位判断理解偏了后面全部跑偏。训练阶段每个agent的critic可以拿到全局信息所有agent的观测、所有agent的即时动作、全局负荷和电价。critic的任务是给「自己这个agent在当前全局局面下采取这个动作」打分所以它必须看到全局。执行阶段真实系统里通信带宽和延迟都不可控agent不能依赖别人的实时观测actor只能用自己本地的观测输出动作。这个设计对综合能源系统特别合适。园区里储能、CHP、热泵分布在不同的配电房和热力站实时采集所有设备状态再做集中决策对通信和计算都是负担。常见做法是训练在服务器离线完成训练好的actor权重分发到各设备侧的边缘控制器执行完全本地化。多智能体强化学习的「环境非平稳」问题也由此而来每个agent的策略都在变对其他agent来说环境就在变。CTDE通过训练时共享全局信息让每个critic能看到别人当前的策略意图从而在自己训练时把别人的变化纳入考量这是单智能体DDPG直接照搬到多agent场景做不到的。3. 建模成马尔可夫博弈状态、动作、奖励的工程化设计3.1 状态空间设计全局可观量与局部可观量怎么分搭建多智能体框架的第一步不是写网络而是把综合能源系统重新表述成马尔可夫决策过程。这一层设计定错了后面用什么算法都救不回来。每个agent的观测应该分成两部分拼接局部观测加全局广播。以储能agent为例局部观测是当前SOC、充放电功率上限、剩余容量全局广播是当前电负荷、光伏出力、实时电价、上一时段的功率平衡偏差。CHP agent的局部观测是当前电出力、热出力、爬坡状态、热电比热泵agent的局部观测是当前电功率、热功率、蓄热水箱温度。全局部分大家共享局部部分各agent自己维护。这里有一个关键边界凡是「需要实时动作对应」的状态必须放局部凡是「影响所有agent代价」的状态必须放全局。电价是全局的因为购售电成本由所有用电设备共同承担上一次动作值放局部因为每个agent的爬坡约束只约束自己。全局信息过多会让actor过拟合全局噪声局部信息不足会让agent变成瞎子这个度要靠实验调。观测建议做归一化。SOC除以额定容量、功率除以额定功率、电价除以基准电价全部映射到0到1或-1到1区间。不做归一化的后果是网络输入尺度差异过大前几层权重被电价这种大数值主导训练前期梯度方向完全错误后面要花几万步才能纠正回来。我一般会在环境里直接算好归一化观测训练代码里不再重复处理这样换场景时只改归一化基准不动网络。3.2 动作空间的连续化与缩放动作空间设计遵循「归一化输入、缩放输出」的原则。每个agent的动作网络最后一层用tanh激活输出-1到1再线性映射到设备实际工作区间。储能agent的动作可以是一维有符号净功率正表示放电、负表示充电CHP和热泵的动作映射到0到最大出力。动作维度的分配有个踩坑经验能合并的维度尽量合并。储能充和放本来就是同一个物理过程的两端拆成两个维度会让actor在训练初期同时输出「大充大放」这种自相矛盾的动作浪费大量探索步数。# 动作从网络输出映射到设备物理量 def map_action_to_device(action_norm, capacity): 将tanh输出的[-1,1]动作映射到设备的物理功率范围。 action_norm: actor输出shape为(batch, 1) capacity: 设备功率上限储能取充放电上限CHP取电出力上限 # 浮点误差可能产生极轻微越界提前clip避免非物理功率 action_norm np.clip(action_norm, -1.0, 1.0) # 储能用符号表示充放方向CHP/热泵额外做0~1偏移 action_phys action_norm * capacity return action_phys这段映射函数是所有agent共用的模板。关键参数是提前clip到[-1,1]tanh虽然理论上不会越界但浮点误差和梯度噪声可能产生极小越界值提前clip能避免奖励计算里出现非物理功率。对于CHP这类只能正向出力的设备映射写成(action_norm 1) / 2 * capacity把[-1,1]搬到[0,capacity]而不是直接乘capacity否则负半轴的动作会被浪费。3.3 奖励函数费用、惩罚与约束软化的组合奖励函数是多智能体深度强化学习里最容易被低估的部分。综合能源系统的优化目标是运行成本最低天然以费用为主干但约束必须通过惩罚项进入奖励否则agent会学会钻空子。奖励函数一般写成三部分经济项购电费用加燃气费用减去售电收益平衡惩罚电功率不平衡量和热功率不平衡量的绝对值约束惩罚SOC越限、联络线功率越限的软惩罚。def compute_reward(ess_soc, soc_min, soc_max, p_balance, q_balance, cost): 综合能源系统单步奖励费用 平衡惩罚 约束软化惩罚。 cost: 当前步运行成本购电购气-售电单位元 p_balance: 电功率不平衡量正值表示缺电单位kW q_balance: 热功率不平衡量正值表示缺热单位kW lambda_bal 5.0 # 功率平衡惩罚系数要大于电价尺度 lambda_soc 20.0 # SOC越限惩罚系数比平均电价高一个量级 # 缺电缺热都是负奖励取绝对值让双向不平衡都受罚 reward -cost - lambda_bal * (abs(p_balance) abs(q_balance)) # SOC软约束越限才惩罚不越限不罚 if ess_soc soc_max: reward - lambda_soc * (ess_soc - soc_max) elif ess_soc soc_min: reward - lambda_soc * (soc_min - ess_soc) return reward两个系数都要按物理尺度标定。lambda_bal设成电价的5到10倍是为了让缺电惩罚显著高于购电成本否则agent会倾向于「缺电就多买电」并把平衡偏差合理化lambda_soc设成比电费高一个量级因为SOC越限意味着储能寿命受损这个代价不该被一次交易收益覆盖。奖励要从训练第一步就存在不要做稀疏奖励。有些工程做法是先训约束满足、再加经济目标两阶段奖励在单agent里还能凑合多agent下会让agent之间的协调信号消失不推荐。直接用加权和把所有量纲统一到元/kWh后加和最省事也最稳。奖励项表达式系数标定依据购电费用-电价 * 购电量按实际分时电价购气费用-气价 * 耗气量按实际气价售电收益上网电价 * 售电量按实际上网电价电平衡惩罚-λ1 * 不平衡功率绝对值λ1 5~10倍平均电价热平衡惩罚-λ2 * 不平衡热量绝对值热量折算成等效电成本SOC越限惩罚-λ3 * 越限深度λ3 10~20倍平均电价4. 多智能体DDPG最小实现环境、网络与训练循环的可复现代码4.1 环境接口把综合能源系统封装成step/reset写多智能体强化学习代码环境接口要在一开始定死。常见做法是采用gym风格reset返回每个agent的初始观测step接收一个「agent名到动作」的字典返回下一时刻观测、奖励、是否终止。这里的关键是字典结构因为不同agent的观测维度和动作维度不一样用字典比用列表清晰得多也方便后续增加或删减agent。class IESEnv: 综合能源系统多智能体环境电热耦合3个可控agent。 def __init__(self, config): self.agents [ess, chp, hp] self.soc config[soc_init] self.p_chp config[chp_init] self.t 0 self.horizon 96 # 一个调度周期96步对应15分钟粒度 self.config config def reset(self): 返回每个agent的初始观测字典。 self.t 0 self.soc 0.5 self.p_chp 0.6 return self._get_obs() def _get_obs(self): 拼接全局广播与各agent局部观测全部归一化。 obs {} obs[ess] np.array([self.soc, self.config[load_p][self.t], self.config[pv][self.t], self.config[price][self.t]]) obs[chp] np.array([self.p_chp, self.config[load_p][self.t], self.config[price][self.t]]) obs[hp] np.array([self.config[load_q][self.t], self.config[price][self.t]]) return obs环境step的核心是动作缩放和电热平衡计算。动作从[-1,1]映射到物理功率后代入平衡方程算出缺电缺热量再传给奖励函数。这里有一个工程细节平衡偏差不要在环境内部直接截断要原样传给奖励让agent看到缺电的连续程度而不是一个「是否平衡」的离散标志。SOC更新用一阶离散模型充放电效率分开给。4.2 Actor与Critic网络集中式Critic的输入必须拼什么网络结构在MADDPG里很统一actor输入自己的观测输出动作critic输入全局状态加联合动作输出Q值。两个网络都是两到三层的MLPhidden取256在能源调度场景足够。这里最容易写错的是critic的输入拼接必须把「所有agent的当前动作」拼进全局状态而不是只拼自己那个agent的动作。原因很直接储能的充放电决策直接影响电价成本和热泵的运行空间critic如果看不到联合动作就无法对agent间的交互影响打分。import torch import torch.nn as nn class Actor(nn.Module): 每个agent一个actor局部观测 - 连续动作。 def __init__(self, obs_dim, act_dim, hidden256): super().__init__() self.net nn.Sequential( nn.Linear(obs_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, act_dim), nn.Tanh(), ) def forward(self, obs): return self.net(obs) class Critic(nn.Module): 集中式critic全局状态 联合动作 - Q值。 def __init__(self, global_obs_dim, total_act_dim, hidden256): super().__init__() self.net nn.Sequential( nn.Linear(global_obs_dim total_act_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, 1), ) def forward(self, s_global, a_all): # 拼接必须在最后一维做s_global和a_all都是(batch, dim) return self.net(torch.cat([s_global, a_all], dim-1))hidden256对日内96步的调度场景足够再大收益很小且更容易过拟合。obs_dim按第3章的划分ess约4到8维chp约4到6维hp约2到4维。total_act_dim是所有agent动作维度之和比如ess是1、chp是1、hp是1总的就是3。target网络结构与主网络完全一致参数用软更新同步这是DDPG算法稳定性的关键不能省。4.3 集中式经验回放与训练主循环MADDPG最容易写错的一步MADDPG的经验回放存的是「全局样本」不是per-agent样本。一个样本包含全局状态所有agent观测的拼接、联合动作所有agent动作的拼接、每个agent的奖励、下一时刻全局状态、终止标志。如果像单智能体那样每个agent存自己的(obs, act, rew, obs_next)训练集中式critic时就会拿不到联合动作整个CTDE架构失效。这是整个框架里最容易踩的坑很多跑不起来的实现都是栽在这里。import collections import random import numpy as np class ReplayBuffer: MADDPG统一回放缓冲区按全局样本存储。 def __init__(self, capacity100000): self.buf collections.deque(maxlencapacity) def store(self, s_global, a_all, r_all, s_global_next, done): # s_global: 1D数组所有agent观测拼接 # a_all: 1D数组所有agent动作拼接 self.buf.append((s_global, a_all, r_all, s_global_next, done)) def sample(self, batch_size): batch random.sample(self.buf, batch_size) s np.array([b[0] for b in batch]) a np.array([b[1] for b in batch]) r np.array([b[2] for b in batch]) s_next np.array([b[3] for b in batch]) done np.array([b[4] for b in batch]) return s, a, r, s_next, done训练主循环里每个agent分开更新但采样用的是同一个全局batch。critic的更新目标是目标网络算出的Q值actor的更新目标是最大化critic给自己当前动作的打分。更新actor时要保持其他agent动作不变只把「自己这个agent的动作」替换成当前actor的输出这样Q值的变化才反映自己策略的改进方向。def train_step(agent_idx, batch_size, gamma, tau): 更新第agent_idx个agent的critic和actor。 s, a, r, s_next, done replay.sample(batch_size) s torch.FloatTensor(s) a torch.FloatTensor(a) r torch.FloatTensor(r).unsqueeze(-1) s_next torch.FloatTensor(s_next) done torch.FloatTensor(done).unsqueeze(-1) # 目标网络预测下一时刻所有agent的动作再算目标Q with torch.no_grad(): s_next_obs s_next[:, obs_ranges[agent_idx]] # 目标actor输入是局部观测 a_next_i target_actors[agent_idx](s_next_obs) a_next_all a.clone() a_next_all[:, act_ranges[agent_idx]] a_next_i q_target r[:, agent_idx:agent_idx1] gamma * (1 - done) * \ target_critics[agent_idx](s_next, a_next_all) # 更新critic缩小Q预测与目标Q的差距 q_pred critics[agent_idx](s, a) critic_loss nn.MSELoss()(q_pred, q_target) critics_opt[agent_idx].zero_grad() critic_loss.backward() critics_opt[agent_idx].step() # 更新actor最大化critic对自己当前动作的打分 a_i actors[agent_idx](s[:, obs_ranges[agent_idx]]) a_all a.clone() a_all[:, act_ranges[agent_idx]] a_i actor_loss -critics[agent_idx](s, a_all).mean() actors_opt[agent_idx].zero_grad() actor_loss.backward() actors_opt[agent_idx].step() # 软更新目标网络 for tp, p in zip(target_actors[agent_idx].parameters(), actors[agent_idx].parameters()): tp.data.copy_(tau * p.data (1 - tau) * tp.data) for tp, p in zip(target_critics[agent_idx].parameters(), critics[agent_idx].parameters()): tp.data.copy_(tau * p.data (1 - tau) * tp.data)代码里的obs_ranges和act_ranges是两个预先生成的索引数组记录每个agent的观测和动作在拼接向量里的起止位置。这个设计避免了大量重复切片逻辑后续加agent只改这两个数组。gamma取0.99因为综合能源系统是长周期收益问题当天最后一个时刻的储能剩余电量会影响第二天gamma太低会让agent只看眼前电价。tau取0.005到0.01软更新太快会丢稳定性太慢目标网络跟不上主网络。提示训练循环外层的探索噪声用Ornstein-Uhlenbeck过程公式是dx θ(μ - x)dt σdW。θ取0.15控制噪声回归速度σ初始取0.2并随训练回合线性衰减到0.02。确定性策略必须配随机探索不然训练前期动作几乎不变经验回放里全是相似样本Q值估计方差大。5. 调参避坑从震荡到收敛的5条踩坑记录5.1 能跑通的超参数基线先从这组数开始多智能体DDPG的超参数敏感尤其是critic学习率、软更新系数和噪声衰减。下面这组基线是我在多个能源调度场景里跑通的起点不建议一上来就创新先复现再微调。超参数推荐值说明actor学习率1e-4低于critic一个量级避免策略跳变critic学习率1e-3快一点没大碍但要配双critic软更新系数tau0.005目标网络参数更新权重折扣因子gamma0.99适配日级长周期收益经验回放容量100000一个调度周期9600步约10个周期batch size256能源场景算力紧张时降到128OU噪声theta0.15均值回归速度OU噪声sigma初始0.2随episode线性衰减到0.02网络hidden256两层MLP5.2 踩坑一经验回放只存局部观测集中式Critic成瞎子现象训练前300回合loss在下降之后Q值突然开始剧烈震荡critic loss忽高忽低动作输出全部偏向动作边界。原因经验回放按per-agent存储每个样本只包含当前agent的(obs, act, rew, obs_next)训练集中式critic时没有联合动作可拼。解决回放缓冲区改成全局样本存储把所有agent观测拼成一个s_global、所有动作拼成一个a_all奖励保留成向量。改回全局存储后critic才能真正学到「其他agent动作对自己收益的影响」震荡会明显缓解。5.3 踩坑二Q值高估动作全部撞上边界现象训练中段Q值一路走高到上万但环境真实奖励只有几十动作几乎恒定为最大值。原因单critic的bootstrap误差逐次累积加上奖励尺度偏大导致Q值高估。解决第一把奖励里所有经济项除以基准电价做归一化让reward量级稳定在±10以内第二每个agent维护两个critic目标Q取两者最小值即Clipped Double Q技巧。双critic的额外开销只在训练阶段执行阶段仍然只跑actor不影响实时性。5.4 踩坑三OU噪声不衰减收敛后还在大范围探索现象训练曲线看着已经收敛但验证阶段性能比训练时差不少动作曲线抖动明显。原因OU噪声的sigma一直保持0.2训练后期agent已经学到一个稳定策略但噪声还在往动作上加一个不小的随机偏移导致次优决策。解决把噪声sigma按episode线性衰减前40%回合从0.2衰减到0.05后60%保持0.05以下验证时关闭噪声。我一般把噪声衰减和actor学习率衰减绑定策略越成熟探索越少学习率也越低。5.5 踩坑四各agent学会自私策略全局平衡没人管现象每个agent的个体奖励都在提升但环境整体电功率不平衡量一直下不去总成本没有实质下降。原因奖励函数里全局平衡惩罚系数lambda_bal太小个体经济项占主导agent只顾自己省钱缺电缺热的代价被忽略。解决提高lambda_bal到平均电价8到10倍并在每个agent的奖励里都加入同一个全局平衡惩罚项让平衡偏差成为所有agent共享的「公共信号」。这一步之后agent之间才开始出现真正意义上的协作储能在高电价充电、热泵在低谷期蓄热两个动作在时间上开始错开。5.6 踩坑五训练曲线好看换一条负荷曲线就翻车现象在训练用的典型日场景上运行成本下降20%换到另一条负荷曲线后成本反而比规则基线还高动作震荡。原因训练场景单一agent把特定负荷曲线和电价的对应关系背下来了而不是学到通用的调度逻辑。解决训练时每个episode从场景池里随机采样一条日曲线光伏、负荷、电价都用带随机扰动的方式生成观测里额外加一个「场景标签」维度比如星期几、季节、天气类型。多智能体强化学习对分布外场景天然脆弱训练数据多样性就是模型的泛化边界这一步省不掉。6. 验证与进阶从日级仿真到半实物怎么证明框架真的能省6.1 三个验证角度经济性、约束满足率、鲁棒性框架跑通后先不要急着谈部署设计三个对比实验让数字说话。第一个是经济性对比基线用固定规则——储能在低谷充电、高峰放电、CHP跟热定电另一个基线用MPC模型预测控制如果系统模型不精确这本身就是DDPG的价值证明。跑30个随机场景取平均记录日运行成本、购电量、燃气量。第二个是约束满足率统计一个调度周期内功率不平衡越限次数和SOC越限深度DDPG属于软约束优化目标不是零越限而是越限次数显著低于规则基线的同时成本更低。第三个是鲁棒性给光伏预测加±20%的扰动后重放仿真看成本退化幅度这个指标直接决定系统能不能在真实天气下使用。6.2 多时间尺度与模型导出从仿真到部署的下一步验证通过后往多时间尺度扩展是最常见的一条路。DDPG这类方法适合做日前和日内滚动调度但底层设备级的毫秒秒级控制不适合用神经网络做框架可以只输出日前调度曲线把曲线下发给本地PID或其他规则控制器执行。上层的DDPG策略负责目标和边界底层控制器负责精确跟踪中间用一段信息交互层做指令换算。模型导出时把actor权重转成ONNX格式部署到边缘计算盒子输入是归一化观测输出直接是归一化动作部署侧只需要做一次缩放映射。我自己习惯保留一份训练时的随机种子和超参数快照每次调完参都记录下验证集的三个指标这样半年后回看还能知道当时为什么改参数。多智能体DDPG不是黑匣子它的每个agent输出的动作都对应一个明确的物理量出了异常能直接排查到具体设备。这个特性是做能源控制最需要的东西希望帮到你。本文还有配套的精品资源点击获取 多智能体DDPG综合能源系统优化控制框架实战
简介基于多智能体深度强化学习DDPG算法的综合能源系统优化控制框架完整代码面向能源系统调度、智能电网与强化学习应用研究人员。框架构建电力-天然气耦合网络环境采用根协调器、电力控制器、燃气控制器三级智能体协作结合三重经验回放、异步更新与高斯噪声探索实现负荷损失、经济成本、网络效率及故障恢复速度的多目标优化。资源共92个文件含16个Python核心模块、23张PNG可视化图表、22个CSV指标数据、4个MAT电力系统案例及地理信息数据等包体约54.44MB工程目录按智能体与功能模块划分便于定位和二次开发。已有113人学习下载可直接复现500步协同训练流程获得30余项指标记录和21类分析图表。配备完整训练日志、输出数据集与地图绘图脚本便于后续扩展对比实验是研究多智能体DDPG在综合能源系统中落地调度的实用参考。1. 综合能源系统的优化控制框架多智能体DDPG到底把什么调明白了做过园区能源调度的人都有同感电、热、气、储放在同一个优化模型里光伏和负荷还在实时波动传统的混合整数规划模型动辄几十个二进制变量求解慢、模型维护难。我最初尝试用单个DDPG算法做全局调度动作空间一展开就是十几个连续维度训练不到两千回合Q值就开始乱跳动作全部撞到边界上。后来把决策拆成多智能体深度强化学习结构——储能、热电联产、热泵各管各的动作训练时再用全局信息协调框架才真正跑稳。这篇笔记把综合能源系统优化控制框架从建模到落地完整拆开讲覆盖选型、状态动作奖励设计、MADDPG最小实现和调参避坑适合正在做园区综合能源、微电网调度的工程师和研究者照着能搭出一套能训练、能对比、能扩展的框架。2. 为什么是DDPG而不是PPO连续控制与多智能体的选型边界2.1 综合能源系统的动作空间离散挡位解决不了日内调度先看动作从哪来。园区综合能源系统里需要实时决策的设备一般是这几类电储能充放电功率、燃气热电联产机组CHP电出力、热泵电转热功率、以及和上级电网的交互功率购电/售电。这些变量的共同特征是本质连续储能充放电功率可以从零平滑调到额定值CHP电出力受爬坡约束是一个连续区间热泵功率更是连续可调。如果把动作空间按「挡位」离散日内调度立刻会遇到两个问题第一是精度储能功率离散成十个挡位SOC跟踪误差会被挡位间距放大热负荷稍微波动一下就抵消了挡位精度第二是维度每台设备离散成N挡多台设备联合动作空间是N的m次方枚举决策在这个规模下基本不可行。所以综合能源系统的日内调度天然需要能输出连续动作的算法这正是DDPG算法进入视野的原因。DDPG的全称是Deep Deterministic Policy Gradientactor-critic结构actor输出动作、critic给动作打分配合经验回放和目标网络稳定训练。多智能体版本就是每个设备或子系统一个actor训练阶段用全局信息协调执行阶段只依赖本地观测。相比随机策略梯度算法DDPG的确定性策略直接给出一组连续动作数值在能源调度这种「每个时刻必须给出明确出力指令」的场景里语义最匹配。2.2 DDPG、PPO、SAC怎么选采样效率和实现成本说了算不少刚入门的人会问综合能源系统里PPO不也能做连续动作吗确实能但如果把主流深度强化学习算法放在多智能体场景里对比取舍就非常清楚。综合能源系统仿真环境每步要算电热平衡、设备效率和成本一个调度周期96步一天下来上万个交互样本采样方式直接决定训练时间。对比项DDPGPPOSAC采样方式off-policy复用历史样本on-policy样本用完即弃off-policy复用历史样本动作空间连续连续/离散均可连续多智能体适配成熟MADDPG路线需额外处理策略同步需调温度系数训练稳定性对超参数敏感但可控最稳定稳定但偏慢实现成本低参考实现多中中高PPO是on-policy每次策略更新后旧样本全部作废环境交互成本高得离谱。DDPG是off-policy历史经验反复用采样效率高几个量级。SAC虽然也是off-policy它引入的最大熵项在多智能体场景下会让各个agent的探索策略互相干扰温度系数变成一个需要单独调的新维度。我的血泪经验是先上多智能体DDPG把框架跑通经济性验证有结论之后再决定要不要换SAC或TD3做对比。算法选择不是「最新最好」而是「最容易验证正确」。2.3 CTDE架构集中训练与分布执行的边界多智能体DDPG的核心不是「每个agent独立跑一个DDPG」而是CTDE即集中式训练、分布式执行。这句话是这套框架的定位判断理解偏了后面全部跑偏。训练阶段每个agent的critic可以拿到全局信息所有agent的观测、所有agent的即时动作、全局负荷和电价。critic的任务是给「自己这个agent在当前全局局面下采取这个动作」打分所以它必须看到全局。执行阶段真实系统里通信带宽和延迟都不可控agent不能依赖别人的实时观测actor只能用自己本地的观测输出动作。这个设计对综合能源系统特别合适。园区里储能、CHP、热泵分布在不同的配电房和热力站实时采集所有设备状态再做集中决策对通信和计算都是负担。常见做法是训练在服务器离线完成训练好的actor权重分发到各设备侧的边缘控制器执行完全本地化。多智能体强化学习的「环境非平稳」问题也由此而来每个agent的策略都在变对其他agent来说环境就在变。CTDE通过训练时共享全局信息让每个critic能看到别人当前的策略意图从而在自己训练时把别人的变化纳入考量这是单智能体DDPG直接照搬到多agent场景做不到的。3. 建模成马尔可夫博弈状态、动作、奖励的工程化设计3.1 状态空间设计全局可观量与局部可观量怎么分搭建多智能体框架的第一步不是写网络而是把综合能源系统重新表述成马尔可夫决策过程。这一层设计定错了后面用什么算法都救不回来。每个agent的观测应该分成两部分拼接局部观测加全局广播。以储能agent为例局部观测是当前SOC、充放电功率上限、剩余容量全局广播是当前电负荷、光伏出力、实时电价、上一时段的功率平衡偏差。CHP agent的局部观测是当前电出力、热出力、爬坡状态、热电比热泵agent的局部观测是当前电功率、热功率、蓄热水箱温度。全局部分大家共享局部部分各agent自己维护。这里有一个关键边界凡是「需要实时动作对应」的状态必须放局部凡是「影响所有agent代价」的状态必须放全局。电价是全局的因为购售电成本由所有用电设备共同承担上一次动作值放局部因为每个agent的爬坡约束只约束自己。全局信息过多会让actor过拟合全局噪声局部信息不足会让agent变成瞎子这个度要靠实验调。观测建议做归一化。SOC除以额定容量、功率除以额定功率、电价除以基准电价全部映射到0到1或-1到1区间。不做归一化的后果是网络输入尺度差异过大前几层权重被电价这种大数值主导训练前期梯度方向完全错误后面要花几万步才能纠正回来。我一般会在环境里直接算好归一化观测训练代码里不再重复处理这样换场景时只改归一化基准不动网络。3.2 动作空间的连续化与缩放动作空间设计遵循「归一化输入、缩放输出」的原则。每个agent的动作网络最后一层用tanh激活输出-1到1再线性映射到设备实际工作区间。储能agent的动作可以是一维有符号净功率正表示放电、负表示充电CHP和热泵的动作映射到0到最大出力。动作维度的分配有个踩坑经验能合并的维度尽量合并。储能充和放本来就是同一个物理过程的两端拆成两个维度会让actor在训练初期同时输出「大充大放」这种自相矛盾的动作浪费大量探索步数。# 动作从网络输出映射到设备物理量 def map_action_to_device(action_norm, capacity): 将tanh输出的[-1,1]动作映射到设备的物理功率范围。 action_norm: actor输出shape为(batch, 1) capacity: 设备功率上限储能取充放电上限CHP取电出力上限 # 浮点误差可能产生极轻微越界提前clip避免非物理功率 action_norm np.clip(action_norm, -1.0, 1.0) # 储能用符号表示充放方向CHP/热泵额外做0~1偏移 action_phys action_norm * capacity return action_phys这段映射函数是所有agent共用的模板。关键参数是提前clip到[-1,1]tanh虽然理论上不会越界但浮点误差和梯度噪声可能产生极小越界值提前clip能避免奖励计算里出现非物理功率。对于CHP这类只能正向出力的设备映射写成(action_norm 1) / 2 * capacity把[-1,1]搬到[0,capacity]而不是直接乘capacity否则负半轴的动作会被浪费。3.3 奖励函数费用、惩罚与约束软化的组合奖励函数是多智能体深度强化学习里最容易被低估的部分。综合能源系统的优化目标是运行成本最低天然以费用为主干但约束必须通过惩罚项进入奖励否则agent会学会钻空子。奖励函数一般写成三部分经济项购电费用加燃气费用减去售电收益平衡惩罚电功率不平衡量和热功率不平衡量的绝对值约束惩罚SOC越限、联络线功率越限的软惩罚。def compute_reward(ess_soc, soc_min, soc_max, p_balance, q_balance, cost): 综合能源系统单步奖励费用 平衡惩罚 约束软化惩罚。 cost: 当前步运行成本购电购气-售电单位元 p_balance: 电功率不平衡量正值表示缺电单位kW q_balance: 热功率不平衡量正值表示缺热单位kW lambda_bal 5.0 # 功率平衡惩罚系数要大于电价尺度 lambda_soc 20.0 # SOC越限惩罚系数比平均电价高一个量级 # 缺电缺热都是负奖励取绝对值让双向不平衡都受罚 reward -cost - lambda_bal * (abs(p_balance) abs(q_balance)) # SOC软约束越限才惩罚不越限不罚 if ess_soc soc_max: reward - lambda_soc * (ess_soc - soc_max) elif ess_soc soc_min: reward - lambda_soc * (soc_min - ess_soc) return reward两个系数都要按物理尺度标定。lambda_bal设成电价的5到10倍是为了让缺电惩罚显著高于购电成本否则agent会倾向于「缺电就多买电」并把平衡偏差合理化lambda_soc设成比电费高一个量级因为SOC越限意味着储能寿命受损这个代价不该被一次交易收益覆盖。奖励要从训练第一步就存在不要做稀疏奖励。有些工程做法是先训约束满足、再加经济目标两阶段奖励在单agent里还能凑合多agent下会让agent之间的协调信号消失不推荐。直接用加权和把所有量纲统一到元/kWh后加和最省事也最稳。奖励项表达式系数标定依据购电费用-电价 * 购电量按实际分时电价购气费用-气价 * 耗气量按实际气价售电收益上网电价 * 售电量按实际上网电价电平衡惩罚-λ1 * 不平衡功率绝对值λ1 5~10倍平均电价热平衡惩罚-λ2 * 不平衡热量绝对值热量折算成等效电成本SOC越限惩罚-λ3 * 越限深度λ3 10~20倍平均电价4. 多智能体DDPG最小实现环境、网络与训练循环的可复现代码4.1 环境接口把综合能源系统封装成step/reset写多智能体强化学习代码环境接口要在一开始定死。常见做法是采用gym风格reset返回每个agent的初始观测step接收一个「agent名到动作」的字典返回下一时刻观测、奖励、是否终止。这里的关键是字典结构因为不同agent的观测维度和动作维度不一样用字典比用列表清晰得多也方便后续增加或删减agent。class IESEnv: 综合能源系统多智能体环境电热耦合3个可控agent。 def __init__(self, config): self.agents [ess, chp, hp] self.soc config[soc_init] self.p_chp config[chp_init] self.t 0 self.horizon 96 # 一个调度周期96步对应15分钟粒度 self.config config def reset(self): 返回每个agent的初始观测字典。 self.t 0 self.soc 0.5 self.p_chp 0.6 return self._get_obs() def _get_obs(self): 拼接全局广播与各agent局部观测全部归一化。 obs {} obs[ess] np.array([self.soc, self.config[load_p][self.t], self.config[pv][self.t], self.config[price][self.t]]) obs[chp] np.array([self.p_chp, self.config[load_p][self.t], self.config[price][self.t]]) obs[hp] np.array([self.config[load_q][self.t], self.config[price][self.t]]) return obs环境step的核心是动作缩放和电热平衡计算。动作从[-1,1]映射到物理功率后代入平衡方程算出缺电缺热量再传给奖励函数。这里有一个工程细节平衡偏差不要在环境内部直接截断要原样传给奖励让agent看到缺电的连续程度而不是一个「是否平衡」的离散标志。SOC更新用一阶离散模型充放电效率分开给。4.2 Actor与Critic网络集中式Critic的输入必须拼什么网络结构在MADDPG里很统一actor输入自己的观测输出动作critic输入全局状态加联合动作输出Q值。两个网络都是两到三层的MLPhidden取256在能源调度场景足够。这里最容易写错的是critic的输入拼接必须把「所有agent的当前动作」拼进全局状态而不是只拼自己那个agent的动作。原因很直接储能的充放电决策直接影响电价成本和热泵的运行空间critic如果看不到联合动作就无法对agent间的交互影响打分。import torch import torch.nn as nn class Actor(nn.Module): 每个agent一个actor局部观测 - 连续动作。 def __init__(self, obs_dim, act_dim, hidden256): super().__init__() self.net nn.Sequential( nn.Linear(obs_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, act_dim), nn.Tanh(), ) def forward(self, obs): return self.net(obs) class Critic(nn.Module): 集中式critic全局状态 联合动作 - Q值。 def __init__(self, global_obs_dim, total_act_dim, hidden256): super().__init__() self.net nn.Sequential( nn.Linear(global_obs_dim total_act_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, 1), ) def forward(self, s_global, a_all): # 拼接必须在最后一维做s_global和a_all都是(batch, dim) return self.net(torch.cat([s_global, a_all], dim-1))hidden256对日内96步的调度场景足够再大收益很小且更容易过拟合。obs_dim按第3章的划分ess约4到8维chp约4到6维hp约2到4维。total_act_dim是所有agent动作维度之和比如ess是1、chp是1、hp是1总的就是3。target网络结构与主网络完全一致参数用软更新同步这是DDPG算法稳定性的关键不能省。4.3 集中式经验回放与训练主循环MADDPG最容易写错的一步MADDPG的经验回放存的是「全局样本」不是per-agent样本。一个样本包含全局状态所有agent观测的拼接、联合动作所有agent动作的拼接、每个agent的奖励、下一时刻全局状态、终止标志。如果像单智能体那样每个agent存自己的(obs, act, rew, obs_next)训练集中式critic时就会拿不到联合动作整个CTDE架构失效。这是整个框架里最容易踩的坑很多跑不起来的实现都是栽在这里。import collections import random import numpy as np class ReplayBuffer: MADDPG统一回放缓冲区按全局样本存储。 def __init__(self, capacity100000): self.buf collections.deque(maxlencapacity) def store(self, s_global, a_all, r_all, s_global_next, done): # s_global: 1D数组所有agent观测拼接 # a_all: 1D数组所有agent动作拼接 self.buf.append((s_global, a_all, r_all, s_global_next, done)) def sample(self, batch_size): batch random.sample(self.buf, batch_size) s np.array([b[0] for b in batch]) a np.array([b[1] for b in batch]) r np.array([b[2] for b in batch]) s_next np.array([b[3] for b in batch]) done np.array([b[4] for b in batch]) return s, a, r, s_next, done训练主循环里每个agent分开更新但采样用的是同一个全局batch。critic的更新目标是目标网络算出的Q值actor的更新目标是最大化critic给自己当前动作的打分。更新actor时要保持其他agent动作不变只把「自己这个agent的动作」替换成当前actor的输出这样Q值的变化才反映自己策略的改进方向。def train_step(agent_idx, batch_size, gamma, tau): 更新第agent_idx个agent的critic和actor。 s, a, r, s_next, done replay.sample(batch_size) s torch.FloatTensor(s) a torch.FloatTensor(a) r torch.FloatTensor(r).unsqueeze(-1) s_next torch.FloatTensor(s_next) done torch.FloatTensor(done).unsqueeze(-1) # 目标网络预测下一时刻所有agent的动作再算目标Q with torch.no_grad(): s_next_obs s_next[:, obs_ranges[agent_idx]] # 目标actor输入是局部观测 a_next_i target_actors[agent_idx](s_next_obs) a_next_all a.clone() a_next_all[:, act_ranges[agent_idx]] a_next_i q_target r[:, agent_idx:agent_idx1] gamma * (1 - done) * \ target_critics[agent_idx](s_next, a_next_all) # 更新critic缩小Q预测与目标Q的差距 q_pred critics[agent_idx](s, a) critic_loss nn.MSELoss()(q_pred, q_target) critics_opt[agent_idx].zero_grad() critic_loss.backward() critics_opt[agent_idx].step() # 更新actor最大化critic对自己当前动作的打分 a_i actors[agent_idx](s[:, obs_ranges[agent_idx]]) a_all a.clone() a_all[:, act_ranges[agent_idx]] a_i actor_loss -critics[agent_idx](s, a_all).mean() actors_opt[agent_idx].zero_grad() actor_loss.backward() actors_opt[agent_idx].step() # 软更新目标网络 for tp, p in zip(target_actors[agent_idx].parameters(), actors[agent_idx].parameters()): tp.data.copy_(tau * p.data (1 - tau) * tp.data) for tp, p in zip(target_critics[agent_idx].parameters(), critics[agent_idx].parameters()): tp.data.copy_(tau * p.data (1 - tau) * tp.data)代码里的obs_ranges和act_ranges是两个预先生成的索引数组记录每个agent的观测和动作在拼接向量里的起止位置。这个设计避免了大量重复切片逻辑后续加agent只改这两个数组。gamma取0.99因为综合能源系统是长周期收益问题当天最后一个时刻的储能剩余电量会影响第二天gamma太低会让agent只看眼前电价。tau取0.005到0.01软更新太快会丢稳定性太慢目标网络跟不上主网络。提示训练循环外层的探索噪声用Ornstein-Uhlenbeck过程公式是dx θ(μ - x)dt σdW。θ取0.15控制噪声回归速度σ初始取0.2并随训练回合线性衰减到0.02。确定性策略必须配随机探索不然训练前期动作几乎不变经验回放里全是相似样本Q值估计方差大。5. 调参避坑从震荡到收敛的5条踩坑记录5.1 能跑通的超参数基线先从这组数开始多智能体DDPG的超参数敏感尤其是critic学习率、软更新系数和噪声衰减。下面这组基线是我在多个能源调度场景里跑通的起点不建议一上来就创新先复现再微调。超参数推荐值说明actor学习率1e-4低于critic一个量级避免策略跳变critic学习率1e-3快一点没大碍但要配双critic软更新系数tau0.005目标网络参数更新权重折扣因子gamma0.99适配日级长周期收益经验回放容量100000一个调度周期9600步约10个周期batch size256能源场景算力紧张时降到128OU噪声theta0.15均值回归速度OU噪声sigma初始0.2随episode线性衰减到0.02网络hidden256两层MLP5.2 踩坑一经验回放只存局部观测集中式Critic成瞎子现象训练前300回合loss在下降之后Q值突然开始剧烈震荡critic loss忽高忽低动作输出全部偏向动作边界。原因经验回放按per-agent存储每个样本只包含当前agent的(obs, act, rew, obs_next)训练集中式critic时没有联合动作可拼。解决回放缓冲区改成全局样本存储把所有agent观测拼成一个s_global、所有动作拼成一个a_all奖励保留成向量。改回全局存储后critic才能真正学到「其他agent动作对自己收益的影响」震荡会明显缓解。5.3 踩坑二Q值高估动作全部撞上边界现象训练中段Q值一路走高到上万但环境真实奖励只有几十动作几乎恒定为最大值。原因单critic的bootstrap误差逐次累积加上奖励尺度偏大导致Q值高估。解决第一把奖励里所有经济项除以基准电价做归一化让reward量级稳定在±10以内第二每个agent维护两个critic目标Q取两者最小值即Clipped Double Q技巧。双critic的额外开销只在训练阶段执行阶段仍然只跑actor不影响实时性。5.4 踩坑三OU噪声不衰减收敛后还在大范围探索现象训练曲线看着已经收敛但验证阶段性能比训练时差不少动作曲线抖动明显。原因OU噪声的sigma一直保持0.2训练后期agent已经学到一个稳定策略但噪声还在往动作上加一个不小的随机偏移导致次优决策。解决把噪声sigma按episode线性衰减前40%回合从0.2衰减到0.05后60%保持0.05以下验证时关闭噪声。我一般把噪声衰减和actor学习率衰减绑定策略越成熟探索越少学习率也越低。5.5 踩坑四各agent学会自私策略全局平衡没人管现象每个agent的个体奖励都在提升但环境整体电功率不平衡量一直下不去总成本没有实质下降。原因奖励函数里全局平衡惩罚系数lambda_bal太小个体经济项占主导agent只顾自己省钱缺电缺热的代价被忽略。解决提高lambda_bal到平均电价8到10倍并在每个agent的奖励里都加入同一个全局平衡惩罚项让平衡偏差成为所有agent共享的「公共信号」。这一步之后agent之间才开始出现真正意义上的协作储能在高电价充电、热泵在低谷期蓄热两个动作在时间上开始错开。5.6 踩坑五训练曲线好看换一条负荷曲线就翻车现象在训练用的典型日场景上运行成本下降20%换到另一条负荷曲线后成本反而比规则基线还高动作震荡。原因训练场景单一agent把特定负荷曲线和电价的对应关系背下来了而不是学到通用的调度逻辑。解决训练时每个episode从场景池里随机采样一条日曲线光伏、负荷、电价都用带随机扰动的方式生成观测里额外加一个「场景标签」维度比如星期几、季节、天气类型。多智能体强化学习对分布外场景天然脆弱训练数据多样性就是模型的泛化边界这一步省不掉。6. 验证与进阶从日级仿真到半实物怎么证明框架真的能省6.1 三个验证角度经济性、约束满足率、鲁棒性框架跑通后先不要急着谈部署设计三个对比实验让数字说话。第一个是经济性对比基线用固定规则——储能在低谷充电、高峰放电、CHP跟热定电另一个基线用MPC模型预测控制如果系统模型不精确这本身就是DDPG的价值证明。跑30个随机场景取平均记录日运行成本、购电量、燃气量。第二个是约束满足率统计一个调度周期内功率不平衡越限次数和SOC越限深度DDPG属于软约束优化目标不是零越限而是越限次数显著低于规则基线的同时成本更低。第三个是鲁棒性给光伏预测加±20%的扰动后重放仿真看成本退化幅度这个指标直接决定系统能不能在真实天气下使用。6.2 多时间尺度与模型导出从仿真到部署的下一步验证通过后往多时间尺度扩展是最常见的一条路。DDPG这类方法适合做日前和日内滚动调度但底层设备级的毫秒秒级控制不适合用神经网络做框架可以只输出日前调度曲线把曲线下发给本地PID或其他规则控制器执行。上层的DDPG策略负责目标和边界底层控制器负责精确跟踪中间用一段信息交互层做指令换算。模型导出时把actor权重转成ONNX格式部署到边缘计算盒子输入是归一化观测输出直接是归一化动作部署侧只需要做一次缩放映射。我自己习惯保留一份训练时的随机种子和超参数快照每次调完参都记录下验证集的三个指标这样半年后回看还能知道当时为什么改参数。多智能体DDPG不是黑匣子它的每个agent输出的动作都对应一个明确的物理量出了异常能直接排查到具体设备。这个特性是做能源控制最需要的东西希望帮到你。本文还有配套的精品资源点击获取