1. 项目缘起当物理层安全遇上多智能体强化学习最近在折腾一个挺有意思的课题它把两个看似不搭界的东西拧在了一起一个是无线通信里老生常谈的波束成形另一个是物理层安全里的密钥生成。更关键的是我们打算用多智能体强化学习里的SAC算法来驱动整个系统。这听起来有点“缝合怪”的味道但仔细一想背后的逻辑其实挺顺的。无线通信里波束成形是提升信号质量、对抗干扰的利器。简单说就是让天线阵列像手电筒一样把能量精准地“照”向目标用户而不是均匀地洒向四面八方。而物理层密钥生成则是利用无线信道本身的随机性——比如信号强度、相位、多径时延这些只有通信双方才能感知到的特征——来生成加密密钥。这比传统的基于数学难题的密钥分发方案更“物理”理论上也更难被窃听。那么问题来了在一个通信过程中我们既要高效地传输数据又要同步地生成密钥来加密这些数据。这两件事都依赖波束成形但目标可能冲突。比如为了最大化数据传输速率波束应该指向信道条件最好的方向但为了生成高质量的密钥可能需要探索一些特定的、能产生更大信道随机性的波束方向。传统的优化方法比如凸优化处理这种多目标、非凸、动态的问题往往力不从心计算开销大还难以适应快速变化的信道环境。这时候强化学习特别是多智能体强化学习就显出了它的优势。SACSoft Actor-Critic算法本身就以探索能力强、稳定性好著称适合处理连续动作空间比如精确调整波束的相位和幅度。而“多智能体”的视角让我们可以把基站和用户甚至把密钥生成和数据传输这两个“任务”看作相互协作又各有目标的智能体。它们共同学习如何在有限的无线资源功率、波束方向下达成一个全局最优的平衡。所以这个项目的核心就是设计一个由多智能体SAC驱动的波束成形框架让它能“一心二用”同时优化密钥生成速率和数据传输速率。这不仅仅是算法应用更是对无线通信系统资源分配和安全性设计思路的一次重构。2. 系统模型拆解密钥、数据与波束的三角关系要理解整个系统我们得先把它拆开看看密钥生成、数据传输和波束成形这三个核心部件是怎么咬合在一起的。这就像搭积木得先看清每一块的形状。2.1 物理层密钥生成的“原料”从哪来物理层密钥生成的基石是无线信道的互易性和时变性。在时分双工系统中基站和用户在同一频段上轮流发送信号由于电磁传播的物理规律在短时间内基站到用户的信道和用户到基站的信道可以认为是互易的即信道响应矩阵互为转置。同时环境中的物体移动、散射体变化又使得信道响应是随机且快速变化的。密钥生成的过程通常分为四步信道探测通信双方互相发送已知的导频信号。信道估计根据接收到的导频信号估计出当前的信道状态信息。量化与协商将连续的信道估计值量化为二进制序列。由于噪声和估计误差双方初始得到的序列可能不完全一致需要通过信息协商如使用奇偶校验位来消除分歧。隐私放大通过哈希函数等处理将协商后的序列压缩消除可能被窃听者获取的部分信息最终输出一致的、高随机性的密钥。这里的关键指标是密钥生成速率它取决于信道的时变特性变化越快随机性越强和信噪比。而波束成形能直接影响接收端的信噪比从而影响信道估计的精度和最终密钥的生成速率。一个指向性强的波束能提升目标接收端的信号质量但同时可能降低了信道在空间其他维度上的探索这中间存在一个权衡。2.2 数据传输的目标不只是快还要稳数据传输的目标相对直接就是最大化频谱效率或吞吐量通常用香农公式来刻画速率 带宽 * log2(1 信噪比)。波束成形通过集中能量和抑制干扰能显著提升目标用户接收信号的信噪比从而直接提高数据速率。但在我们这个联合优化框架里数据传输不能只考虑自己。系统总功率是有限的如果波束把大部分功率都用于最大化数据信噪比那么用于信道探测密钥生成的功率就可能不足导致密钥生成速率下降。反之亦然。因此我们需要一个联合的效用函数来平衡这两者的收益。2.3 波束成形从静态权值到动态策略传统波束成形可以看作是为天线阵列的每个阵元计算一组固定的复权重包括幅度和相位这些权重决定了天线阵列的辐射方向图。优化这些权重就是优化波束成形向量。在我们的场景中波束成形向量w成为了智能体的动作。这个动作是连续的、高维的阵元数越多维度越高。智能体需要根据当前的环境状态例如估计的信道状态、上一时刻的密钥生成情况、数据队列状态等动态地输出这个波束成形向量。这个向量w将同时作用于两个过程用于数据传输w直接作为数据信号的波束成形权值。用于信道探测w或一个与之相关的、专门用于探测的波束w_p也用于发送导频信号。高质量的探测波束能获得更准确的信道估计进而提升密钥生成速率。于是问题就转化为如何实时地、自适应地生成这个波束成形向量w使得长期累积的“密钥生成速率”与“数据传输速率”的加权和最大这正是多智能体SAC要解决的。3. 多智能体SAC框架的设计与实现把通信问题映射到多智能体强化学习框架是整个项目的核心工程部分。这里面的设计选择直接决定了算法能否收敛、性能好不好。3.1 如何定义“智能体”两种设计思路的权衡这是第一个关键决策。多智能体系统中智能体的划分方式决定了学习任务的分解难度和智能体间的协作复杂度。思路一实体智能体。将基站和每个用户分别视为一个智能体。基站智能体负责生成波束成形向量用户智能体负责反馈信道质量或本地计算密钥相关度量。这种设计更符合分布式系统的物理直觉但智能体间需要频繁交换信息信道状态、策略等通信开销大且策略学习是分散的容易陷入非平稳环境的问题一个智能体的策略变化会改变其他智能体的环境。思路二任务智能体。这是我们项目最终采用的、更可行的中心化训练分布式执行架构。我们设置两个虚拟的“任务智能体”密钥生成智能体其目标是最大化长期密钥生成速率。数据传输智能体其目标是最大化长期数据传输速率。 这两个智能体共享同一个环境状态并各自输出一个“建议动作”。然后由一个中央协调器可以是一个简单的网络也可以是一个固定的仲裁规则如加权求和根据当前系统的整体需求例如密钥库存不足时更侧重密钥生成将两个建议动作融合生成最终执行的波束成形向量w。第二种思路的优势在于训练是中心化的两个智能体在训练时能知道彼此的动作和策略便于学习协作执行时中央协调器的规则是固定的开销小。它本质上是在学习如何将两个竞争性目标下的策略进行混合。3.2 状态、动作与奖励函数的设计细节状态空间S 状态需要包含足够的信息以供智能体决策。典型的状态向量可能包括瞬时信道状态信息当前估计的信道矩阵H的主要特征如幅度、相位或为了降低维度而使用的特征值、主成分等。历史性能指标过去若干时间窗内的平均密钥生成速率和数据传输速率。系统状态当前数据缓冲区的队列长度、可用密钥的存量。时间相关特征如当前时刻在通信帧中的位置用于区分探测阶段和数据传输阶段。动作空间A 动作就是波束成形向量w。对于一个有N个阵元的均匀线性阵列w是一个N×1的复向量。在神经网络中我们通常将其拆分为2N维的实数向量分别表示每个阵元权重的实部和虚部。动作输出层通常使用tanh激活函数将值约束在[-1, 1]再根据实际功率约束进行缩放。奖励函数R 奖励函数是指挥棒设计得好坏至关重要。我们采用线性加权和的形式R α * R_key β * R_data其中R_key是密钥生成奖励R_data是数据传输奖励。α和β是权重系数可以根据系统需求动态调整例如密钥快用完了就增大α。R_key的设计不能简单地用瞬时密钥生成速率。因为密钥生成过程包含量化、协商等步骤有成功失败概率。一个更稳定的设计是R_key log(1 本次成功生成的密钥比特数)同时对连续失败进行惩罚。这鼓励智能体探索能稳定产生高质量信道随机性的波束方向。R_data的设计可以直接采用实现的瞬时数据传输速率考虑调制编码方式后的实际吞吐量即R_data 实际传输的比特数 / 时间。为了鼓励稳定性也可以加入对吞吐量方差的负奖励。3.3 网络结构与训练流程我们采用SAC算法每个智能体密钥智能体和数据智能体都包含以下网络策略网络 (Actor)输入状态s输出动作a波束成形向量建议以及该动作的对数概率。Q值网络 (Critic)输入状态s和动作a输出该状态-动作对的Q值估计。SAC通常使用两个Q网络Target Q网络和它们对应的目标网络取最小值来抑制过估计这是其稳定性的关键。温度参数α自适应网络SAC独有的熵正则化项系数它可以自动调整平衡探索与利用。训练流程中心化训练初始化初始化所有网络参数清空经验回放池。交互与存储对于每个时隙中央协调器收集全局状态s_t分别输入两个智能体的策略网络得到建议动作a_key_t和a_data_t。协调器根据当前权重融合得到最终动作a_t如a_t γ * a_key_t (1-γ) * a_data_tγ可调。执行a_t应用波束成形与环境交互观察到新的状态s_{t1}、密钥奖励r_key_t和数据奖励r_data_t计算总奖励r_t。将转移元组(s_t, a_t, r_t, s_{t1})存入共享的经验回放池。采样与更新从回放池中随机采样一批数据。关键点在于更新Critic对于每个样本计算目标Q值y r γ * (min_{i1,2} Q_target_i(s_{t1}, a_{t1}) - α * log π(a_{t1}|s_{t1}))其中a_{t1}是策略网络在s_{t1}下采样的新动作。然后用均方误差损失更新两个Q网络。接着更新Actor策略网络的目标是最大化期望回报加上熵即J(π) E[Q(s,a) - α * log π(a|s)]通过梯度上升更新策略网络参数。软更新目标网络缓慢更新目标Q网络的参数θ_target τ * θ (1-τ) * θ_targetτ是一个很小的数如0.005这保证了学习的稳定性。这个训练循环持续进行直到策略收敛。在仿真中我们需要一个准确的信道模型如瑞利衰落、莱斯衰落信道和环境交互模块来生成s_{t1}和r_t。4. 仿真实验从理想信道到实际挑战理论设计得再漂亮也得靠仿真结果说话。我们的仿真平台基于Python和PyTorch搭建信道模型采用3GPP标准的空间信道模型。4.1 基线对比与性能评估我们设置了几个基线方案进行对比传统交替优化将时隙资源固定分配一部分时隙用最大比传输波束成形进行密钥生成另一部分时隙用迫零或最大信噪比波束成形进行数据传输。这是静态分割方案。基于凸优化的联合优化将问题建模为加权和速率最大化问题假设完美CSI使用连续凸逼近等方法求解。这是传统优化方法的代表。单智能体SAC只用一个智能体其奖励函数直接是加权和。用于对比多智能体架构的有效性。评估指标除了联合效用值加权和速率我们还单独看密钥生成速率 vs. 信噪比曲线在不同平均信噪比下我们的方法是否能始终在密钥率和数据率之间取得更好平衡。收敛性能训练过程中奖励曲线的平滑度和收敛速度。泛化能力在训练未见过的用户移动速度或散射环境下的表现。仿真结果初步表明在多用户、中高移动速度场景下我们提出的多智能体SAC方法在联合效用上显著优于静态交替方案。与传统凸优化方法相比在信道估计存在误差、环境非平稳时SAC方法的鲁棒性更强性能下降更少。单智能体SAC虽然也能学习但其平衡点的可解释性较差且在需求权重α,β动态变化时调整不如多智能体方案灵活。4.2 实际部署中的挑战与应对思考仿真走向实际还有好几道坎要过状态信息的获取与延迟强化学习需要全局状态s_t。在实际系统中获取所有用户的精确CSI存在反馈开销和延迟。一个思路是使用部分观测或者利用信道的时间/空间相关性通过神经网络如LSTM来预测和补全状态信息。动作的执行频率与开销每个时隙都重新计算波束成形向量计算和信号处理开销巨大。可以考虑“帧级”或“子带级”的决策即一个策略决策管一小段时间或一部分频带资源。同时可以设计轻量级的神经网络架构。探索与安全的矛盾SAC的探索性可能引导波束指向非目标方向短期内降低通信质量甚至导致中断。需要在奖励函数中引入强烈的安全约束惩罚或者采用安全层如将动作投影到满足最低信噪比要求的可行集内。与非理想因素的对抗硬件损伤相位噪声、非线性、信道模型失配、窃听者的存在等都会影响系统性能。在训练时引入这些因素的模型进行数据增强或采用元学习、迁移学习的方法能提升模型的鲁棒性。5. 核心代码片段与实操要点这里分享一些关键代码实现和调试中的心得体会。我们使用PyTorch框架。5.1 策略网络与动作采样import torch import torch.nn as nn import torch.nn.functional as F import numpy as np class GaussianPolicyNetwork(nn.Module): SAC的策略网络输出高斯分布的均值和标准差 def __init__(self, state_dim, action_dim, hidden_dim256): super().__init__() self.fc1 nn.Linear(state_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, hidden_dim) self.mean_layer nn.Linear(hidden_dim, action_dim) self.log_std_layer nn.Linear(hidden_dim, action_dim) # 动作限制例如功率约束 self.action_scale 1.0 # 根据实际功率调整 self.action_bias 0.0 def forward(self, state): x F.relu(self.fc1(state)) x F.relu(self.fc2(x)) mean self.mean_layer(x) log_std self.log_std_layer(x) # 将log_std限制在合理范围内防止数值不稳定 log_std torch.clamp(log_std, min-20, max2) return mean, log_std def sample(self, state): 从策略中采样动作并计算其对数概率 mean, log_std self.forward(state) std log_std.exp() normal_dist torch.distributions.Normal(mean, std) # 重参数化技巧 x_t normal_dist.rsample() y_t torch.tanh(x_t) # 将动作约束到[-1, 1] action y_t * self.action_scale self.action_bias # 计算对数概率考虑tanh变换的雅可比行列式 log_prob normal_dist.log_prob(x_t) log_prob - torch.log(self.action_scale * (1 - y_t.pow(2)) 1e-6) log_prob log_prob.sum(1, keepdimTrue) return action, log_prob注意对于波束成形向量这种复动作我们通常将实部和虚部拼接成一个实数向量。在环境侧需要将这个向量重新组合成复向量并施加恒模或总功率约束例如对向量进行归一化。5.2 中央协调器的动作融合class CentralCoordinator: def __init__(self, alpha0.5): # alpha初始权重 self.alpha alpha # 密钥生成智能体的权重 # 可以设计更复杂的融合规则如基于需求的动态权重 self.key_buffer 10 # 密钥缓冲区大小 self.data_queue 5 # 数据队列长度 def fuse_actions(self, state, action_key, action_data): 根据当前系统状态融合两个智能体的建议动作。 action_key, action_data: 来自两个智能体的建议波束成形向量实数形式 # 动态调整权重的简单示例如果密钥缓冲区快空了增加密钥生成的权重 current_key_stock state[key_stock] if current_key_stock self.key_buffer * 0.2: dynamic_alpha 0.8 elif current_key_stock self.key_buffer * 0.8: dynamic_alpha 0.2 else: dynamic_alpha self.alpha # 线性融合 fused_action dynamic_alpha * action_key (1 - dynamic_alpha) * action_data # 后续可能需要对融合后的动作进行后处理例如功率归一化 # fused_action self.power_normalize(fused_action) return fused_action5.3 训练循环中的关键步骤# 伪代码展示核心训练逻辑 for episode in range(total_episodes): state env.reset() episode_reward 0 while not done: # 1. 智能体根据状态提出建议 with torch.no_grad(): action_key, _ key_agent.policy.sample(state_tensor) action_data, _ data_agent.policy.sample(state_tensor) # 2. 协调器融合动作 action coordinator.fuse_actions(state_np, action_key.numpy(), action_data.numpy()) # 3. 与环境交互 next_state, reward, done, info env.step(action) # 4. 存储经验 replay_buffer.push(state, action, reward, next_state, done) state next_state episode_reward reward # 5. 如果回放池数据足够开始更新 if len(replay_buffer) batch_size: # 采样 batch replay_buffer.sample(batch_size) # 更新两个智能体的Critic和Actor网络 update_key_agent(batch) update_data_agent(batch) # 软更新目标网络 soft_update(key_agent.critic_target, key_agent.critic, tau) soft_update(data_agent.critic_target, data_agent.critic, tau)实操心得奖励缩放至关重要密钥生成速率和数据传输速率的数值可能相差几个数量级。直接相加会导致一个目标完全主导学习。务必对两个奖励进行归一化或缩放使它们在训练初期具有可比的数量级。熵系数α的调整SAC中自动调整的温度参数α有时会学习不稳定。如果发现探索不足策略很快收敛到次优解可以尝试调大α的初始值或降低其学习率。监控策略的熵值是一个好习惯。信道模拟的保真度仿真环境的准确性决定了学到的策略能否迁移。尽量使用包含大尺度衰落、小尺度衰落、阴影效应以及空间相关性的信道模型。可以引入3GPP或WINNER II等标准信道模型。从简单场景开始不要一开始就模拟多用户、多小区复杂场景。先从单用户、单基站、理想信道估计开始让算法跑通看到联合优化的效果。然后逐步增加用户数、引入信道误差、加入窃听者模型观察算法的适应能力。这个项目就像在指挥一个交响乐团波束成形是乐器密钥生成和数据传输是两个声部多智能体SAC是指挥家。指挥家不仅要让每个声部都出色更要让它们和谐共鸣。目前看来这条路是通的而且前景挺有意思。当然里面还有很多工程细节需要打磨比如如何降低在线推理的复杂度如何与现有的通信协议栈融合。但这正是研究的乐趣所在把一个交叉领域的想法一步步变成可验证、可实现的系统。 基于多智能体SAC的物理层安全与波束成形联合优化方案
1. 项目缘起当物理层安全遇上多智能体强化学习最近在折腾一个挺有意思的课题它把两个看似不搭界的东西拧在了一起一个是无线通信里老生常谈的波束成形另一个是物理层安全里的密钥生成。更关键的是我们打算用多智能体强化学习里的SAC算法来驱动整个系统。这听起来有点“缝合怪”的味道但仔细一想背后的逻辑其实挺顺的。无线通信里波束成形是提升信号质量、对抗干扰的利器。简单说就是让天线阵列像手电筒一样把能量精准地“照”向目标用户而不是均匀地洒向四面八方。而物理层密钥生成则是利用无线信道本身的随机性——比如信号强度、相位、多径时延这些只有通信双方才能感知到的特征——来生成加密密钥。这比传统的基于数学难题的密钥分发方案更“物理”理论上也更难被窃听。那么问题来了在一个通信过程中我们既要高效地传输数据又要同步地生成密钥来加密这些数据。这两件事都依赖波束成形但目标可能冲突。比如为了最大化数据传输速率波束应该指向信道条件最好的方向但为了生成高质量的密钥可能需要探索一些特定的、能产生更大信道随机性的波束方向。传统的优化方法比如凸优化处理这种多目标、非凸、动态的问题往往力不从心计算开销大还难以适应快速变化的信道环境。这时候强化学习特别是多智能体强化学习就显出了它的优势。SACSoft Actor-Critic算法本身就以探索能力强、稳定性好著称适合处理连续动作空间比如精确调整波束的相位和幅度。而“多智能体”的视角让我们可以把基站和用户甚至把密钥生成和数据传输这两个“任务”看作相互协作又各有目标的智能体。它们共同学习如何在有限的无线资源功率、波束方向下达成一个全局最优的平衡。所以这个项目的核心就是设计一个由多智能体SAC驱动的波束成形框架让它能“一心二用”同时优化密钥生成速率和数据传输速率。这不仅仅是算法应用更是对无线通信系统资源分配和安全性设计思路的一次重构。2. 系统模型拆解密钥、数据与波束的三角关系要理解整个系统我们得先把它拆开看看密钥生成、数据传输和波束成形这三个核心部件是怎么咬合在一起的。这就像搭积木得先看清每一块的形状。2.1 物理层密钥生成的“原料”从哪来物理层密钥生成的基石是无线信道的互易性和时变性。在时分双工系统中基站和用户在同一频段上轮流发送信号由于电磁传播的物理规律在短时间内基站到用户的信道和用户到基站的信道可以认为是互易的即信道响应矩阵互为转置。同时环境中的物体移动、散射体变化又使得信道响应是随机且快速变化的。密钥生成的过程通常分为四步信道探测通信双方互相发送已知的导频信号。信道估计根据接收到的导频信号估计出当前的信道状态信息。量化与协商将连续的信道估计值量化为二进制序列。由于噪声和估计误差双方初始得到的序列可能不完全一致需要通过信息协商如使用奇偶校验位来消除分歧。隐私放大通过哈希函数等处理将协商后的序列压缩消除可能被窃听者获取的部分信息最终输出一致的、高随机性的密钥。这里的关键指标是密钥生成速率它取决于信道的时变特性变化越快随机性越强和信噪比。而波束成形能直接影响接收端的信噪比从而影响信道估计的精度和最终密钥的生成速率。一个指向性强的波束能提升目标接收端的信号质量但同时可能降低了信道在空间其他维度上的探索这中间存在一个权衡。2.2 数据传输的目标不只是快还要稳数据传输的目标相对直接就是最大化频谱效率或吞吐量通常用香农公式来刻画速率 带宽 * log2(1 信噪比)。波束成形通过集中能量和抑制干扰能显著提升目标用户接收信号的信噪比从而直接提高数据速率。但在我们这个联合优化框架里数据传输不能只考虑自己。系统总功率是有限的如果波束把大部分功率都用于最大化数据信噪比那么用于信道探测密钥生成的功率就可能不足导致密钥生成速率下降。反之亦然。因此我们需要一个联合的效用函数来平衡这两者的收益。2.3 波束成形从静态权值到动态策略传统波束成形可以看作是为天线阵列的每个阵元计算一组固定的复权重包括幅度和相位这些权重决定了天线阵列的辐射方向图。优化这些权重就是优化波束成形向量。在我们的场景中波束成形向量w成为了智能体的动作。这个动作是连续的、高维的阵元数越多维度越高。智能体需要根据当前的环境状态例如估计的信道状态、上一时刻的密钥生成情况、数据队列状态等动态地输出这个波束成形向量。这个向量w将同时作用于两个过程用于数据传输w直接作为数据信号的波束成形权值。用于信道探测w或一个与之相关的、专门用于探测的波束w_p也用于发送导频信号。高质量的探测波束能获得更准确的信道估计进而提升密钥生成速率。于是问题就转化为如何实时地、自适应地生成这个波束成形向量w使得长期累积的“密钥生成速率”与“数据传输速率”的加权和最大这正是多智能体SAC要解决的。3. 多智能体SAC框架的设计与实现把通信问题映射到多智能体强化学习框架是整个项目的核心工程部分。这里面的设计选择直接决定了算法能否收敛、性能好不好。3.1 如何定义“智能体”两种设计思路的权衡这是第一个关键决策。多智能体系统中智能体的划分方式决定了学习任务的分解难度和智能体间的协作复杂度。思路一实体智能体。将基站和每个用户分别视为一个智能体。基站智能体负责生成波束成形向量用户智能体负责反馈信道质量或本地计算密钥相关度量。这种设计更符合分布式系统的物理直觉但智能体间需要频繁交换信息信道状态、策略等通信开销大且策略学习是分散的容易陷入非平稳环境的问题一个智能体的策略变化会改变其他智能体的环境。思路二任务智能体。这是我们项目最终采用的、更可行的中心化训练分布式执行架构。我们设置两个虚拟的“任务智能体”密钥生成智能体其目标是最大化长期密钥生成速率。数据传输智能体其目标是最大化长期数据传输速率。 这两个智能体共享同一个环境状态并各自输出一个“建议动作”。然后由一个中央协调器可以是一个简单的网络也可以是一个固定的仲裁规则如加权求和根据当前系统的整体需求例如密钥库存不足时更侧重密钥生成将两个建议动作融合生成最终执行的波束成形向量w。第二种思路的优势在于训练是中心化的两个智能体在训练时能知道彼此的动作和策略便于学习协作执行时中央协调器的规则是固定的开销小。它本质上是在学习如何将两个竞争性目标下的策略进行混合。3.2 状态、动作与奖励函数的设计细节状态空间S 状态需要包含足够的信息以供智能体决策。典型的状态向量可能包括瞬时信道状态信息当前估计的信道矩阵H的主要特征如幅度、相位或为了降低维度而使用的特征值、主成分等。历史性能指标过去若干时间窗内的平均密钥生成速率和数据传输速率。系统状态当前数据缓冲区的队列长度、可用密钥的存量。时间相关特征如当前时刻在通信帧中的位置用于区分探测阶段和数据传输阶段。动作空间A 动作就是波束成形向量w。对于一个有N个阵元的均匀线性阵列w是一个N×1的复向量。在神经网络中我们通常将其拆分为2N维的实数向量分别表示每个阵元权重的实部和虚部。动作输出层通常使用tanh激活函数将值约束在[-1, 1]再根据实际功率约束进行缩放。奖励函数R 奖励函数是指挥棒设计得好坏至关重要。我们采用线性加权和的形式R α * R_key β * R_data其中R_key是密钥生成奖励R_data是数据传输奖励。α和β是权重系数可以根据系统需求动态调整例如密钥快用完了就增大α。R_key的设计不能简单地用瞬时密钥生成速率。因为密钥生成过程包含量化、协商等步骤有成功失败概率。一个更稳定的设计是R_key log(1 本次成功生成的密钥比特数)同时对连续失败进行惩罚。这鼓励智能体探索能稳定产生高质量信道随机性的波束方向。R_data的设计可以直接采用实现的瞬时数据传输速率考虑调制编码方式后的实际吞吐量即R_data 实际传输的比特数 / 时间。为了鼓励稳定性也可以加入对吞吐量方差的负奖励。3.3 网络结构与训练流程我们采用SAC算法每个智能体密钥智能体和数据智能体都包含以下网络策略网络 (Actor)输入状态s输出动作a波束成形向量建议以及该动作的对数概率。Q值网络 (Critic)输入状态s和动作a输出该状态-动作对的Q值估计。SAC通常使用两个Q网络Target Q网络和它们对应的目标网络取最小值来抑制过估计这是其稳定性的关键。温度参数α自适应网络SAC独有的熵正则化项系数它可以自动调整平衡探索与利用。训练流程中心化训练初始化初始化所有网络参数清空经验回放池。交互与存储对于每个时隙中央协调器收集全局状态s_t分别输入两个智能体的策略网络得到建议动作a_key_t和a_data_t。协调器根据当前权重融合得到最终动作a_t如a_t γ * a_key_t (1-γ) * a_data_tγ可调。执行a_t应用波束成形与环境交互观察到新的状态s_{t1}、密钥奖励r_key_t和数据奖励r_data_t计算总奖励r_t。将转移元组(s_t, a_t, r_t, s_{t1})存入共享的经验回放池。采样与更新从回放池中随机采样一批数据。关键点在于更新Critic对于每个样本计算目标Q值y r γ * (min_{i1,2} Q_target_i(s_{t1}, a_{t1}) - α * log π(a_{t1}|s_{t1}))其中a_{t1}是策略网络在s_{t1}下采样的新动作。然后用均方误差损失更新两个Q网络。接着更新Actor策略网络的目标是最大化期望回报加上熵即J(π) E[Q(s,a) - α * log π(a|s)]通过梯度上升更新策略网络参数。软更新目标网络缓慢更新目标Q网络的参数θ_target τ * θ (1-τ) * θ_targetτ是一个很小的数如0.005这保证了学习的稳定性。这个训练循环持续进行直到策略收敛。在仿真中我们需要一个准确的信道模型如瑞利衰落、莱斯衰落信道和环境交互模块来生成s_{t1}和r_t。4. 仿真实验从理想信道到实际挑战理论设计得再漂亮也得靠仿真结果说话。我们的仿真平台基于Python和PyTorch搭建信道模型采用3GPP标准的空间信道模型。4.1 基线对比与性能评估我们设置了几个基线方案进行对比传统交替优化将时隙资源固定分配一部分时隙用最大比传输波束成形进行密钥生成另一部分时隙用迫零或最大信噪比波束成形进行数据传输。这是静态分割方案。基于凸优化的联合优化将问题建模为加权和速率最大化问题假设完美CSI使用连续凸逼近等方法求解。这是传统优化方法的代表。单智能体SAC只用一个智能体其奖励函数直接是加权和。用于对比多智能体架构的有效性。评估指标除了联合效用值加权和速率我们还单独看密钥生成速率 vs. 信噪比曲线在不同平均信噪比下我们的方法是否能始终在密钥率和数据率之间取得更好平衡。收敛性能训练过程中奖励曲线的平滑度和收敛速度。泛化能力在训练未见过的用户移动速度或散射环境下的表现。仿真结果初步表明在多用户、中高移动速度场景下我们提出的多智能体SAC方法在联合效用上显著优于静态交替方案。与传统凸优化方法相比在信道估计存在误差、环境非平稳时SAC方法的鲁棒性更强性能下降更少。单智能体SAC虽然也能学习但其平衡点的可解释性较差且在需求权重α,β动态变化时调整不如多智能体方案灵活。4.2 实际部署中的挑战与应对思考仿真走向实际还有好几道坎要过状态信息的获取与延迟强化学习需要全局状态s_t。在实际系统中获取所有用户的精确CSI存在反馈开销和延迟。一个思路是使用部分观测或者利用信道的时间/空间相关性通过神经网络如LSTM来预测和补全状态信息。动作的执行频率与开销每个时隙都重新计算波束成形向量计算和信号处理开销巨大。可以考虑“帧级”或“子带级”的决策即一个策略决策管一小段时间或一部分频带资源。同时可以设计轻量级的神经网络架构。探索与安全的矛盾SAC的探索性可能引导波束指向非目标方向短期内降低通信质量甚至导致中断。需要在奖励函数中引入强烈的安全约束惩罚或者采用安全层如将动作投影到满足最低信噪比要求的可行集内。与非理想因素的对抗硬件损伤相位噪声、非线性、信道模型失配、窃听者的存在等都会影响系统性能。在训练时引入这些因素的模型进行数据增强或采用元学习、迁移学习的方法能提升模型的鲁棒性。5. 核心代码片段与实操要点这里分享一些关键代码实现和调试中的心得体会。我们使用PyTorch框架。5.1 策略网络与动作采样import torch import torch.nn as nn import torch.nn.functional as F import numpy as np class GaussianPolicyNetwork(nn.Module): SAC的策略网络输出高斯分布的均值和标准差 def __init__(self, state_dim, action_dim, hidden_dim256): super().__init__() self.fc1 nn.Linear(state_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, hidden_dim) self.mean_layer nn.Linear(hidden_dim, action_dim) self.log_std_layer nn.Linear(hidden_dim, action_dim) # 动作限制例如功率约束 self.action_scale 1.0 # 根据实际功率调整 self.action_bias 0.0 def forward(self, state): x F.relu(self.fc1(state)) x F.relu(self.fc2(x)) mean self.mean_layer(x) log_std self.log_std_layer(x) # 将log_std限制在合理范围内防止数值不稳定 log_std torch.clamp(log_std, min-20, max2) return mean, log_std def sample(self, state): 从策略中采样动作并计算其对数概率 mean, log_std self.forward(state) std log_std.exp() normal_dist torch.distributions.Normal(mean, std) # 重参数化技巧 x_t normal_dist.rsample() y_t torch.tanh(x_t) # 将动作约束到[-1, 1] action y_t * self.action_scale self.action_bias # 计算对数概率考虑tanh变换的雅可比行列式 log_prob normal_dist.log_prob(x_t) log_prob - torch.log(self.action_scale * (1 - y_t.pow(2)) 1e-6) log_prob log_prob.sum(1, keepdimTrue) return action, log_prob注意对于波束成形向量这种复动作我们通常将实部和虚部拼接成一个实数向量。在环境侧需要将这个向量重新组合成复向量并施加恒模或总功率约束例如对向量进行归一化。5.2 中央协调器的动作融合class CentralCoordinator: def __init__(self, alpha0.5): # alpha初始权重 self.alpha alpha # 密钥生成智能体的权重 # 可以设计更复杂的融合规则如基于需求的动态权重 self.key_buffer 10 # 密钥缓冲区大小 self.data_queue 5 # 数据队列长度 def fuse_actions(self, state, action_key, action_data): 根据当前系统状态融合两个智能体的建议动作。 action_key, action_data: 来自两个智能体的建议波束成形向量实数形式 # 动态调整权重的简单示例如果密钥缓冲区快空了增加密钥生成的权重 current_key_stock state[key_stock] if current_key_stock self.key_buffer * 0.2: dynamic_alpha 0.8 elif current_key_stock self.key_buffer * 0.8: dynamic_alpha 0.2 else: dynamic_alpha self.alpha # 线性融合 fused_action dynamic_alpha * action_key (1 - dynamic_alpha) * action_data # 后续可能需要对融合后的动作进行后处理例如功率归一化 # fused_action self.power_normalize(fused_action) return fused_action5.3 训练循环中的关键步骤# 伪代码展示核心训练逻辑 for episode in range(total_episodes): state env.reset() episode_reward 0 while not done: # 1. 智能体根据状态提出建议 with torch.no_grad(): action_key, _ key_agent.policy.sample(state_tensor) action_data, _ data_agent.policy.sample(state_tensor) # 2. 协调器融合动作 action coordinator.fuse_actions(state_np, action_key.numpy(), action_data.numpy()) # 3. 与环境交互 next_state, reward, done, info env.step(action) # 4. 存储经验 replay_buffer.push(state, action, reward, next_state, done) state next_state episode_reward reward # 5. 如果回放池数据足够开始更新 if len(replay_buffer) batch_size: # 采样 batch replay_buffer.sample(batch_size) # 更新两个智能体的Critic和Actor网络 update_key_agent(batch) update_data_agent(batch) # 软更新目标网络 soft_update(key_agent.critic_target, key_agent.critic, tau) soft_update(data_agent.critic_target, data_agent.critic, tau)实操心得奖励缩放至关重要密钥生成速率和数据传输速率的数值可能相差几个数量级。直接相加会导致一个目标完全主导学习。务必对两个奖励进行归一化或缩放使它们在训练初期具有可比的数量级。熵系数α的调整SAC中自动调整的温度参数α有时会学习不稳定。如果发现探索不足策略很快收敛到次优解可以尝试调大α的初始值或降低其学习率。监控策略的熵值是一个好习惯。信道模拟的保真度仿真环境的准确性决定了学到的策略能否迁移。尽量使用包含大尺度衰落、小尺度衰落、阴影效应以及空间相关性的信道模型。可以引入3GPP或WINNER II等标准信道模型。从简单场景开始不要一开始就模拟多用户、多小区复杂场景。先从单用户、单基站、理想信道估计开始让算法跑通看到联合优化的效果。然后逐步增加用户数、引入信道误差、加入窃听者模型观察算法的适应能力。这个项目就像在指挥一个交响乐团波束成形是乐器密钥生成和数据传输是两个声部多智能体SAC是指挥家。指挥家不仅要让每个声部都出色更要让它们和谐共鸣。目前看来这条路是通的而且前景挺有意思。当然里面还有很多工程细节需要打磨比如如何降低在线推理的复杂度如何与现有的通信协议栈融合。但这正是研究的乐趣所在把一个交叉领域的想法一步步变成可验证、可实现的系统。