1. 控制理论视角下的Port-Hamiltonian扩散模型解析扩散模型近年来在生成建模领域取得了显著成功但其通常被表述为黑盒随机系统缺乏可解释性和结构保证。本文将扩散模型嵌入到Port-Hamiltonian(PH)系统框架中从控制理论角度为扩散模型建立了理论基础。我们证明评分函数可以解释为可学习哈密顿能量的梯度使得前向和反向扩散过程都能表述为结构化PH动力学。反向时间生成过程进一步被解释为反馈控制的PH系统其中耗散在稳定采样动态中起着基础性作用。这种表述产生了独立于评分估计准确性的内在稳定性保证。1.1 扩散模型与PH系统的理论基础扩散模型构成了一类基于随机动力系统的强大生成模型。通过定义前向噪声注入过程并学习其反向时间动态这些模型能够在复杂的高维空间中实现高质量样本生成。尽管取得了经验性成功扩散模型通常被视为黑盒神经随机微分方程提供有限的可解释性和与稳定性或物理一致性相关的保证。相比之下PH系统为基于能量守恒、耗散和互连结构的物理系统建模提供了一个成熟的控制理论框架。PH系统通过显式哈密顿能量函数和结构化动态自然编码了被动性和稳定性。本文建立了扩散模型与PH系统之间的原理性联系。通过将评分函数解释为可学习哈密顿能量的梯度我们在统一的PH框架内表述了前向和反向扩散过程。这一视角实现了生成采样的控制理论解释并产生了结构稳定性保证。建模和生成复杂数据分布的探索是现代机器学习的核心。生成模型通过学习从观察样本中近似潜在数据流形取得了显著进展这主要得益于深度学习架构的推动。其中变分自编码器(VAEs)和生成对抗网络(GANs)已成为突出的范式。VAEs将生成框架化为变分推断问题学习编码器-解码器框架来近似给定数据的潜在变量的后验分布以及从这些潜在变量重建数据的解码器。另一方面GANs采用对抗训练过程其中生成器网络与判别器网络竞争前者旨在产生与真实样本无法区分的逼真数据后者则努力区分真实和生成的数据。虽然VAEs和GANs在各个领域都取得了令人印象深刻的结果但它们并非没有局限性。由于近似后验分布的选择或重建损失的性质VAEs经常产生过于模糊或简单的样本。GANs以训练困难著称受到模式崩溃(生成器产生有限种类的样本)、训练不稳定以及缺乏可靠、普遍接受的评估指标等问题的困扰。这些挑战促使人们探索替代的生成框架这些框架提供更稳定的训练动态、更强的理论保证和改进的样本质量。近年来扩散模型作为一类强大的生成模型崭露头角在图像合成、音频生成和分子建模等任务中展示了最先进的性能。扩散模型的核心灵感来自非平衡统计物理学。它们定义了一个前向过程通过在一系列时间步上迭代添加高斯噪声将真实数据分布中的数据样本逐渐转换为简单、易处理的先验分布(通常是各向同性高斯分布)。这个前向过程通常是一个马尔可夫链或者在其连续时间泛化中是一个随机微分方程(SDE)。然后生成能力来自学习一个反向过程旨在逆转这种噪声添加过程从简单的先验开始逐步去噪以从学习到的数据分布中生成新样本。Sohl-Dickstein等人的开创性工作首次引入了扩散概率模型的概念证明深度神经网络可以训练来逆转精心构建的前向扩散过程。Ho等人提出的去噪扩散概率模型(DDPMs)对这一思想进行了重要简化和普及。他们表明通过将反向转移参数化为条件高斯分布并优化数据似然的简化变分下界可以生成高质量样本。同时Song和Ermon开创的基于评分的生成建模框架提供了一个互补的视角。这种方法侧重于学习评分函数定义为数据分布对数密度的梯度∇x log p(x)。使用评分匹配等技术可以训练神经网络来估计这个评分函数而不需要明确了解配分函数。一旦学习了评分就可以通过Langevin动力学生成样本这是一种迭代的MCMC方法用学习到的评分扰动噪声以收敛到高数据密度区域。这两种视角——扩散模型和基于评分的模型——被Song等人优雅地统一在一个连续时间SDE框架下。他们证明前向噪声过程和反向生成过程都可以用SDE描述。具体来说形式为dxt f(xt,t)dt g(t)dWt的前向SDE可以与反向时间SDE dxt [f(xt,t) - g(t)2∇xt log pt(xt)]dt g(t)dW̄t相关联其中pt(xt)是时间t的边际分布W̄t是反向时间维纳过程。这种连续时间表述不仅提供了灵活和统一的理论基础还使得能够推导出称为概率流常微分方程(ODEs)的确定性采样方法有时可以提供更快的采样。尽管取得了经验性成功扩散和基于评分的模型通常被表述为黑盒随机系统。学习的反向动态无论是基于SDE还是ODE通常缺乏关于稳定性、被动性或对学习评分函数扰动的鲁棒性的明确结构保证。生成过程严重依赖于评分估计的准确性而基础动态并不固有地强制执行基于能量或控制理论的结构这些结构可以提供内在稳定性或可解释性。基于能量的模型(EBMs)提供了另一种长期存在的生成建模方法。在EBMs中数据x的概率分布通过能量函数Eθ(x)定义为pθ(x) exp(-Eθ(x))/Zθ其中Zθ通常是难以处理的配分函数确保归一化。学习目标是调整参数θ使模型为从真实数据分布中提取的数据点分配低能量而为其他点分配高能量。评分函数直接与能量梯度相关∇x log pθ(x) -∇xEθ(x)。因此基于评分的模型可以被视为学习和从隐式、时间依赖的EBMs中采样的实用方法。虽然EBMs提供了一个概念上吸引人的概率框架和与统计物理学的清晰联系但由于Zθ的难处理性以及对MCMC方法进行估计和采样的依赖它们在训练中经常面临挑战这些方法计算量大且混合速度慢。此外传统的EBMs通常不会为生成施加明确的、结构化的动力系统这些系统具有固有的稳定性保证更多地关注静态能量景观。Port-Hamiltonian(PH)系统在控制理论中提供了一个强大而成熟的框架用于基于能量原理、互连结构和耗散建模各种物理和工程系统。有限维PH系统由状态空间方程表征 ˙x (J(x) - R(x))∇H(x) g(x)u y g(x)⊤∇H(x) 其中x是状态向量H(x)是表示总存储能量的哈密顿函数J(x) -J(x)⊤是捕捉保守能量交换的斜对称互连矩阵R(x) R(x)⊤⪰0是建模能量损失的正半定耗散矩阵u表示外部输入g(x)是输入矩阵y表示共轭输出。这种结构固有地编码了基本的系统理论属性如被动性和Lyapunov稳定性。沿系统轨迹的哈密顿时间导数由˙H -∇H⊤R∇H u⊤y给出。在没有外部输入(u 0)的情况下这简化为˙H -∇H⊤R∇H ≤0这意味着系统是被动的并且哈密顿作为Lyapunov函数确保∇H 0的平衡点的稳定性。像互连和阻尼分配被动性控制(IDA-PBC)这样的控制方法利用这种PH结构来塑造系统能量并分配期望的耗散以实现稳定和轨迹跟踪。PH框架因其模块化、物理可解释性和鲁棒性属性而受到赞誉。物理学和机器学习的交叉引起了极大的兴趣导致了物理信息机器学习方法的发展。这些方法旨在将先验物理知识(通常表示为控制方程(如PDEs)或结构原理(如守恒定律))纳入学习过程。例如物理信息神经网络(PINNs)将PDEs描述的物理定律直接嵌入神经网络的损失函数中使得无需大量标记数据就能解决正向和逆向问题。在动力系统背景下哈密顿神经网络(HNNs)和拉格朗日神经网络(LNNs)分别从数据中学习哈密顿或拉格朗日函数。通过强制这些学习模型遵守从这些能量函数导出的规范运动方程它们确保学习的动态尊重基本物理属性如辛性和能量守恒(在没有外力或耗散的情况下)。神经常微分方程(Neural ODEs)通过用神经网络参数化ODE的动态来推广这一思想提供连续深度模型和内存效率。虽然这些物理启发的方法在系统识别、预测和解决科学计算问题方面显示出巨大前景但它们在复杂高维数据(如图像或音频)的生成建模特定领域的应用仍然较少探索其中潜在的物理学不是先验明确已知的。Anderson关于反向时间扩散方程模型的工作提供了扩散过程和反向时间动态之间的早期数学联系暗示了与物理系统的联系但它早于深度学习时代和现代对神经网络生成建模的关注。尽管在这些领域——扩散/基于评分的生成模型、基于能量的模型和PH系统——都取得了重大进展但缺乏一个原则性的整合以利用各自的优势。扩散模型提供了强大的生成能力但通常缺乏明确的结构稳定性保证。EBMs提供了基于能量的概率视图但通常缺乏结构化、稳定的生成动态。PH系统提供了具有固有稳定性和被动性属性的丰富控制理论框架但其应用主要针对已知物理系统或具有可识别能量函数的系统而不是现代生成建模核心的复杂学习分布。物理信息ML已成功将物理结构纳入预测模型但这尚未完全扩展到为生成扩散过程提供控制理论基础。扩散和基于评分的生成模型作为数据生成的随机过程已被广泛研究。基于随机微分方程的连续时间表述使得能够对扩散动态进行理论分析。然而这些模型通常是非结构化的缺乏内在稳定性保证。基于能量的模型建立了概率分布和能量函数之间的概念联系但通常不施加明确的动态或控制理论结构。Port-Hamiltonian系统形成了一个统一框架用于建模具有守恒定律和耗散的物理系统并在控制理论中得到了广泛研究。最近的物理启发学习方法将哈密顿结构纳入预测任务但不用于生成建模。据我们所知这项工作首次明确将基于扩散的生成模型嵌入到Port-Hamiltonian框架中。本文通过首次明确将基于扩散的生成模型嵌入到Port-Hamiltonian系统框架中来填补这一空白。我们的主要贡献是将扩散模型的评分函数解释为可学习哈密顿能量函数的负梯度。这一新颖视角使我们能够将前向(噪声添加)和反向(生成)扩散过程表述为结构化PH动态。关键的是反向时间生成过程被解释为反馈控制的PH系统其中控制律自然地从PH结构本身导出有效地塑造能量景观并增强耗散以引导系统朝向低能量(高概率)数据配置。这种表述产生了由PH属性结构强制执行的固有稳定性保证使生成过程对评分估计中的缺陷更加鲁棒。通过桥接这两个强大范式我们旨在为理解、分析和设计生成模型提供一个新的控制理论视角促进机器学习和物理系统理论之间更深层次的联系。这项工作的主要贡献如下基于扩散的生成模型的Port-Hamiltonian表述将评分函数明确解释为哈密顿能量的梯度反向扩散过程的控制理论表述基于耗散的结构稳定性分析2. Port-Hamiltonian扩散模型的严格表述在本节中我们在PH系统框架内提出基于扩散的生成模型的数学严格表述。特别注意区分精确恒等式与建模假设并使所有正则性条件明确。2.1 基于能量的参数化设xt ∈ Rn表示在过滤概率空间(Ω, F, {Ft}t≥0, P)上定义的随机过程。设Hθ : Rn × [0, T] → R是一个在x中二次连续可微且在t中连续可微的函数参数化为θ ∈ Θ。我们采用基于能量的建模假设即对于每个固定的txt的边际密度pt表示为 pt(x) (1/Z(t)) exp(-Hθ(x,t)) 其中Z(t) ∫ exp(-Hθ(x,t)) dx ∞是时间依赖的归一化常数。在这个假设下评分函数由下式给出 ∇x log pt(x) -∇xHθ(x,t) 方程(3.2)是在(3.1)条件下的恒等式没有声称任意Hθ诱导正确的扩散边际。2.2 前向扩散作为随机PH系统设J ∈ Rn×n是一个常数斜对称矩阵(J⊤ -J)R ∈ Rn×n是对称正半定(R ⪰ 0)G ∈ Rn×m。我们考虑随机微分方程 dxt (J - R)∇xHθ(xt,t) dt G dWt 其中Wt是一个m维标准维纳过程。假设3.1(适定性)。我们假设∇xHθ在x中是全局Lipschitz的在t中一致并且Hθ最多具有二次增长。在这些条件下(3.3)承认唯一的强解。2.3 能量演化对Hθ(xt,t)应用Itô公式得到 dHθ(xt,t) [∂tHθ(xt,t) ∇xHθ(xt,t)⊤(J - R)∇xHθ(xt,t) (1/2)Tr(GG⊤∇x²Hθ(xt,t))] dt ∇xHθ(xt,t)⊤G dWt 由于J是斜对称的∇H⊤J∇H 0。取期望并利用Itô积分的鞅性质我们得到 (d/dt)E[Hθ(xt,t)] E[∂tHθ(xt,t)] - E[∇xHθ⊤R∇xHθ] (1/2)E[Tr(GG⊤∇x²Hθ)] 方程(3.7)是精确的。没有忽略任何项。备注3.1(时间依赖能量)。在扩散模型中E[∂tHθ]项通常不会消失它编码了对数配分函数的演化。对于Lyapunov或被动性分析可以考虑冻结时间能量x ↦ Hθ(x,t)将t视为参数。2.4 反向时间动态作为受控PH系统我们通过控制仿射PH系统定义确定性反向时间动态 ˙x (J - R)∇xHθ(x,t) Gu(x,t) 我们选择反馈控制律 u(x,t) -G⊤∇xHθ(x,t) 将(3.9)代入(3.8)得到闭环系统 ˙x (J - R - GG⊤)∇xHθ(x,t)2.5 被动性与稳定性定义存储函数V(x) Hθ(x,t)对于固定的t。沿(3.10)的轨迹其时间导数满足 ˙V(x) -∇xHθ(x,t)⊤(R GG⊤)∇xHθ(x,t) ≤ 0 命题3.1(Lyapunov稳定性)。如果R GG⊤ ≻ 0且Hθ(·,t)有下界则平衡集E(t) {x ∈ Rn : ∇xHθ(x,t) 0}对于冻结时间动态(3.10)是Lyapunov稳定的。2.6 与基于评分的模型的关系在基于能量的假设(3.1)下方程(3.10)可以写成 ˙x -(J - R - GG⊤)∇x log pt(x) 方程(3.12)应解释为结构化评分流。它通常不等价于与(3.3)相关的精确反向时间SDE而是定义了一个确定性、耗散的传输动态其平衡点与pt的平稳点重合。备注3.2(解释范围)。PH表述保证了结构稳定性和被动性属性独立于Hθ是否精确匹配真实的扩散边际。因此本节的结果是系统理论的而非概率性质的。2.7 与精确反向时间SDE的比较我们现在正式比较提出的Port-Hamiltonian(PH)反向动态与与前向扩散相关的精确反向时间随机微分方程。精确反向时间SDE。设xt满足前向SDE dxt (J - R)∇xHθ(xt,t) dt G dWt 并假设边际密度pt存在严格正且足够光滑。然后精确反向时间动态由[12,16]给出 d¯xt [(J - R)∇xHθ(¯xt,t) - GG⊤∇x log pt(¯xt)] dt G d ¯Wt 其中¯Wt表示反向时间维纳过程。PH反向动态。提出的Port-Hamiltonian生成动态由确定性系统定义 ˙x (J - R - GG⊤)∇xHθ(x,t) 定理3.2(与反向SDE的结构关系)。假设基于能量的表示pt(x) Z(t)-1 exp(-Hθ(x,t))精确成立使得∇x log pt(x) -∇xHθ(x,t)。那么精确反向SDE(3.13)的漂移项与PH反向动态(3.14)的向量场重合。PH反向动态对应于与精确反向SDE相关的概率流(零噪声)ODE。证明。将∇x log pt -∇xHθ代入(3.13)的漂移得到 (J - R)∇xHθ GG⊤∇xHθ (J - R - GG⊤)∇xHθ 这与(3.14)的右侧重合。忽略随机项得到相关的概率流ODE。推论3.3(等价范围)。PH反向动态与精确反向时间SDE之间的等价性当且仅当学习的哈密顿精确再现真实的边际密度时成立。否则PH动态定义了一个结构稳定的近似其平衡点与Hθ的平稳点重合但其瞬态分布演化可能与真实反向扩散不同。备注3.3(解释)。因此Port-Hamiltonian采样器应解释为保持稳定性的概率流近似而非前向扩散的精确概率逆。结构被动性和Lyapunov稳定性得到保证以精确似然一致性为代价。3. 稳定性分析本节建立了提出的Port-Hamiltonian扩散模型的稳定性属性。与传统的扩散表述不同所提出框架中的稳定性直接源于能量耗散和被动性而不是来自概率动态的精确匹配。我们在轨迹和分布水平上分析了平衡稳定性、鲁棒性和收敛性。考虑闭环反向时间动态 ˙x (J - R - GG⊤)∇xHθ(x,t) 平衡集E定义为 E : {x ∈ Rn | ∇xHθ(x,t) 0} 这个集合对应于哈密顿能量的平稳点并且在温和的正则性假设下与建模数据分布的模态重合。哈密顿Hθ(x,t)作为一个自然的Lyapunov函数候选。沿(4.1)轨迹的时间导数满足 ˙Hθ(x) ∇xHθ⊤(J - R - GG⊤)∇xHθ -∇xHθ⊤(R GG⊤)∇xHθ ≤ 0 由于R GG⊤ ⪰ 0哈密顿沿系统轨迹是非增的。这立即意味着平衡集E的Lyapunov稳定性。3.1 渐近稳定性如果R GG⊤ ≻ 0且Hθ有下界则˙Hθ(x) 0当且仅当∇xHθ(x,t) 0。根据LaSalle不变性原理所有轨迹渐近收敛到包含在E中的最大不变集。因此平衡集是全局渐近稳定的。这个结果表明采样动态的收敛性由耗散结构保证独立于Hθ的具体参数化。在实践中学习的哈密顿梯度∇xHθ受到近似误差的影响。设实现的动态为 ˙x (J - R - GG⊤)(∇xHθ(x,t) Δ(x,t)) 其中Δ(x,t)表示有界的建模或估计误差。使用哈密顿作为存储函数扰动能量导数满足 ˙Hθ(x) ≤ -∇xHθ⊤(R GG⊤)∇xHθ ∥∇xHθ∥∥(R GG⊤)Δ∥ 这个不等式意味着关于Δ的输入到状态稳定性前提是耗散主导误差幅度。因此采样动态对不完美的评分估计具有鲁棒性。3.2 增量稳定性和收缩除了平衡收敛外系统表现出增量稳定性。如第IV节所示闭环动态是增量被动的意味着轨迹的收缩。增量稳定性确保从不同状态初始化的轨迹相互收敛排除了发散或混沌采样行为。增量被动性和收缩属性进一步意味着在概率测度水平的收敛。特别是如前面的推论所建立诱导分布在2-Wasserstein度量中指数收缩。这为生成过程提供了分布稳定性的概念并证明了使用所提出的动态进行采样的合理性。上述分析突出了所提出框架与传统扩散模型之间的根本区别。稳定性、鲁棒性和收敛性由系统结构而非学习准确性保证。因此提出的Port-Hamiltonian扩散模型提供了与控制理论原理良好对齐的强大理论保证。定理4.1。如果R GG⊤ ≻ 0且Hθ有下界则反向时间动态在期望中是全局渐近稳定的。证明。哈密顿的时间导数满足 (d/dt)Hθ(xt,t) -∇xHθ⊤(R GG⊤)∇xHθ ≤ 0 这意味着单调能量耗散。3.3 反向时间动态的详细稳定性分析反向时间生成过程被表述为受控的Port-Hamiltonian系统在选择的反馈控制律uθ(x,t) -G⊤∇xHθ(x,t)下产生闭环确定性动态 ˙xt (J - R - GG⊤)∇xHθ(xt,t) 我们的目标是分析这个系统的稳定性。平衡集E定义为哈密顿的临界点集 E {x ∈ Rn | ∇xHθ(x,t) 0} 这些平衡点对应于能量景观Hθ的模态(局部最小值)并且在基于能量的概率假设pt(x) ∝ exp(-Hθ(x,t))下对应于目标数据分布的模态。我们采用Lyapunov直接方法使用哈密顿Hθ(x,t)本身作为Lyapunov函数候选。对于这个分析我们考虑Hθ沿系统(4.6)轨迹的时间导数。我们将主要关注由于状态演化引起的Hθ变化假设Hθ的显式时间依赖性(即∂Hθ/∂t)不会不利地影响导数的符号确定性或者是足够缓慢变化的。这是分析非自治系统稳定性的常见假设其中时变参数定义了一系列能量函数。Hθ(x(t),t)沿系统轨迹的时间导数是 ˙Hθ(xt,t) (∂Hθ/∂t) ∇xHθ⊤˙xt (∂Hθ/∂t) ∇xHθ⊤(J - R - GG⊤)∇xHθ 如前所述由于J的斜对称性∇xHθ⊤J∇xHθ项消失。因此方程(4.8)简化为 ˙Hθ(xt,t) (∂Hθ/∂t) - ∇xHθ⊤(R GG⊤)∇xHθ 矩阵R GG⊤根据假设是对称正定的(R GG⊤ ≻ 0)意味着其特征值严格为正。设λmin 0为其最小特征值。那么∇xHθ⊤(R GG⊤)∇xHθ ≥ λmin∥∇xHθ∥2。如果我们假设∂Hθ/∂t有界且不主导耗散项或者如果我们考虑Hθ在给定时间快照下对稳定性分析实际上是自治的(即关注˙Hθ(xt) ∇xHθ⊤˙xt)则˙Hθ的符号主要由耗散项控制 ˙Hθ(xt) -∇xHθ⊤(R GG⊤)∇xHθ ≤ 0 这个不等式确认Hθ沿系统轨迹是非增函数意味着平衡集E的Lyapunov稳定性。这意味着从E附近开始的轨迹将保持在E附近。为了建立渐近稳定性我们引用LaSalle不变性原理。对于非自治系统LaSalle定理的标准形式要求˙Hθ(xt,t) ≤ 0并且Hθ(x,t)是递减和径向无界的(或定义在紧的正不变集上)。在这些条件下所有有界解都收敛到最大不变集M包含在集合S {x | ˙Hθ(x,t) 0 对所有t}内。从方程(4.10)˙Hθ(xt,t) 0当且仅当∇xHθ(xt,t) 0前提是R GG⊤ ≻ 0。这意味着集合S恰好是平衡集E。E内的最大不变集M包含所有从E开始并在E中保持所有未来时间的轨迹。如果轨迹x(t)在M中则∇xHθ(x(t),t) 0对所有t。将其代入系统动态(4.6)得到˙x(t) 0。因此M中的轨迹必须是常数对应于孤立的平衡点。假设Hθ(x,t)有下界(如原论文定理5.1所述)并且其水平集是紧的(例如Hθ是径向无界的或系统在紧域上运行)系统(4.6)的所有轨迹将渐近接近平衡点集E当t → ∞。如果哈密顿Hθ被设计为其局部最小值对应于期望的数据模态并且这些是孤立的吸引子则系统将收敛到这些模态之一。原论文定理5.1中关于反向时间动态稳定性的短语在期望中需要澄清。如果反向过程是确定性ODE(4.6)稳定性分析适用于单个轨迹。如果初始条件x0从分布中抽取收敛性质几乎必然适用于这些轨迹然后意味着期望中的收敛。如果在反向采样SDE中保留了随机成分(与特定控制律产生的确定性ODE(4.6)不同)那么期望中的稳定性将直接指期望状态或期望能量的演化。结构耗散(R GG⊤)确保这种收敛是鲁棒的。4. 数值示例为了证实PH扩散模型的核心理论框架本节针对两个说明性示例展示了数值模拟一个对应于解析示例的一维系统以及一个具有多模态能量景观的概念性二维系统。这些模拟旨在实证展示前向噪声过程、反向生成过程、哈密顿能量函数的作用以及从PH结构产生的固有稳定性属性。4.1 一维PH扩散模型我们首先考虑讨论的简单一维PH系统。哈密顿(能量)函数选择为H(x) (1/2)x2。PH结构矩阵设置为J 0R α(α 0.5)G σ(σ 1.0)。因此前向扩散过程由Ornstein-Uhlenbeck SDE描述 dxt -αxt dt σ dWt 其中Wt是标准维纳过程。在时间范围Tforward 20和时间步长dtforward 0.01上模拟了1000条轨迹初始条件从标准正态分布中抽取。图1(左)显示了这个前向过程的几个样本轨迹说明了系统状态向零均值的收敛。图1的右面板显示了所有1000条轨迹在t Tforward时的最终状态直方图。这个经验分布与Ornstein-Uhlenbeck过程的理论稳态分布N(0, σ2/2α)非常吻合确认前向SDE成功地将初始数据分布转换为简单高斯先验。根据PH框架(方程(4.7))反向时间生成过程由确定性ODE控制 ˙xt (J - R - GG⊤)∇H(xt) -(α σ2)xt 这个ODE使用SciPy中的RK45方法从t 0到Treverse 10进行积分有200个评估点。几条反向轨迹从跨越[-5,5]的均匀分布中抽取的不同起点开始。图2(左)可视化了二次哈密顿能量景观H(x)。右面板显示了样本反向轨迹所有这些轨迹都收敛到x 0处的单一稳定平衡点对应于哈密顿的最小值。这清楚地展示了反向PH动态的能量耗散性质其中系统向下流动到较低能量状态有效地从集中在原点的目标分布生成样本在这个简单情况下。4.2 二维概念性PH扩散模型为了说明PH框架对更复杂、多模态分布的适用性我们考虑一个二维系统。哈密顿定义为 H(x) (x1² - 1)² (x2² - 1)² 它具有四个最小值在(±1, ±1)对应于目标数据分布中的四个模态。这个哈密顿的梯度是∇H(x) [4x1(x1² - 1), 4x2(x2² - 1)]⊤。PH结构矩阵选择为 J [0 -j; j 0], j 0.5 R [r1 0; 0 r2], r1 r2 0.2 G [g1 0; 0 g2], g1 g2 1.0 对于反向过程组合耗散矩阵R GG⊤是 R GG⊤ [r1 g1² 0; 0 r2 g2²] [1.2 0; 0 1.2] 这个矩阵是正定的满足主文本中定理5.1对反向动态全局渐近稳定性的条件。图3展示了二维模拟的结果。左面板显示了所选哈密顿的3D表面图清楚地展示了其四个最小值。中心面板显示了这个能量景观的等高线图叠加了前向SDE dxt (J - R)∇H(xt)dt G dWt的轨迹模拟了Tforward 50dtforward 0.01。这些轨迹从原点附近开始根据PH动态和注入的噪声扩散探索状态空间。图3的右面板说明了反向生成过程。反向ODE(方程(4.7))的十五条轨迹从t 0到Treverse 15积分绘制在能量等高线上。初始条件(用黑色圆圈标记)从高斯分布N(0, 1.5²I)中抽取。轨迹(实线)流向哈密顿的四个最小值(用红星标记)展示了系统生成对应于目标分布不同模态的样本的能力。这个可视化有效地捕捉了反向过程作为反馈控制系统的控制理论解释该系统主动耗散能量以引导状态朝向低能量配置。这些数值示例共同验证了PH扩散框架的核心理论命题。它们表明结构化的PH动态导致稳定和可解释的生成过程无论是在简单的单模态还是更复杂的多模态设置中。反向过程的能量耗散性质确保收敛到学习数据分布的模态如哈密顿函数的最小值所表征的那样。5. 结论与定位本文通过将扩散模型嵌入到PH系统框架中开发了基于扩散的生成模型的系统理论视角。通过用能量函数、互连结构和耗散来表述前向扩散和相关的生成动态我们明确了一组结构属性——被动性、能量平衡和Lyapunov稳定性——这些属性不是传统基于评分的表述所固有的。一个核心理论贡献是提出的PH反向动态与与前向扩散相关的精确反向时间随机微分方程之间的正式比较。这一比较确立了PH采样器与真实反向SDE的概率流(零噪声)极限重合当且仅当学习的哈密顿精确再现真实的边际密度。在这个理想化设置之外PH动态不旨在恢复精确的反向扩散而是定义一个确定性、耗散的流其平衡点与学习能量函数的平稳点重合。这一结果澄清了所提出方法的概念定位。PH表述不是作为前向扩散的精确概率逆而是优先考虑结构鲁棒性而非分布精确性。特别是闭环生成动态通过构造继承了被动性和Lyapunov稳定性独立于评分不匹配或建模误差。这与标准的反向时间SDE采样器形成对比后者的稳定性和数值行为在学习评分不准确时会急剧恶化。更广泛地说Port-Hamiltonian观点将扩散模型重新构建为具有显式能量耗散机制的受控动力系统。这一视角为未来研究开辟了几个有前景的方向包括能量函数的结构保持神经参数化、不完美评分学习下的鲁棒性分析以及扩展到约束、互连或物理信息的生成系统。通过用系统理论结构补充概率保证所提出的框架为稳定和可解释的生成建模提供了原则性基础。局限性。应承认所提出框架的几个局限性。首先扩散边际的基于能量表示是假设而非推导的学习哈密顿中的近似误差可能导致诱导的Port-Hamiltonian流与真实反向时间扩散之间的差异。其次分析侧重于冻结时间Lyapunov和被动性属性不提供关于概率分布的瞬态演化或精确似然恢复的保证。第三确定性PH反向动态对应于概率流近似因此忽略了在高维采样中可能有益于探索和模态覆盖的随机效应。最后当前表述假设全局Lipschitz能量梯度和无约束状态空间将理论扩展到约束系统、非光滑能量或自适应噪声结构仍然是未来工作的开放方向。
Port-Hamiltonian扩散模型：控制理论视角下的生成建模
发布时间：2026/6/7 10:49:01
1. 控制理论视角下的Port-Hamiltonian扩散模型解析扩散模型近年来在生成建模领域取得了显著成功但其通常被表述为黑盒随机系统缺乏可解释性和结构保证。本文将扩散模型嵌入到Port-Hamiltonian(PH)系统框架中从控制理论角度为扩散模型建立了理论基础。我们证明评分函数可以解释为可学习哈密顿能量的梯度使得前向和反向扩散过程都能表述为结构化PH动力学。反向时间生成过程进一步被解释为反馈控制的PH系统其中耗散在稳定采样动态中起着基础性作用。这种表述产生了独立于评分估计准确性的内在稳定性保证。1.1 扩散模型与PH系统的理论基础扩散模型构成了一类基于随机动力系统的强大生成模型。通过定义前向噪声注入过程并学习其反向时间动态这些模型能够在复杂的高维空间中实现高质量样本生成。尽管取得了经验性成功扩散模型通常被视为黑盒神经随机微分方程提供有限的可解释性和与稳定性或物理一致性相关的保证。相比之下PH系统为基于能量守恒、耗散和互连结构的物理系统建模提供了一个成熟的控制理论框架。PH系统通过显式哈密顿能量函数和结构化动态自然编码了被动性和稳定性。本文建立了扩散模型与PH系统之间的原理性联系。通过将评分函数解释为可学习哈密顿能量的梯度我们在统一的PH框架内表述了前向和反向扩散过程。这一视角实现了生成采样的控制理论解释并产生了结构稳定性保证。建模和生成复杂数据分布的探索是现代机器学习的核心。生成模型通过学习从观察样本中近似潜在数据流形取得了显著进展这主要得益于深度学习架构的推动。其中变分自编码器(VAEs)和生成对抗网络(GANs)已成为突出的范式。VAEs将生成框架化为变分推断问题学习编码器-解码器框架来近似给定数据的潜在变量的后验分布以及从这些潜在变量重建数据的解码器。另一方面GANs采用对抗训练过程其中生成器网络与判别器网络竞争前者旨在产生与真实样本无法区分的逼真数据后者则努力区分真实和生成的数据。虽然VAEs和GANs在各个领域都取得了令人印象深刻的结果但它们并非没有局限性。由于近似后验分布的选择或重建损失的性质VAEs经常产生过于模糊或简单的样本。GANs以训练困难著称受到模式崩溃(生成器产生有限种类的样本)、训练不稳定以及缺乏可靠、普遍接受的评估指标等问题的困扰。这些挑战促使人们探索替代的生成框架这些框架提供更稳定的训练动态、更强的理论保证和改进的样本质量。近年来扩散模型作为一类强大的生成模型崭露头角在图像合成、音频生成和分子建模等任务中展示了最先进的性能。扩散模型的核心灵感来自非平衡统计物理学。它们定义了一个前向过程通过在一系列时间步上迭代添加高斯噪声将真实数据分布中的数据样本逐渐转换为简单、易处理的先验分布(通常是各向同性高斯分布)。这个前向过程通常是一个马尔可夫链或者在其连续时间泛化中是一个随机微分方程(SDE)。然后生成能力来自学习一个反向过程旨在逆转这种噪声添加过程从简单的先验开始逐步去噪以从学习到的数据分布中生成新样本。Sohl-Dickstein等人的开创性工作首次引入了扩散概率模型的概念证明深度神经网络可以训练来逆转精心构建的前向扩散过程。Ho等人提出的去噪扩散概率模型(DDPMs)对这一思想进行了重要简化和普及。他们表明通过将反向转移参数化为条件高斯分布并优化数据似然的简化变分下界可以生成高质量样本。同时Song和Ermon开创的基于评分的生成建模框架提供了一个互补的视角。这种方法侧重于学习评分函数定义为数据分布对数密度的梯度∇x log p(x)。使用评分匹配等技术可以训练神经网络来估计这个评分函数而不需要明确了解配分函数。一旦学习了评分就可以通过Langevin动力学生成样本这是一种迭代的MCMC方法用学习到的评分扰动噪声以收敛到高数据密度区域。这两种视角——扩散模型和基于评分的模型——被Song等人优雅地统一在一个连续时间SDE框架下。他们证明前向噪声过程和反向生成过程都可以用SDE描述。具体来说形式为dxt f(xt,t)dt g(t)dWt的前向SDE可以与反向时间SDE dxt [f(xt,t) - g(t)2∇xt log pt(xt)]dt g(t)dW̄t相关联其中pt(xt)是时间t的边际分布W̄t是反向时间维纳过程。这种连续时间表述不仅提供了灵活和统一的理论基础还使得能够推导出称为概率流常微分方程(ODEs)的确定性采样方法有时可以提供更快的采样。尽管取得了经验性成功扩散和基于评分的模型通常被表述为黑盒随机系统。学习的反向动态无论是基于SDE还是ODE通常缺乏关于稳定性、被动性或对学习评分函数扰动的鲁棒性的明确结构保证。生成过程严重依赖于评分估计的准确性而基础动态并不固有地强制执行基于能量或控制理论的结构这些结构可以提供内在稳定性或可解释性。基于能量的模型(EBMs)提供了另一种长期存在的生成建模方法。在EBMs中数据x的概率分布通过能量函数Eθ(x)定义为pθ(x) exp(-Eθ(x))/Zθ其中Zθ通常是难以处理的配分函数确保归一化。学习目标是调整参数θ使模型为从真实数据分布中提取的数据点分配低能量而为其他点分配高能量。评分函数直接与能量梯度相关∇x log pθ(x) -∇xEθ(x)。因此基于评分的模型可以被视为学习和从隐式、时间依赖的EBMs中采样的实用方法。虽然EBMs提供了一个概念上吸引人的概率框架和与统计物理学的清晰联系但由于Zθ的难处理性以及对MCMC方法进行估计和采样的依赖它们在训练中经常面临挑战这些方法计算量大且混合速度慢。此外传统的EBMs通常不会为生成施加明确的、结构化的动力系统这些系统具有固有的稳定性保证更多地关注静态能量景观。Port-Hamiltonian(PH)系统在控制理论中提供了一个强大而成熟的框架用于基于能量原理、互连结构和耗散建模各种物理和工程系统。有限维PH系统由状态空间方程表征 ˙x (J(x) - R(x))∇H(x) g(x)u y g(x)⊤∇H(x) 其中x是状态向量H(x)是表示总存储能量的哈密顿函数J(x) -J(x)⊤是捕捉保守能量交换的斜对称互连矩阵R(x) R(x)⊤⪰0是建模能量损失的正半定耗散矩阵u表示外部输入g(x)是输入矩阵y表示共轭输出。这种结构固有地编码了基本的系统理论属性如被动性和Lyapunov稳定性。沿系统轨迹的哈密顿时间导数由˙H -∇H⊤R∇H u⊤y给出。在没有外部输入(u 0)的情况下这简化为˙H -∇H⊤R∇H ≤0这意味着系统是被动的并且哈密顿作为Lyapunov函数确保∇H 0的平衡点的稳定性。像互连和阻尼分配被动性控制(IDA-PBC)这样的控制方法利用这种PH结构来塑造系统能量并分配期望的耗散以实现稳定和轨迹跟踪。PH框架因其模块化、物理可解释性和鲁棒性属性而受到赞誉。物理学和机器学习的交叉引起了极大的兴趣导致了物理信息机器学习方法的发展。这些方法旨在将先验物理知识(通常表示为控制方程(如PDEs)或结构原理(如守恒定律))纳入学习过程。例如物理信息神经网络(PINNs)将PDEs描述的物理定律直接嵌入神经网络的损失函数中使得无需大量标记数据就能解决正向和逆向问题。在动力系统背景下哈密顿神经网络(HNNs)和拉格朗日神经网络(LNNs)分别从数据中学习哈密顿或拉格朗日函数。通过强制这些学习模型遵守从这些能量函数导出的规范运动方程它们确保学习的动态尊重基本物理属性如辛性和能量守恒(在没有外力或耗散的情况下)。神经常微分方程(Neural ODEs)通过用神经网络参数化ODE的动态来推广这一思想提供连续深度模型和内存效率。虽然这些物理启发的方法在系统识别、预测和解决科学计算问题方面显示出巨大前景但它们在复杂高维数据(如图像或音频)的生成建模特定领域的应用仍然较少探索其中潜在的物理学不是先验明确已知的。Anderson关于反向时间扩散方程模型的工作提供了扩散过程和反向时间动态之间的早期数学联系暗示了与物理系统的联系但它早于深度学习时代和现代对神经网络生成建模的关注。尽管在这些领域——扩散/基于评分的生成模型、基于能量的模型和PH系统——都取得了重大进展但缺乏一个原则性的整合以利用各自的优势。扩散模型提供了强大的生成能力但通常缺乏明确的结构稳定性保证。EBMs提供了基于能量的概率视图但通常缺乏结构化、稳定的生成动态。PH系统提供了具有固有稳定性和被动性属性的丰富控制理论框架但其应用主要针对已知物理系统或具有可识别能量函数的系统而不是现代生成建模核心的复杂学习分布。物理信息ML已成功将物理结构纳入预测模型但这尚未完全扩展到为生成扩散过程提供控制理论基础。扩散和基于评分的生成模型作为数据生成的随机过程已被广泛研究。基于随机微分方程的连续时间表述使得能够对扩散动态进行理论分析。然而这些模型通常是非结构化的缺乏内在稳定性保证。基于能量的模型建立了概率分布和能量函数之间的概念联系但通常不施加明确的动态或控制理论结构。Port-Hamiltonian系统形成了一个统一框架用于建模具有守恒定律和耗散的物理系统并在控制理论中得到了广泛研究。最近的物理启发学习方法将哈密顿结构纳入预测任务但不用于生成建模。据我们所知这项工作首次明确将基于扩散的生成模型嵌入到Port-Hamiltonian框架中。本文通过首次明确将基于扩散的生成模型嵌入到Port-Hamiltonian系统框架中来填补这一空白。我们的主要贡献是将扩散模型的评分函数解释为可学习哈密顿能量函数的负梯度。这一新颖视角使我们能够将前向(噪声添加)和反向(生成)扩散过程表述为结构化PH动态。关键的是反向时间生成过程被解释为反馈控制的PH系统其中控制律自然地从PH结构本身导出有效地塑造能量景观并增强耗散以引导系统朝向低能量(高概率)数据配置。这种表述产生了由PH属性结构强制执行的固有稳定性保证使生成过程对评分估计中的缺陷更加鲁棒。通过桥接这两个强大范式我们旨在为理解、分析和设计生成模型提供一个新的控制理论视角促进机器学习和物理系统理论之间更深层次的联系。这项工作的主要贡献如下基于扩散的生成模型的Port-Hamiltonian表述将评分函数明确解释为哈密顿能量的梯度反向扩散过程的控制理论表述基于耗散的结构稳定性分析2. Port-Hamiltonian扩散模型的严格表述在本节中我们在PH系统框架内提出基于扩散的生成模型的数学严格表述。特别注意区分精确恒等式与建模假设并使所有正则性条件明确。2.1 基于能量的参数化设xt ∈ Rn表示在过滤概率空间(Ω, F, {Ft}t≥0, P)上定义的随机过程。设Hθ : Rn × [0, T] → R是一个在x中二次连续可微且在t中连续可微的函数参数化为θ ∈ Θ。我们采用基于能量的建模假设即对于每个固定的txt的边际密度pt表示为 pt(x) (1/Z(t)) exp(-Hθ(x,t)) 其中Z(t) ∫ exp(-Hθ(x,t)) dx ∞是时间依赖的归一化常数。在这个假设下评分函数由下式给出 ∇x log pt(x) -∇xHθ(x,t) 方程(3.2)是在(3.1)条件下的恒等式没有声称任意Hθ诱导正确的扩散边际。2.2 前向扩散作为随机PH系统设J ∈ Rn×n是一个常数斜对称矩阵(J⊤ -J)R ∈ Rn×n是对称正半定(R ⪰ 0)G ∈ Rn×m。我们考虑随机微分方程 dxt (J - R)∇xHθ(xt,t) dt G dWt 其中Wt是一个m维标准维纳过程。假设3.1(适定性)。我们假设∇xHθ在x中是全局Lipschitz的在t中一致并且Hθ最多具有二次增长。在这些条件下(3.3)承认唯一的强解。2.3 能量演化对Hθ(xt,t)应用Itô公式得到 dHθ(xt,t) [∂tHθ(xt,t) ∇xHθ(xt,t)⊤(J - R)∇xHθ(xt,t) (1/2)Tr(GG⊤∇x²Hθ(xt,t))] dt ∇xHθ(xt,t)⊤G dWt 由于J是斜对称的∇H⊤J∇H 0。取期望并利用Itô积分的鞅性质我们得到 (d/dt)E[Hθ(xt,t)] E[∂tHθ(xt,t)] - E[∇xHθ⊤R∇xHθ] (1/2)E[Tr(GG⊤∇x²Hθ)] 方程(3.7)是精确的。没有忽略任何项。备注3.1(时间依赖能量)。在扩散模型中E[∂tHθ]项通常不会消失它编码了对数配分函数的演化。对于Lyapunov或被动性分析可以考虑冻结时间能量x ↦ Hθ(x,t)将t视为参数。2.4 反向时间动态作为受控PH系统我们通过控制仿射PH系统定义确定性反向时间动态 ˙x (J - R)∇xHθ(x,t) Gu(x,t) 我们选择反馈控制律 u(x,t) -G⊤∇xHθ(x,t) 将(3.9)代入(3.8)得到闭环系统 ˙x (J - R - GG⊤)∇xHθ(x,t)2.5 被动性与稳定性定义存储函数V(x) Hθ(x,t)对于固定的t。沿(3.10)的轨迹其时间导数满足 ˙V(x) -∇xHθ(x,t)⊤(R GG⊤)∇xHθ(x,t) ≤ 0 命题3.1(Lyapunov稳定性)。如果R GG⊤ ≻ 0且Hθ(·,t)有下界则平衡集E(t) {x ∈ Rn : ∇xHθ(x,t) 0}对于冻结时间动态(3.10)是Lyapunov稳定的。2.6 与基于评分的模型的关系在基于能量的假设(3.1)下方程(3.10)可以写成 ˙x -(J - R - GG⊤)∇x log pt(x) 方程(3.12)应解释为结构化评分流。它通常不等价于与(3.3)相关的精确反向时间SDE而是定义了一个确定性、耗散的传输动态其平衡点与pt的平稳点重合。备注3.2(解释范围)。PH表述保证了结构稳定性和被动性属性独立于Hθ是否精确匹配真实的扩散边际。因此本节的结果是系统理论的而非概率性质的。2.7 与精确反向时间SDE的比较我们现在正式比较提出的Port-Hamiltonian(PH)反向动态与与前向扩散相关的精确反向时间随机微分方程。精确反向时间SDE。设xt满足前向SDE dxt (J - R)∇xHθ(xt,t) dt G dWt 并假设边际密度pt存在严格正且足够光滑。然后精确反向时间动态由[12,16]给出 d¯xt [(J - R)∇xHθ(¯xt,t) - GG⊤∇x log pt(¯xt)] dt G d ¯Wt 其中¯Wt表示反向时间维纳过程。PH反向动态。提出的Port-Hamiltonian生成动态由确定性系统定义 ˙x (J - R - GG⊤)∇xHθ(x,t) 定理3.2(与反向SDE的结构关系)。假设基于能量的表示pt(x) Z(t)-1 exp(-Hθ(x,t))精确成立使得∇x log pt(x) -∇xHθ(x,t)。那么精确反向SDE(3.13)的漂移项与PH反向动态(3.14)的向量场重合。PH反向动态对应于与精确反向SDE相关的概率流(零噪声)ODE。证明。将∇x log pt -∇xHθ代入(3.13)的漂移得到 (J - R)∇xHθ GG⊤∇xHθ (J - R - GG⊤)∇xHθ 这与(3.14)的右侧重合。忽略随机项得到相关的概率流ODE。推论3.3(等价范围)。PH反向动态与精确反向时间SDE之间的等价性当且仅当学习的哈密顿精确再现真实的边际密度时成立。否则PH动态定义了一个结构稳定的近似其平衡点与Hθ的平稳点重合但其瞬态分布演化可能与真实反向扩散不同。备注3.3(解释)。因此Port-Hamiltonian采样器应解释为保持稳定性的概率流近似而非前向扩散的精确概率逆。结构被动性和Lyapunov稳定性得到保证以精确似然一致性为代价。3. 稳定性分析本节建立了提出的Port-Hamiltonian扩散模型的稳定性属性。与传统的扩散表述不同所提出框架中的稳定性直接源于能量耗散和被动性而不是来自概率动态的精确匹配。我们在轨迹和分布水平上分析了平衡稳定性、鲁棒性和收敛性。考虑闭环反向时间动态 ˙x (J - R - GG⊤)∇xHθ(x,t) 平衡集E定义为 E : {x ∈ Rn | ∇xHθ(x,t) 0} 这个集合对应于哈密顿能量的平稳点并且在温和的正则性假设下与建模数据分布的模态重合。哈密顿Hθ(x,t)作为一个自然的Lyapunov函数候选。沿(4.1)轨迹的时间导数满足 ˙Hθ(x) ∇xHθ⊤(J - R - GG⊤)∇xHθ -∇xHθ⊤(R GG⊤)∇xHθ ≤ 0 由于R GG⊤ ⪰ 0哈密顿沿系统轨迹是非增的。这立即意味着平衡集E的Lyapunov稳定性。3.1 渐近稳定性如果R GG⊤ ≻ 0且Hθ有下界则˙Hθ(x) 0当且仅当∇xHθ(x,t) 0。根据LaSalle不变性原理所有轨迹渐近收敛到包含在E中的最大不变集。因此平衡集是全局渐近稳定的。这个结果表明采样动态的收敛性由耗散结构保证独立于Hθ的具体参数化。在实践中学习的哈密顿梯度∇xHθ受到近似误差的影响。设实现的动态为 ˙x (J - R - GG⊤)(∇xHθ(x,t) Δ(x,t)) 其中Δ(x,t)表示有界的建模或估计误差。使用哈密顿作为存储函数扰动能量导数满足 ˙Hθ(x) ≤ -∇xHθ⊤(R GG⊤)∇xHθ ∥∇xHθ∥∥(R GG⊤)Δ∥ 这个不等式意味着关于Δ的输入到状态稳定性前提是耗散主导误差幅度。因此采样动态对不完美的评分估计具有鲁棒性。3.2 增量稳定性和收缩除了平衡收敛外系统表现出增量稳定性。如第IV节所示闭环动态是增量被动的意味着轨迹的收缩。增量稳定性确保从不同状态初始化的轨迹相互收敛排除了发散或混沌采样行为。增量被动性和收缩属性进一步意味着在概率测度水平的收敛。特别是如前面的推论所建立诱导分布在2-Wasserstein度量中指数收缩。这为生成过程提供了分布稳定性的概念并证明了使用所提出的动态进行采样的合理性。上述分析突出了所提出框架与传统扩散模型之间的根本区别。稳定性、鲁棒性和收敛性由系统结构而非学习准确性保证。因此提出的Port-Hamiltonian扩散模型提供了与控制理论原理良好对齐的强大理论保证。定理4.1。如果R GG⊤ ≻ 0且Hθ有下界则反向时间动态在期望中是全局渐近稳定的。证明。哈密顿的时间导数满足 (d/dt)Hθ(xt,t) -∇xHθ⊤(R GG⊤)∇xHθ ≤ 0 这意味着单调能量耗散。3.3 反向时间动态的详细稳定性分析反向时间生成过程被表述为受控的Port-Hamiltonian系统在选择的反馈控制律uθ(x,t) -G⊤∇xHθ(x,t)下产生闭环确定性动态 ˙xt (J - R - GG⊤)∇xHθ(xt,t) 我们的目标是分析这个系统的稳定性。平衡集E定义为哈密顿的临界点集 E {x ∈ Rn | ∇xHθ(x,t) 0} 这些平衡点对应于能量景观Hθ的模态(局部最小值)并且在基于能量的概率假设pt(x) ∝ exp(-Hθ(x,t))下对应于目标数据分布的模态。我们采用Lyapunov直接方法使用哈密顿Hθ(x,t)本身作为Lyapunov函数候选。对于这个分析我们考虑Hθ沿系统(4.6)轨迹的时间导数。我们将主要关注由于状态演化引起的Hθ变化假设Hθ的显式时间依赖性(即∂Hθ/∂t)不会不利地影响导数的符号确定性或者是足够缓慢变化的。这是分析非自治系统稳定性的常见假设其中时变参数定义了一系列能量函数。Hθ(x(t),t)沿系统轨迹的时间导数是 ˙Hθ(xt,t) (∂Hθ/∂t) ∇xHθ⊤˙xt (∂Hθ/∂t) ∇xHθ⊤(J - R - GG⊤)∇xHθ 如前所述由于J的斜对称性∇xHθ⊤J∇xHθ项消失。因此方程(4.8)简化为 ˙Hθ(xt,t) (∂Hθ/∂t) - ∇xHθ⊤(R GG⊤)∇xHθ 矩阵R GG⊤根据假设是对称正定的(R GG⊤ ≻ 0)意味着其特征值严格为正。设λmin 0为其最小特征值。那么∇xHθ⊤(R GG⊤)∇xHθ ≥ λmin∥∇xHθ∥2。如果我们假设∂Hθ/∂t有界且不主导耗散项或者如果我们考虑Hθ在给定时间快照下对稳定性分析实际上是自治的(即关注˙Hθ(xt) ∇xHθ⊤˙xt)则˙Hθ的符号主要由耗散项控制 ˙Hθ(xt) -∇xHθ⊤(R GG⊤)∇xHθ ≤ 0 这个不等式确认Hθ沿系统轨迹是非增函数意味着平衡集E的Lyapunov稳定性。这意味着从E附近开始的轨迹将保持在E附近。为了建立渐近稳定性我们引用LaSalle不变性原理。对于非自治系统LaSalle定理的标准形式要求˙Hθ(xt,t) ≤ 0并且Hθ(x,t)是递减和径向无界的(或定义在紧的正不变集上)。在这些条件下所有有界解都收敛到最大不变集M包含在集合S {x | ˙Hθ(x,t) 0 对所有t}内。从方程(4.10)˙Hθ(xt,t) 0当且仅当∇xHθ(xt,t) 0前提是R GG⊤ ≻ 0。这意味着集合S恰好是平衡集E。E内的最大不变集M包含所有从E开始并在E中保持所有未来时间的轨迹。如果轨迹x(t)在M中则∇xHθ(x(t),t) 0对所有t。将其代入系统动态(4.6)得到˙x(t) 0。因此M中的轨迹必须是常数对应于孤立的平衡点。假设Hθ(x,t)有下界(如原论文定理5.1所述)并且其水平集是紧的(例如Hθ是径向无界的或系统在紧域上运行)系统(4.6)的所有轨迹将渐近接近平衡点集E当t → ∞。如果哈密顿Hθ被设计为其局部最小值对应于期望的数据模态并且这些是孤立的吸引子则系统将收敛到这些模态之一。原论文定理5.1中关于反向时间动态稳定性的短语在期望中需要澄清。如果反向过程是确定性ODE(4.6)稳定性分析适用于单个轨迹。如果初始条件x0从分布中抽取收敛性质几乎必然适用于这些轨迹然后意味着期望中的收敛。如果在反向采样SDE中保留了随机成分(与特定控制律产生的确定性ODE(4.6)不同)那么期望中的稳定性将直接指期望状态或期望能量的演化。结构耗散(R GG⊤)确保这种收敛是鲁棒的。4. 数值示例为了证实PH扩散模型的核心理论框架本节针对两个说明性示例展示了数值模拟一个对应于解析示例的一维系统以及一个具有多模态能量景观的概念性二维系统。这些模拟旨在实证展示前向噪声过程、反向生成过程、哈密顿能量函数的作用以及从PH结构产生的固有稳定性属性。4.1 一维PH扩散模型我们首先考虑讨论的简单一维PH系统。哈密顿(能量)函数选择为H(x) (1/2)x2。PH结构矩阵设置为J 0R α(α 0.5)G σ(σ 1.0)。因此前向扩散过程由Ornstein-Uhlenbeck SDE描述 dxt -αxt dt σ dWt 其中Wt是标准维纳过程。在时间范围Tforward 20和时间步长dtforward 0.01上模拟了1000条轨迹初始条件从标准正态分布中抽取。图1(左)显示了这个前向过程的几个样本轨迹说明了系统状态向零均值的收敛。图1的右面板显示了所有1000条轨迹在t Tforward时的最终状态直方图。这个经验分布与Ornstein-Uhlenbeck过程的理论稳态分布N(0, σ2/2α)非常吻合确认前向SDE成功地将初始数据分布转换为简单高斯先验。根据PH框架(方程(4.7))反向时间生成过程由确定性ODE控制 ˙xt (J - R - GG⊤)∇H(xt) -(α σ2)xt 这个ODE使用SciPy中的RK45方法从t 0到Treverse 10进行积分有200个评估点。几条反向轨迹从跨越[-5,5]的均匀分布中抽取的不同起点开始。图2(左)可视化了二次哈密顿能量景观H(x)。右面板显示了样本反向轨迹所有这些轨迹都收敛到x 0处的单一稳定平衡点对应于哈密顿的最小值。这清楚地展示了反向PH动态的能量耗散性质其中系统向下流动到较低能量状态有效地从集中在原点的目标分布生成样本在这个简单情况下。4.2 二维概念性PH扩散模型为了说明PH框架对更复杂、多模态分布的适用性我们考虑一个二维系统。哈密顿定义为 H(x) (x1² - 1)² (x2² - 1)² 它具有四个最小值在(±1, ±1)对应于目标数据分布中的四个模态。这个哈密顿的梯度是∇H(x) [4x1(x1² - 1), 4x2(x2² - 1)]⊤。PH结构矩阵选择为 J [0 -j; j 0], j 0.5 R [r1 0; 0 r2], r1 r2 0.2 G [g1 0; 0 g2], g1 g2 1.0 对于反向过程组合耗散矩阵R GG⊤是 R GG⊤ [r1 g1² 0; 0 r2 g2²] [1.2 0; 0 1.2] 这个矩阵是正定的满足主文本中定理5.1对反向动态全局渐近稳定性的条件。图3展示了二维模拟的结果。左面板显示了所选哈密顿的3D表面图清楚地展示了其四个最小值。中心面板显示了这个能量景观的等高线图叠加了前向SDE dxt (J - R)∇H(xt)dt G dWt的轨迹模拟了Tforward 50dtforward 0.01。这些轨迹从原点附近开始根据PH动态和注入的噪声扩散探索状态空间。图3的右面板说明了反向生成过程。反向ODE(方程(4.7))的十五条轨迹从t 0到Treverse 15积分绘制在能量等高线上。初始条件(用黑色圆圈标记)从高斯分布N(0, 1.5²I)中抽取。轨迹(实线)流向哈密顿的四个最小值(用红星标记)展示了系统生成对应于目标分布不同模态的样本的能力。这个可视化有效地捕捉了反向过程作为反馈控制系统的控制理论解释该系统主动耗散能量以引导状态朝向低能量配置。这些数值示例共同验证了PH扩散框架的核心理论命题。它们表明结构化的PH动态导致稳定和可解释的生成过程无论是在简单的单模态还是更复杂的多模态设置中。反向过程的能量耗散性质确保收敛到学习数据分布的模态如哈密顿函数的最小值所表征的那样。5. 结论与定位本文通过将扩散模型嵌入到PH系统框架中开发了基于扩散的生成模型的系统理论视角。通过用能量函数、互连结构和耗散来表述前向扩散和相关的生成动态我们明确了一组结构属性——被动性、能量平衡和Lyapunov稳定性——这些属性不是传统基于评分的表述所固有的。一个核心理论贡献是提出的PH反向动态与与前向扩散相关的精确反向时间随机微分方程之间的正式比较。这一比较确立了PH采样器与真实反向SDE的概率流(零噪声)极限重合当且仅当学习的哈密顿精确再现真实的边际密度。在这个理想化设置之外PH动态不旨在恢复精确的反向扩散而是定义一个确定性、耗散的流其平衡点与学习能量函数的平稳点重合。这一结果澄清了所提出方法的概念定位。PH表述不是作为前向扩散的精确概率逆而是优先考虑结构鲁棒性而非分布精确性。特别是闭环生成动态通过构造继承了被动性和Lyapunov稳定性独立于评分不匹配或建模误差。这与标准的反向时间SDE采样器形成对比后者的稳定性和数值行为在学习评分不准确时会急剧恶化。更广泛地说Port-Hamiltonian观点将扩散模型重新构建为具有显式能量耗散机制的受控动力系统。这一视角为未来研究开辟了几个有前景的方向包括能量函数的结构保持神经参数化、不完美评分学习下的鲁棒性分析以及扩展到约束、互连或物理信息的生成系统。通过用系统理论结构补充概率保证所提出的框架为稳定和可解释的生成建模提供了原则性基础。局限性。应承认所提出框架的几个局限性。首先扩散边际的基于能量表示是假设而非推导的学习哈密顿中的近似误差可能导致诱导的Port-Hamiltonian流与真实反向时间扩散之间的差异。其次分析侧重于冻结时间Lyapunov和被动性属性不提供关于概率分布的瞬态演化或精确似然恢复的保证。第三确定性PH反向动态对应于概率流近似因此忽略了在高维采样中可能有益于探索和模态覆盖的随机效应。最后当前表述假设全局Lipschitz能量梯度和无约束状态空间将理论扩展到约束系统、非光滑能量或自适应噪声结构仍然是未来工作的开放方向。
