1. 从“一视同仁”到“看人下菜碟”为什么我们需要自适应多保真度优化在机器学习和科学计算的实战中我们常常面临一个两难困境精度与成本的博弈。想象一下你正在训练一个复杂的深度神经网络或者模拟一个物理过程。每一次完整的、高精度的计算我们称之为“高保真度”评估都像是一次昂贵的实验耗时耗力。比如用高分辨率CFD计算流体动力学模拟一次飞机机翼的气动性能可能需要超级计算机集群跑上几天。而一个简化的、低精度的模型“低保真度”评估虽然结果粗糙可能只需几分钟甚至几秒钟。传统的优化算法无论是梯度下降、遗传算法还是贝叶斯优化通常都默认所有评估点都是“等价的”——它们只关心目标函数值而不关心获取这个值所付出的代价。这就好比一个项目经理不管任务是写一份详细的百页报告高保真还是列一个要点清单低保真都要求团队成员花同样的时间和资源去完成这显然是巨大的浪费。自适应多保真度优化Adaptive Multi-Fidelity Optimization的核心思想就是打破这种“一视同仁”的僵局学会“看人下菜碟”。它的目标不是找到绝对精确的最优解而是在有限的总计算预算内找到性价比最高的近似最优解。算法会智能地在不同保真度的模型之间进行切换在探索阶段或远离最优解的区域大量使用快速、便宜的低保真度模型进行粗略搜索当接近潜在的最优区域时则谨慎地投入资源调用高保真度模型进行精细确认和修正。这不仅仅是工程上的技巧其背后有深刻的数学原理支撑。低保真度模型并非随机噪声它通常与高保真度模型存在某种系统性的偏差或相关性。自适应算法的“智能”就体现在它如何建模并利用这种相关性动态地决定“何时、何地、相信低保真度模型到什么程度”以及“何时必须为真相高保真度付费”。最近网络上的相关热词如“粒子群优化算法”、“灰狼优化算法”的频繁出现反映了业界对高效优化工具的持续渴求。而“学习率调优”、“自适应PID控制”则点明了“自适应”和“学习率”是提升算法性能的关键杠杆。本文将深入拆解自适应多保真度优化算法的理论框架、核心原理并重点剖析其实现快速收敛的秘诀——自适应学习率机制为你呈现一套从理论到实战的完整认知图谱。2. 多保真度模型的数学表述与相关性建模要驾驭多保真度优化首先必须从数学上清晰地定义我们手中的“武器库”——不同保真度的模型并理解它们之间的关系。2.1 保真度层级与代价函数假设我们的终极目标是优化一个高保真度目标函数f_h(x)其中x是决策变量。此外我们拥有s个低保真度模型f_1(x), f_2(x), ..., f_s(x)。通常我们按保真度从低到高排序f_s(x)可能最接近f_h(x)但计算代价c_1 c_2 ... c_s c_h。计算代价c可以代表时间、金钱或计算资源。一个关键认知是低保真度模型f_l(x)不是对f_h(x)的随机扰动而是存在有结构的偏差。常见的建模方式有加性偏差模型f_h(x) f_l(x) δ(x)。这里δ(x)是偏差函数通常被建模为一个高斯过程GP或其他随机过程意味着偏差本身在输入空间x中是平滑变化的。乘性偏差模型f_h(x) ρ * f_l(x) δ(x)。其中ρ是一个缩放因子用于捕捉低保真度模型在幅度上的系统误差。自动回归模型如AR1在多层保真度中f_t(x) ρ * f_{t-1}(x) δ_t(x)。这种模型假设相邻保真度层级间的关系最紧密广泛应用于基于高斯过程的多保真度建模中。注意在实际工程中低保真度模型的来源多种多样。它可能是物理方程的简化版本如忽略粘性的欧拉方程 vs. 完整的纳维-斯托克斯方程、网格粗化的数值模型、训练不完全的代理模型如用少量数据训练的神经网络甚至是基于历史数据的经验回归公式。明确你手中低保真度模型的产生机制有助于你选择更合适的相关性建模方法。2.2 高斯过程统一的不确定性量化工具在多保真度优化中高斯过程Gaussian Process, GP扮演了“大脑”的角色。它不仅仅是一个回归工具更是一个强大的概率模型能为任何未知点x和未知保真度层级的函数值f(x)提供均值预测和不确定性量化方差。具体来说我们将所有已观测到的数据点D {(x_i, fidelity_i, y_i)}输入到一个多任务高斯过程中。这个GP通过一个精心设计的协方差函数核函数来同时刻画空间相关性相近的x点其函数值也相近。保真度间相关性不同保真度层级的模型输出之间的关联强度。例如使用线性自回归核的GP其协方差可以表示为K([x, t], [x, t]) K_x(x, x) * K_t(t, t)其中K_x处理空间相关性如常用的平方指数核K_t处理保真度层级t间的相关性。通过最大似然估计等方法学习GP的超参数后对于任何一个新的(x, t)组合我们都能得到其函数值y的后验分布一个高斯分布N(μ(x,t), σ^2(x,t))。这个后验分布正是自适应决策的基石均值μ告诉我们模型认为的函数值大概是多少而方差σ^2则量化了模型对这个预测的“信心不足”程度。在优化中我们正是在“利用已知最优区域开发Exploitation”和“探索未知区域以减少不确定性探索Exploration”之间进行权衡。3. 决策引擎基于采集函数的自适应保真度选择拥有了能够量化预测不确定性的概率模型如GP后下一步就是制定决策下一个评估点应该选在哪里 (x)以及应该用哪种保真度的模型去评估 (t)这个决策由一个称为采集函数Acquisition Function的准则来指导。采集函数的核心思想是通过一个单一的数值来衡量在某个(x, t)点进行评估的“期望效用”。算法每次都选择能使采集函数值最大化的(x, t)进行下一次评估。在多保真度场景下采集函数必须将评估带来的信息增益和评估所需的成本结合起来。3.1 经典采集函数及其多保真度扩展期望改进Expected Improvement, EI这是最常用的采集函数之一。它衡量的是在某个点进行评估后目标函数值相对于当前最优观测值f*的期望提升量。其单保真度形式为EI(x) E[max(0, f* - f(x))]在多保真度下我们需要计算每单位成本的期望改进。一种直观的扩展是EI per unit costEI_c(x, t) EI(x, t) / c_t其中EI(x, t)是基于多保真度GP计算的、在保真度t下评估x的期望改进c_t是成本。这驱使算法偏向于用低成本方式获取高信息增益。知识梯度Knowledge Gradient, KGKG考虑的是进行一次评估后对整个代理模型GP的后验均值曲面的全局影响并计算评估后最优解预测值的期望提升。它的眼光更长远不仅关注当前点的改进潜力还关注此次评估如何优化我们对整个搜索空间的认知。多保真度知识梯度MFKG是这一思想的直接延伸其采集函数为MFKG(x, t) (E[max_x μ_{new}(x)] - max_x μ_{current}(x)) / c_t其中μ_{new}是加入假设观测(x, t, y)后的后验均值。计算MFKG通常需要蒙特卡洛采样计算量较大但决策往往更优。上置信界Upper Confidence Bound, UCBUCB策略直接而有效UCB(x, t) μ(x, t) β * σ(x, t)。它选择预测值高μ大开发或不确定性高σ大探索的点β是平衡参数。多保真度下同样可以考虑成本归一化UCB_c(x, t) UCB(x, t) / c_t。3.2 实战中的采集函数选择与调参心得在实际项目中选择哪种采集函数取决于问题的性质和计算预算。如果你的计算预算非常紧张且低保真度模型相对可靠EI per unit cost是一个稳健且易于实现的选择。它直接鼓励多用低保真度模型快速缩小搜索范围。如果你的问题非线性很强且低保真度模型与高保真度模型的关系复杂MFKG可能带来更好的最终解质量因为它进行了更全局的考量。但你需要有能力承担其更高的计算开销用于内层优化和期望计算。UCB类方法参数直观β在强调探索的初期阶段非常有用。你可以设计一个随时间衰减的β计划初期大胆探索后期精细开发。实操心得采集函数的计算本身也可能成为瓶颈尤其是在高维空间。对于EI或UCB通常需要对整个离散化的候选点集进行计算。一个技巧是不要在整个空间均匀采样候选点而是先通过低保真度模型快速评估大量点筛选出有潜力的区域如函数值较低的前10%区域再在这个子集上计算昂贵的多保真度采集函数可以极大提升决策效率。4. 快速学习率的奥秘自适应步长与序列决策“学习率”在优化算法中通常指更新模型参数时的步长。在自适应多保真度优化的语境下“快速学习率”更广义地指代算法快速逼近最优解的能力。这不仅仅依赖于单次的决策更依赖于一整套自适应的序列决策机制其中包含几个层面的“自适应步长”。4.1 空间探索的自适应信任域与局部搜索算法不会在整个空间均匀用力。它通过多保真度GP模型动态地构建对目标函数的认知图。在预测不确定性高的区域σ(x)大算法知道这里信息不足需要探索其“探索步长”可以更大可能优先使用低保真度模型进行广域侦察。在预测均值低且不确定性小的区域可能接近最优解算法进入“开发”模式步长减小并开始混合使用高保真度模型进行精细定位。这类似于信任域Trust Region方法的思想。算法以当前最佳点为中心建立一个动态变化的“信任域”域内模型此处为GP被认为是可靠的。域的大小即步长根据模型预测的准确度例如通过比较预测值与实际高保真观测值的差异进行自适应调整如果预测准就扩大信任域迈大步子如果预测不准就缩小信任域谨慎探索。4.2 保真度切换的自适应策略这是多保真度优化的核心自适应环节。算法如何决定从低保真度切换到高保真度一个简单的阈值法是当在某个区域连续几次低保真度评估带来的改进或采集函数值低于某个阈值时就启动高保真度评估进行验证。更智能的策略是将保真度选择本身作为采集函数优化的一部分如前面所述的MFKG。算法会在每一步都计算是花少量钱用低保真度多评估几个点合算还是花大价钱用高保真度评估一个关键点更合算这种策略实现了保真度层级的无缝自适应切换。一个实用的混合策略在项目初期我常采用一个分阶段策略纯低保真度预热阶段完全使用最低保真度模型和成本归一化的采集函数如EI_c进行全局粗略搜索快速定位几个有潜力的盆地Basin。此阶段完全不调用高保真度模型。混合探索阶段在每个潜力盆地内启用多保真度采集函数如MFKG。算法会自动在盆地内进行局部精细搜索并决定何时引入更高保真度的模型来修正偏差。高保真度收尾阶段当优化进程收敛缓慢且GP模型预测在最优解附近的不确定性已经很低时固定使用最高保真度模型进行最后若干次的精确评估以确认最终结果。4.3 超参数的自适应调整多保真度GP模型本身有超参数如核函数的长度尺度、方差等。这些参数不应该被一次性设定后就固定不变。随着收集到的数据尤其是高保真数据增多我们应该周期性地重新拟合GP模型更新超参数。这个过程本身也是“学习率”的体现——模型根据新证据调整自己对世界的认知模型。踩坑记录忽视GP超参数的在线更新是一个常见错误。特别是在从低保真度主导阶段过渡到混合阶段时初期基于低保真数据拟合的GP超参数可能无法准确刻画高保真函数的局部特性。我的经验是每获得5-10个新的高保真数据点就重新优化一次GP超参数。虽然增加了计算开销但能显著提升模型预测精度和后续决策质量。5. 从理论到代码一个简化的实战案例演示让我们通过一个经典的优化测试函数——Branin函数来模拟一个多保真度优化场景并勾勒出代码实现的核心框架。假设我们有两个保真度层级低保真度 (t0)一个对Branin函数加了轻微扭曲和缩放噪声的版本计算成本为1单位。高保真度 (t1)标准的Branin函数计算成本为10单位。我们的目标是用最少的总成本找到高保真度函数的最小值。import numpy as np from sklearn.gaussian_process import GaussianProcessRegressor from sklearn.gaussian_process.kernels import RBF, ConstantKernel as C import matplotlib.pyplot as plt # 1. 定义保真度函数 def high_fidelity(x): # 标准Branin函数 a 1 b 5.1 / (4 * np.pi**2) c 5 / np.pi r 6 s 10 t 1 / (8 * np.pi) x1, x2 x[:, 0], x[:, 1] term1 a * (x2 - b * x1**2 c * x1 - r)**2 term2 s * (1 - t) * np.cos(x1) return term1 term2 s def low_fidelity(x): # 扭曲版的Branin作为低保真度近似 hf high_fidelity(x) # 添加一些系统偏差和噪声 distortion 0.8 * hf 0.5 * x[:, 0] - 3 noise 0.1 * np.random.randn(len(x)) return distortion noise # 成本和保真度标签 costs {0: 1.0, 1: 10.0} # 低保真成本1高保真成本10 # 2. 初始化数据和GP模型 # 假设我们有一个自定义的多保真度GP核这里用简单的拼接特征示意 # 实际中应使用如LinearCoregionalization等核 def build_mf_gp(): # 空间核 space_kernel C(1.0, (1e-3, 1e3)) * RBF(length_scale[1.0, 1.0], length_scale_bounds(1e-2, 1e2)) # 注意此处为简化实际多保真度GP需要能处理保真度标签的复合核 # 可以使用GPy等库的Coregionalization核 return GaussianProcessRegressor(kernelspace_kernel, alpha1e-4, n_restarts_optimizer10) # 3. 定义成本归一化的期望改进采集函数 (简化版) def ei_per_unit_cost(x_candidate, gp_model, current_best, fidelity, cost_dict): 计算给定点和保真度下的单位成本期望改进 此为极度简化的示意未实现完整的多保真度GP预测 # 此处应调用gp_model预测x_candidate在指定fidelity下的均值和标准差 # mu, sigma gp_model.predict(x_candidate, return_stdTrue) # 为演示我们返回一个随机值 mu, sigma np.random.rand(), np.random.rand() # 简易EI计算 with np.errstate(dividewarn): imp current_best - mu Z imp / sigma ei imp * norm.cdf(Z) sigma * norm.pdf(Z) ei np.maximum(ei, 0) # 成本归一化 cost cost_dict[fidelity] return ei / cost if cost 0 else ei # 4. 主优化循环伪代码框架 def adaptive_mf_optimization(initial_budget100): budget initial_budget observed_data {X: [], F: [], T: []} # 记录点、函数值、保真度 gp build_mf_gp() # 初始设计用低保真度随机采样几个点 n_init 5 X_init np.random.rand(n_init, 2) * 15 - 5 # Branin搜索范围 for x in X_init: y low_fidelity(x.reshape(1, -1)) observed_data[X].append(x) observed_data[F].append(y[0]) observed_data[T].append(0) # 低保真度 budget - costs[0] while budget min(costs.values()): # 拟合/更新多保真度GP模型 (此处需将保真度标签T作为输入特征之一) # gp.fit(X_with_fidelity, F) # 在当前GP模型下找到观测中的最佳高保真值或预测的最佳值 # current_best ... # 在离散的候选点集上可基于空间填充设计生成为每个点和每种保真度计算采集函数值 candidate_points np.random.rand(100, 2) * 15 - 5 best_acq -np.inf best_x, best_t None, None for x_cand in candidate_points: for t in [0, 1]: # 遍历两种保真度 if costs[t] budget: continue acq_val ei_per_unit_cost(x_cand.reshape(1,-1), gp, current_best, t, costs) if acq_val best_acq: best_acq acq_val best_x, best_t x_cand, t # 执行评估 if best_t 0: y_new low_fidelity(best_x.reshape(1, -1)) else: y_new high_fidelity(best_x.reshape(1, -1)) # 记录数据 observed_data[X].append(best_x) observed_data[F].append(y_new[0]) observed_data[T].append(best_t) budget - costs[best_t] print(fEvaluated at {best_x} with fidelity {best_t}, got {y_new[0]}. Remaining budget: {budget}) # 返回找到的最佳高保真点或基于GP预测的最佳点 # best_solution ... return observed_data # 运行优化 results adaptive_mf_optimization(initial_budget150)这个简化案例勾勒了核心流程定义多保真度函数、建立概率模型、基于采集函数做决策、迭代更新。在实际应用中你需要使用支持多任务学习的GP库如GPy、sklearn通过自定义核或sklearn的MultiOutputRegressor并实现完整的采集函数优化。6. 工程落地挑战、技巧与扩展方向将自适应多保真度优化算法应用于真实世界问题会面临一系列工程挑战。6.1 挑战一低保真度模型的构建与质量评估最大的挑战往往不是算法本身而是如何获得一个“有用”的低保真度模型。一个糟糕的低保真度模型与高保真度完全不相关会误导优化器反而降低效率。构建技巧物理简化利用领域知识简化控制方程或边界条件。数据驱动用高保真模拟的少量数据训练一个快速的代理模型如径向基函数RBF、多项式响应面或浅层神经网络。多分辨率网格在CFD/FEM中最直接的方法就是使用粗网格。收敛不充分的求解器限制迭代次数或收敛容差。质量评估在正式投入优化前应抽样评估低保真度模型与高保真度模型的相关性。计算两者在采样点上的相关系数或决定系数R²。如果相关性太弱例如R² 0.5则需要重新考虑低保真度模型的构建方式。6.2 挑战二高维问题的可扩展性高斯过程回归的复杂度随样本数n呈O(n^3)增长这在处理大量数据或高维输入时不可行。解决方案稀疏高斯过程使用诱导点Inducing Points技术将计算复杂度降至O(m^2 n)其中m n是诱导点数量。随机嵌入与降维对于非常高维的问题如20维可以考虑使用随机线性嵌入Random Linear Embedding将问题投影到低维子空间进行优化前提是函数具有有效的低维结构。分治与局部建模将高维空间划分为多个区域在每个区域内分别建立局部GP模型。6.3 挑战三异步与并行评估在实际的高性能计算环境中我们希望能同时提交多个评估任务尤其是耗时长的低保真度任务以充分利用计算资源。并行采集函数修改采集函数使其能一次性推荐一批q个评估点(x, t)而不是单个点。这需要解决一个组合优化问题常用方法有贪心算法顺序地选择q个点每次选择使采集函数增量最大的点。蒙特卡洛采样通过采样后验分布来近似计算一批点的联合信息增益。异步策略当有计算节点空闲时我们需要基于当前正在运行但尚未返回结果的任务状态来决定下一个任务。这要求采集函数能处理“未决pending”的观测。6.4 扩展方向与深度学习及自动化机器学习的结合这是当前非常活跃的研究和应用前沿。深度学习代理模型用深度神经网络如贝叶斯神经网络替代高斯过程作为代理模型尤其适用于超高维、非平稳或具有复杂结构如图像、序列输入的问题。神经网络的表征能力更强但不确定性量化不如GP直接需要借助MC Dropout、深度集成等方法。自动化机器学习AutoML自适应多保真度优化是AutoML的核心组件之一。例如在神经网络架构搜索NAS中低保真度在小型数据集子集上训练少数几个epoch的模型。中保真度在完整数据集上训练完整epoch的简化模型。高保真度在完整数据集上训练完整epoch的完整模型。 算法可以自动决定哪些架构值得用高保真度进行完整评估从而在有限计算预算内搜索到更好的架构。在我参与的某个材料设计项目中我们使用基于GP的多保真度优化来搜索最佳合金成分。低保真度模型是基于热力学数据库的CALPHAD快速计算耗时仅数秒高保真度则是第一性原理DFT计算耗时数天。通过该算法我们在相当于仅进行几十次DFT计算的预算内找到了比传统网格搜索方法需要数百次DFT计算性能更优的候选材料验证了其在昂贵黑箱优化问题上的巨大威力。
自适应多保真度优化：用低成本模型加速昂贵黑箱优化
发布时间：2026/6/22 7:25:41
1. 从“一视同仁”到“看人下菜碟”为什么我们需要自适应多保真度优化在机器学习和科学计算的实战中我们常常面临一个两难困境精度与成本的博弈。想象一下你正在训练一个复杂的深度神经网络或者模拟一个物理过程。每一次完整的、高精度的计算我们称之为“高保真度”评估都像是一次昂贵的实验耗时耗力。比如用高分辨率CFD计算流体动力学模拟一次飞机机翼的气动性能可能需要超级计算机集群跑上几天。而一个简化的、低精度的模型“低保真度”评估虽然结果粗糙可能只需几分钟甚至几秒钟。传统的优化算法无论是梯度下降、遗传算法还是贝叶斯优化通常都默认所有评估点都是“等价的”——它们只关心目标函数值而不关心获取这个值所付出的代价。这就好比一个项目经理不管任务是写一份详细的百页报告高保真还是列一个要点清单低保真都要求团队成员花同样的时间和资源去完成这显然是巨大的浪费。自适应多保真度优化Adaptive Multi-Fidelity Optimization的核心思想就是打破这种“一视同仁”的僵局学会“看人下菜碟”。它的目标不是找到绝对精确的最优解而是在有限的总计算预算内找到性价比最高的近似最优解。算法会智能地在不同保真度的模型之间进行切换在探索阶段或远离最优解的区域大量使用快速、便宜的低保真度模型进行粗略搜索当接近潜在的最优区域时则谨慎地投入资源调用高保真度模型进行精细确认和修正。这不仅仅是工程上的技巧其背后有深刻的数学原理支撑。低保真度模型并非随机噪声它通常与高保真度模型存在某种系统性的偏差或相关性。自适应算法的“智能”就体现在它如何建模并利用这种相关性动态地决定“何时、何地、相信低保真度模型到什么程度”以及“何时必须为真相高保真度付费”。最近网络上的相关热词如“粒子群优化算法”、“灰狼优化算法”的频繁出现反映了业界对高效优化工具的持续渴求。而“学习率调优”、“自适应PID控制”则点明了“自适应”和“学习率”是提升算法性能的关键杠杆。本文将深入拆解自适应多保真度优化算法的理论框架、核心原理并重点剖析其实现快速收敛的秘诀——自适应学习率机制为你呈现一套从理论到实战的完整认知图谱。2. 多保真度模型的数学表述与相关性建模要驾驭多保真度优化首先必须从数学上清晰地定义我们手中的“武器库”——不同保真度的模型并理解它们之间的关系。2.1 保真度层级与代价函数假设我们的终极目标是优化一个高保真度目标函数f_h(x)其中x是决策变量。此外我们拥有s个低保真度模型f_1(x), f_2(x), ..., f_s(x)。通常我们按保真度从低到高排序f_s(x)可能最接近f_h(x)但计算代价c_1 c_2 ... c_s c_h。计算代价c可以代表时间、金钱或计算资源。一个关键认知是低保真度模型f_l(x)不是对f_h(x)的随机扰动而是存在有结构的偏差。常见的建模方式有加性偏差模型f_h(x) f_l(x) δ(x)。这里δ(x)是偏差函数通常被建模为一个高斯过程GP或其他随机过程意味着偏差本身在输入空间x中是平滑变化的。乘性偏差模型f_h(x) ρ * f_l(x) δ(x)。其中ρ是一个缩放因子用于捕捉低保真度模型在幅度上的系统误差。自动回归模型如AR1在多层保真度中f_t(x) ρ * f_{t-1}(x) δ_t(x)。这种模型假设相邻保真度层级间的关系最紧密广泛应用于基于高斯过程的多保真度建模中。注意在实际工程中低保真度模型的来源多种多样。它可能是物理方程的简化版本如忽略粘性的欧拉方程 vs. 完整的纳维-斯托克斯方程、网格粗化的数值模型、训练不完全的代理模型如用少量数据训练的神经网络甚至是基于历史数据的经验回归公式。明确你手中低保真度模型的产生机制有助于你选择更合适的相关性建模方法。2.2 高斯过程统一的不确定性量化工具在多保真度优化中高斯过程Gaussian Process, GP扮演了“大脑”的角色。它不仅仅是一个回归工具更是一个强大的概率模型能为任何未知点x和未知保真度层级的函数值f(x)提供均值预测和不确定性量化方差。具体来说我们将所有已观测到的数据点D {(x_i, fidelity_i, y_i)}输入到一个多任务高斯过程中。这个GP通过一个精心设计的协方差函数核函数来同时刻画空间相关性相近的x点其函数值也相近。保真度间相关性不同保真度层级的模型输出之间的关联强度。例如使用线性自回归核的GP其协方差可以表示为K([x, t], [x, t]) K_x(x, x) * K_t(t, t)其中K_x处理空间相关性如常用的平方指数核K_t处理保真度层级t间的相关性。通过最大似然估计等方法学习GP的超参数后对于任何一个新的(x, t)组合我们都能得到其函数值y的后验分布一个高斯分布N(μ(x,t), σ^2(x,t))。这个后验分布正是自适应决策的基石均值μ告诉我们模型认为的函数值大概是多少而方差σ^2则量化了模型对这个预测的“信心不足”程度。在优化中我们正是在“利用已知最优区域开发Exploitation”和“探索未知区域以减少不确定性探索Exploration”之间进行权衡。3. 决策引擎基于采集函数的自适应保真度选择拥有了能够量化预测不确定性的概率模型如GP后下一步就是制定决策下一个评估点应该选在哪里 (x)以及应该用哪种保真度的模型去评估 (t)这个决策由一个称为采集函数Acquisition Function的准则来指导。采集函数的核心思想是通过一个单一的数值来衡量在某个(x, t)点进行评估的“期望效用”。算法每次都选择能使采集函数值最大化的(x, t)进行下一次评估。在多保真度场景下采集函数必须将评估带来的信息增益和评估所需的成本结合起来。3.1 经典采集函数及其多保真度扩展期望改进Expected Improvement, EI这是最常用的采集函数之一。它衡量的是在某个点进行评估后目标函数值相对于当前最优观测值f*的期望提升量。其单保真度形式为EI(x) E[max(0, f* - f(x))]在多保真度下我们需要计算每单位成本的期望改进。一种直观的扩展是EI per unit costEI_c(x, t) EI(x, t) / c_t其中EI(x, t)是基于多保真度GP计算的、在保真度t下评估x的期望改进c_t是成本。这驱使算法偏向于用低成本方式获取高信息增益。知识梯度Knowledge Gradient, KGKG考虑的是进行一次评估后对整个代理模型GP的后验均值曲面的全局影响并计算评估后最优解预测值的期望提升。它的眼光更长远不仅关注当前点的改进潜力还关注此次评估如何优化我们对整个搜索空间的认知。多保真度知识梯度MFKG是这一思想的直接延伸其采集函数为MFKG(x, t) (E[max_x μ_{new}(x)] - max_x μ_{current}(x)) / c_t其中μ_{new}是加入假设观测(x, t, y)后的后验均值。计算MFKG通常需要蒙特卡洛采样计算量较大但决策往往更优。上置信界Upper Confidence Bound, UCBUCB策略直接而有效UCB(x, t) μ(x, t) β * σ(x, t)。它选择预测值高μ大开发或不确定性高σ大探索的点β是平衡参数。多保真度下同样可以考虑成本归一化UCB_c(x, t) UCB(x, t) / c_t。3.2 实战中的采集函数选择与调参心得在实际项目中选择哪种采集函数取决于问题的性质和计算预算。如果你的计算预算非常紧张且低保真度模型相对可靠EI per unit cost是一个稳健且易于实现的选择。它直接鼓励多用低保真度模型快速缩小搜索范围。如果你的问题非线性很强且低保真度模型与高保真度模型的关系复杂MFKG可能带来更好的最终解质量因为它进行了更全局的考量。但你需要有能力承担其更高的计算开销用于内层优化和期望计算。UCB类方法参数直观β在强调探索的初期阶段非常有用。你可以设计一个随时间衰减的β计划初期大胆探索后期精细开发。实操心得采集函数的计算本身也可能成为瓶颈尤其是在高维空间。对于EI或UCB通常需要对整个离散化的候选点集进行计算。一个技巧是不要在整个空间均匀采样候选点而是先通过低保真度模型快速评估大量点筛选出有潜力的区域如函数值较低的前10%区域再在这个子集上计算昂贵的多保真度采集函数可以极大提升决策效率。4. 快速学习率的奥秘自适应步长与序列决策“学习率”在优化算法中通常指更新模型参数时的步长。在自适应多保真度优化的语境下“快速学习率”更广义地指代算法快速逼近最优解的能力。这不仅仅依赖于单次的决策更依赖于一整套自适应的序列决策机制其中包含几个层面的“自适应步长”。4.1 空间探索的自适应信任域与局部搜索算法不会在整个空间均匀用力。它通过多保真度GP模型动态地构建对目标函数的认知图。在预测不确定性高的区域σ(x)大算法知道这里信息不足需要探索其“探索步长”可以更大可能优先使用低保真度模型进行广域侦察。在预测均值低且不确定性小的区域可能接近最优解算法进入“开发”模式步长减小并开始混合使用高保真度模型进行精细定位。这类似于信任域Trust Region方法的思想。算法以当前最佳点为中心建立一个动态变化的“信任域”域内模型此处为GP被认为是可靠的。域的大小即步长根据模型预测的准确度例如通过比较预测值与实际高保真观测值的差异进行自适应调整如果预测准就扩大信任域迈大步子如果预测不准就缩小信任域谨慎探索。4.2 保真度切换的自适应策略这是多保真度优化的核心自适应环节。算法如何决定从低保真度切换到高保真度一个简单的阈值法是当在某个区域连续几次低保真度评估带来的改进或采集函数值低于某个阈值时就启动高保真度评估进行验证。更智能的策略是将保真度选择本身作为采集函数优化的一部分如前面所述的MFKG。算法会在每一步都计算是花少量钱用低保真度多评估几个点合算还是花大价钱用高保真度评估一个关键点更合算这种策略实现了保真度层级的无缝自适应切换。一个实用的混合策略在项目初期我常采用一个分阶段策略纯低保真度预热阶段完全使用最低保真度模型和成本归一化的采集函数如EI_c进行全局粗略搜索快速定位几个有潜力的盆地Basin。此阶段完全不调用高保真度模型。混合探索阶段在每个潜力盆地内启用多保真度采集函数如MFKG。算法会自动在盆地内进行局部精细搜索并决定何时引入更高保真度的模型来修正偏差。高保真度收尾阶段当优化进程收敛缓慢且GP模型预测在最优解附近的不确定性已经很低时固定使用最高保真度模型进行最后若干次的精确评估以确认最终结果。4.3 超参数的自适应调整多保真度GP模型本身有超参数如核函数的长度尺度、方差等。这些参数不应该被一次性设定后就固定不变。随着收集到的数据尤其是高保真数据增多我们应该周期性地重新拟合GP模型更新超参数。这个过程本身也是“学习率”的体现——模型根据新证据调整自己对世界的认知模型。踩坑记录忽视GP超参数的在线更新是一个常见错误。特别是在从低保真度主导阶段过渡到混合阶段时初期基于低保真数据拟合的GP超参数可能无法准确刻画高保真函数的局部特性。我的经验是每获得5-10个新的高保真数据点就重新优化一次GP超参数。虽然增加了计算开销但能显著提升模型预测精度和后续决策质量。5. 从理论到代码一个简化的实战案例演示让我们通过一个经典的优化测试函数——Branin函数来模拟一个多保真度优化场景并勾勒出代码实现的核心框架。假设我们有两个保真度层级低保真度 (t0)一个对Branin函数加了轻微扭曲和缩放噪声的版本计算成本为1单位。高保真度 (t1)标准的Branin函数计算成本为10单位。我们的目标是用最少的总成本找到高保真度函数的最小值。import numpy as np from sklearn.gaussian_process import GaussianProcessRegressor from sklearn.gaussian_process.kernels import RBF, ConstantKernel as C import matplotlib.pyplot as plt # 1. 定义保真度函数 def high_fidelity(x): # 标准Branin函数 a 1 b 5.1 / (4 * np.pi**2) c 5 / np.pi r 6 s 10 t 1 / (8 * np.pi) x1, x2 x[:, 0], x[:, 1] term1 a * (x2 - b * x1**2 c * x1 - r)**2 term2 s * (1 - t) * np.cos(x1) return term1 term2 s def low_fidelity(x): # 扭曲版的Branin作为低保真度近似 hf high_fidelity(x) # 添加一些系统偏差和噪声 distortion 0.8 * hf 0.5 * x[:, 0] - 3 noise 0.1 * np.random.randn(len(x)) return distortion noise # 成本和保真度标签 costs {0: 1.0, 1: 10.0} # 低保真成本1高保真成本10 # 2. 初始化数据和GP模型 # 假设我们有一个自定义的多保真度GP核这里用简单的拼接特征示意 # 实际中应使用如LinearCoregionalization等核 def build_mf_gp(): # 空间核 space_kernel C(1.0, (1e-3, 1e3)) * RBF(length_scale[1.0, 1.0], length_scale_bounds(1e-2, 1e2)) # 注意此处为简化实际多保真度GP需要能处理保真度标签的复合核 # 可以使用GPy等库的Coregionalization核 return GaussianProcessRegressor(kernelspace_kernel, alpha1e-4, n_restarts_optimizer10) # 3. 定义成本归一化的期望改进采集函数 (简化版) def ei_per_unit_cost(x_candidate, gp_model, current_best, fidelity, cost_dict): 计算给定点和保真度下的单位成本期望改进 此为极度简化的示意未实现完整的多保真度GP预测 # 此处应调用gp_model预测x_candidate在指定fidelity下的均值和标准差 # mu, sigma gp_model.predict(x_candidate, return_stdTrue) # 为演示我们返回一个随机值 mu, sigma np.random.rand(), np.random.rand() # 简易EI计算 with np.errstate(dividewarn): imp current_best - mu Z imp / sigma ei imp * norm.cdf(Z) sigma * norm.pdf(Z) ei np.maximum(ei, 0) # 成本归一化 cost cost_dict[fidelity] return ei / cost if cost 0 else ei # 4. 主优化循环伪代码框架 def adaptive_mf_optimization(initial_budget100): budget initial_budget observed_data {X: [], F: [], T: []} # 记录点、函数值、保真度 gp build_mf_gp() # 初始设计用低保真度随机采样几个点 n_init 5 X_init np.random.rand(n_init, 2) * 15 - 5 # Branin搜索范围 for x in X_init: y low_fidelity(x.reshape(1, -1)) observed_data[X].append(x) observed_data[F].append(y[0]) observed_data[T].append(0) # 低保真度 budget - costs[0] while budget min(costs.values()): # 拟合/更新多保真度GP模型 (此处需将保真度标签T作为输入特征之一) # gp.fit(X_with_fidelity, F) # 在当前GP模型下找到观测中的最佳高保真值或预测的最佳值 # current_best ... # 在离散的候选点集上可基于空间填充设计生成为每个点和每种保真度计算采集函数值 candidate_points np.random.rand(100, 2) * 15 - 5 best_acq -np.inf best_x, best_t None, None for x_cand in candidate_points: for t in [0, 1]: # 遍历两种保真度 if costs[t] budget: continue acq_val ei_per_unit_cost(x_cand.reshape(1,-1), gp, current_best, t, costs) if acq_val best_acq: best_acq acq_val best_x, best_t x_cand, t # 执行评估 if best_t 0: y_new low_fidelity(best_x.reshape(1, -1)) else: y_new high_fidelity(best_x.reshape(1, -1)) # 记录数据 observed_data[X].append(best_x) observed_data[F].append(y_new[0]) observed_data[T].append(best_t) budget - costs[best_t] print(fEvaluated at {best_x} with fidelity {best_t}, got {y_new[0]}. Remaining budget: {budget}) # 返回找到的最佳高保真点或基于GP预测的最佳点 # best_solution ... return observed_data # 运行优化 results adaptive_mf_optimization(initial_budget150)这个简化案例勾勒了核心流程定义多保真度函数、建立概率模型、基于采集函数做决策、迭代更新。在实际应用中你需要使用支持多任务学习的GP库如GPy、sklearn通过自定义核或sklearn的MultiOutputRegressor并实现完整的采集函数优化。6. 工程落地挑战、技巧与扩展方向将自适应多保真度优化算法应用于真实世界问题会面临一系列工程挑战。6.1 挑战一低保真度模型的构建与质量评估最大的挑战往往不是算法本身而是如何获得一个“有用”的低保真度模型。一个糟糕的低保真度模型与高保真度完全不相关会误导优化器反而降低效率。构建技巧物理简化利用领域知识简化控制方程或边界条件。数据驱动用高保真模拟的少量数据训练一个快速的代理模型如径向基函数RBF、多项式响应面或浅层神经网络。多分辨率网格在CFD/FEM中最直接的方法就是使用粗网格。收敛不充分的求解器限制迭代次数或收敛容差。质量评估在正式投入优化前应抽样评估低保真度模型与高保真度模型的相关性。计算两者在采样点上的相关系数或决定系数R²。如果相关性太弱例如R² 0.5则需要重新考虑低保真度模型的构建方式。6.2 挑战二高维问题的可扩展性高斯过程回归的复杂度随样本数n呈O(n^3)增长这在处理大量数据或高维输入时不可行。解决方案稀疏高斯过程使用诱导点Inducing Points技术将计算复杂度降至O(m^2 n)其中m n是诱导点数量。随机嵌入与降维对于非常高维的问题如20维可以考虑使用随机线性嵌入Random Linear Embedding将问题投影到低维子空间进行优化前提是函数具有有效的低维结构。分治与局部建模将高维空间划分为多个区域在每个区域内分别建立局部GP模型。6.3 挑战三异步与并行评估在实际的高性能计算环境中我们希望能同时提交多个评估任务尤其是耗时长的低保真度任务以充分利用计算资源。并行采集函数修改采集函数使其能一次性推荐一批q个评估点(x, t)而不是单个点。这需要解决一个组合优化问题常用方法有贪心算法顺序地选择q个点每次选择使采集函数增量最大的点。蒙特卡洛采样通过采样后验分布来近似计算一批点的联合信息增益。异步策略当有计算节点空闲时我们需要基于当前正在运行但尚未返回结果的任务状态来决定下一个任务。这要求采集函数能处理“未决pending”的观测。6.4 扩展方向与深度学习及自动化机器学习的结合这是当前非常活跃的研究和应用前沿。深度学习代理模型用深度神经网络如贝叶斯神经网络替代高斯过程作为代理模型尤其适用于超高维、非平稳或具有复杂结构如图像、序列输入的问题。神经网络的表征能力更强但不确定性量化不如GP直接需要借助MC Dropout、深度集成等方法。自动化机器学习AutoML自适应多保真度优化是AutoML的核心组件之一。例如在神经网络架构搜索NAS中低保真度在小型数据集子集上训练少数几个epoch的模型。中保真度在完整数据集上训练完整epoch的简化模型。高保真度在完整数据集上训练完整epoch的完整模型。 算法可以自动决定哪些架构值得用高保真度进行完整评估从而在有限计算预算内搜索到更好的架构。在我参与的某个材料设计项目中我们使用基于GP的多保真度优化来搜索最佳合金成分。低保真度模型是基于热力学数据库的CALPHAD快速计算耗时仅数秒高保真度则是第一性原理DFT计算耗时数天。通过该算法我们在相当于仅进行几十次DFT计算的预算内找到了比传统网格搜索方法需要数百次DFT计算性能更优的候选材料验证了其在昂贵黑箱优化问题上的巨大威力。
（支持资料、图片参考_相关定制）_文章底部可以扫码)
