【协作算法】4 非线性优化中的搜索与退火：微分基础、约束转化及元启发式算法

非线性优化中的搜索与退火：微分基础、约束转化及元启发式算法高级技术手册1. 多元微分基础与导数维度体系1.1 标量、向量与矩阵的导数维度规则在多元优化理论中，导数的维度由因变量与自变量的空间维度共同决定。设因变量为 A，自变量为 B，导数刻画 B 发生微小扰动时 A 的响应程度。若 A 与 B 均为标量，导数为标量。若 A 为标量而 B 为 d 维列向量，则对 B 的每个分量逐一施加扰动并保持其他分量固定，可得到 d 个偏导数，排列为 d 维向量。该向量即为梯度，其维度与自变量向量一致。若 A 为标量而 B 为矩阵，导数具有与 B 完全相同的矩阵维度。若 A 为 d2 维向量而 B 为 d1 维向量，则需计算 A 的每个分量关于 B 的每个分量的偏导，结果构成 d2 乘以 d1 矩阵。进一步地，向量对矩阵求导产生三阶张量，矩阵对矩阵求导产生四阶张量。张量在此处的含义是高维数组的推广，即具有高度维度的广义矩阵，可视为立方体或超立方体结构。1.2 维度相容原则与矩阵运算合法性维度相容原则在矩阵运算中至关重要。若将梯度视为行向量而非列向量，则所有涉及该梯度的矩阵乘法表达式必须同步转置，以保证乘法合法性。矩阵乘积的内维必须匹配，否则表达式在数学上无意义。因此，无论采用何种约定，推导过程中必须保持维度相容的一致性，转置操作需贯穿整个表达式。2. 一阶与二阶微分算子2.1 梯度向量设标量函数