课程前言上一课我们用二阶导数判断一元函数极值本节课深挖二阶导数的几何意义凹凸性与拐点是理解损失曲面形态、优化器收敛特性的关键。核心判定规则设函数二阶可导f’‘(x)0曲线下凸凹函数任意两点连线在曲线上方全局仅有一个极小值梯度下降极易收敛f’‘(x)0曲线上凸凸函数仅有极大值无法找到最优损失点f’(x)0且左右两侧二阶导数正负切换 → 该点为拐点曲线凹凸形态发生翻转。AI大模型对应关系全局凹损失MSE训练稳定不存在局部最优含拐点的损失曲线一段凹、一段凸训练前期快速下降后期震荡拐点代表曲率突变对应模型训练阶段切换是调整学习率、正则系数的关键节点。一、10道二阶导数凹凸性、拐点计算题题1f(x)x^2-2x5求凹凸区间、判断有无拐点解f’(x)2x-2,\quad f’‘(x)2f’(x)20 恒成立全定义域 (-\infty,\infty) 下凸无拐点AI解读标准均方误差损失全程凹曲线梯度下降无论初始权重在哪都能平稳收敛至全局最小值回归任务基础损失。题2f(x)-x^24x凹凸区间与拐点解f’(x)-2x4,\quad f’(x)-20全域上凸无拐点AI解读负二次损失函数全程只有极大值不存在最优收敛点模型无法拟合目标工程中禁止单独使用此类损失。题3f(x)x^3求凹凸区间、拐点解f’(x)3x^2,\quad f’‘(x)6x令 f’‘(x)0得 x0x0,f’‘0 上凸x0,f’0 下凸拐点 (0,0)AI解读基础三次损失曲线拐点左右凹凸完全反转训练时权重小于0损失冲高大于0损失下降极易出现训练震荡。题4f(x)x4-6x2凹凸区间与拐点解f’(x)4x^3-12x,\quad f’‘(x)12x2-1212(x2-1)令 f’‘(x)0x-1、x1x-1,f’‘0 下凸-1x1,f’‘0 上凸x1,f’0 下凸拐点 (-1,-5)、(1,-5)AI解读多拐点复合损失曲线凹凸多次切换模型训练会出现多段收敛、震荡区间容易卡在局部极小值。题5f(x)e^x凹凸性、拐点判断解f’(x)e^x,\quad f’(x)e^x0全域下凸无拐点AI解读指数激活函数全程凹曲线梯度持续增大深层网络堆叠易梯度爆炸必须搭配归一化约束。题6f(x)\sin x,\ x\in[0,2\pi]求凹凸区间与拐点解f’(x)\cos x,\quad f’‘(x)-\sin x令 f’‘(x)0x0、\pi、2\pi0x\pi,f’‘0 上凸\pix2\pi,f’0 下凸拐点 (\pi,0)AI解读周期型位置损失凹凸周期性交替时序大模型训练损失循环起伏难以稳定收敛。题7f(x)x\ln x\ (x0)凹凸区间、拐点解f’(x)\ln x1,\quad f’(x)\dfrac{1}{x}0定义域内恒下凸无拐点AI解读交叉熵损失基础形态全程凹函数分类任务训练稳定收敛是大模型主流损失函数。题8f(x)x3-3x22凹凸区间、拐点坐标解f’(x)3x^2-6x,\quad f’‘(x)6x-6令 f’‘(x)0 \implies x1x1,f’‘0 上凸x1,f’0 下凸拐点 (1,0)AI解读分段凹凸损失拐点左侧训练损失上升拐点后持续下降调参时拐点位置是切换学习率的分界点。题9f(x)e{-x2}高斯函数凹凸区间、拐点解f’(x)-2x e{-x2}f’‘(x)(4x2-2)e{-x^2}令 f’‘(x)0 \implies x\pm\dfrac{\sqrt{2}}{2}|x|\dfrac{\sqrt{2}}{2},f’‘0 上凸|x|\dfrac{\sqrt{2}}{2},f’0 下凸拐点 \left(\pm\dfrac{\sqrt{2}}{2},e^{-\frac{1}{2}}\right)AI解读高斯权重正则化曲线中间区域上凸、两侧下凸对中间权重约束弱、极值权重约束强用于抑制模型过拟合。题10 综合压轴f(x)x^2 e^x求凹凸区间、全部拐点解f’(x)2x exx2 ex(x22x)e^xf’‘(x)(x24x2)exe^x0 恒成立只需令 x^24x20解得 x-2\pm\sqrt{2}x-2-\sqrt{2}f’‘0 下凸-2-\sqrt{2}x-2\sqrt{2}f’‘0 上凸x-2\sqrt{2}f’0 下凸拐点两处x-2\pm\sqrt{2} 对应函数坐标AI解读权重与指数激活复合损失存在两处拐点训练分三段不同收敛特性是复杂深度网络损失曲面的简化模型。二、本课总结二阶导数符号决定曲线凹凸直接决定梯度下降收敛难易拐点是凹凸形态分界线代表损失曲面曲率突变是模型调参关键节点一元凹凸判定是多元凹凸、海塞矩阵正定/负定判定的底层基础纯凹损失训练最稳定带拐点、分段凹凸的损失容易出现震荡、局部最优。训练大模型时损失曲线凹凸切换会带来震荡你一般用什么方法平滑曲线、稳定收敛欢迎评论区交流