在深度学习中交叉熵Cross Entropy几乎是分类任务中最常见的损失函数。从图像分类中的CNN到目标检测中的YOLO再到自然语言处理中的Transformer交叉熵都扮演着核心角色。但是很多初学者第一次接触交叉熵时会产生一个疑问为什么分类问题不用简单的均方误差MSE而选择一个看起来更加抽象的交叉熵误差交叉熵衡量什么在信息论中交叉熵是用来衡量两个概率分布之间差异的指标。假设有一个真实概率分布p和一个预测概率分布q交叉熵表示用预测分布q来编码真实分布p中的事件所需的平均比特数。交叉熵公式其中p ( x i )是事件 x i 在真实分布中的概率q ( x i ) 是事件 x i 在预测分布中的概率。它描述的是真实分布和预测分布之间的信息差异。交叉熵函数的几何意义如下是一段python代码可以表达某种三元情况的交叉熵函数的几何图像import numpy as np import matplotlib.pyplot as plt # 概率空间 pA np.linspace(0.01,0.98,200) pB np.linspace(0.01,0.98,200) PA,PBnp.meshgrid(pA,pB) # 第三个概率 PC1-PA-PB # 真实分布 YA0.6 YB0.3 YC0.1 # 交叉熵 Loss-(YA*np.log(PA) YB*np.log(PB) YC*np.log(PC)) # 去除非法区域 Loss[PC0]np.nan figplt.figure(figsize(8,6)) axfig.add_subplot( 111, projection3d ) ax.plot_surface( PA, PB, Loss ) ax.set_xlabel(pA) ax.set_ylabel(pB) ax.set_zlabel(Cross Entropy) plt.show()假设真实值是那么由于所以这是一个二维概率平面上的三元交叉熵曲面。效果如下可以看到交叉熵函数在预测概率和真实概率相差不大的时候变化缓慢在PAPB坐标为0.60.3时在相差很大的时候变化剧烈在概率曲面接近三个顶点时。
交叉熵误差函数的几何意义
发布时间：2026/7/22 11:06:47
在深度学习中交叉熵Cross Entropy几乎是分类任务中最常见的损失函数。从图像分类中的CNN到目标检测中的YOLO再到自然语言处理中的Transformer交叉熵都扮演着核心角色。但是很多初学者第一次接触交叉熵时会产生一个疑问为什么分类问题不用简单的均方误差MSE而选择一个看起来更加抽象的交叉熵误差交叉熵衡量什么在信息论中交叉熵是用来衡量两个概率分布之间差异的指标。假设有一个真实概率分布p和一个预测概率分布q交叉熵表示用预测分布q来编码真实分布p中的事件所需的平均比特数。交叉熵公式其中p ( x i )是事件 x i 在真实分布中的概率q ( x i ) 是事件 x i 在预测分布中的概率。它描述的是真实分布和预测分布之间的信息差异。交叉熵函数的几何意义如下是一段python代码可以表达某种三元情况的交叉熵函数的几何图像import numpy as np import matplotlib.pyplot as plt # 概率空间 pA np.linspace(0.01,0.98,200) pB np.linspace(0.01,0.98,200) PA,PBnp.meshgrid(pA,pB) # 第三个概率 PC1-PA-PB # 真实分布 YA0.6 YB0.3 YC0.1 # 交叉熵 Loss-(YA*np.log(PA) YB*np.log(PB) YC*np.log(PC)) # 去除非法区域 Loss[PC0]np.nan figplt.figure(figsize(8,6)) axfig.add_subplot( 111, projection3d ) ax.plot_surface( PA, PB, Loss ) ax.set_xlabel(pA) ax.set_ylabel(pB) ax.set_zlabel(Cross Entropy) plt.show()假设真实值是那么由于所以这是一个二维概率平面上的三元交叉熵曲面。效果如下可以看到交叉熵函数在预测概率和真实概率相差不大的时候变化缓慢在PAPB坐标为0.60.3时在相差很大的时候变化剧烈在概率曲面接近三个顶点时。
