常用的激活函数、特点以及实际应用中的场景

一、sigmoid函数1、如果sigmoid函数作为隐藏层的激活可能会发生梯度消失如果神经网络层数过多一定会发生梯度消失。2、应用二分类的输出层3、公式以及图像4、二、tanh函数1、梯度比sigmoid的大相比于sigmoid函数可以加快模型的收敛速度。2、如果神经网络层数过多一定会发生梯度消失。3、应用层数较少的隐藏层4、公式以及图像5、三、relu函数1、计算简单可以加快模型训练。2、重视正信号忽略负信号如果输入落在负轴会导致梯度为0发生神经死亡减少了模型的复杂程度从而缓解过拟合。3、应用隐藏层4、公式以及图像5、四、softmax函数1、将输入的分数映射到0-1的概率所有概率和为12、应用于多分类的输出层。3、公式以及图像4、如何选择激活函数1、如果是隐藏层优先选择relu如果relu效果不好使用relu的变种。2、输出层如果是回归任务使用identity二分类任务使用sigmoid。3、....各位读者姥爷如果觉得有用就点个赞吧后续将更新如何在搭建神经网络过程中如何使用激活函数