深度学习之前向传播和反向传播

本文是作者本人学习深度学习的感悟如有错误劳烦指出让我改正文章目录一、什么是前向传播二、什么是反向传播三、对应流程介绍1.一个神经元在干嘛①加权求和将上一层的神经元×对应权重相加起来②激活函数采用对应的函数将对应的加权求和结果压缩常见的函数有ReLU、Sigmoid等③输出神经元的输出会作为下一层神经元的输入使用所以一个神经元加权求和激活函数2.前向传播流程3.损失函数衡量与期望偏差多大损失函数就是打分标准其越小越好4.反向传播流程误差逐层回传反向遍历梯度方向指示采用链式法则降权重对损失的影响传递下去每一层上层梯度×本层值接力传递梯度下降走到最低点更新公式w_neww_old- η×əL/əw其中η为学习率步幅负号往下坡走5.循环训练总结一、什么是前向传播前向传播就类似于“做题”即从输入层出发经过隐藏层层层计算最后输出预测的结果。二、什么是反向传播反向传播类似于“对答案找错因”通过比较输出与误差计算出代价逐层传回调整对应的权重。我的理解就类似于PID控制通过误差来校准整个系统这里用到了梯度的概念通过梯度找到最小的代价从而调整权重三、对应流程介绍1.一个神经元在干嘛①加权求和将上一层的神经元×对应权重相加起来②激活函数采用对应的函数将对应的加权求和结果压缩常见的函数有ReLU、Sigmoid等③输出神经元的输出会作为下一层神经元的输入使用所以一个神经元加权求和激活函数2.前向传播流程即从上一层神经元加权求和再激活本层神经元再重复上一过程得到输出——预测成绩3.损失函数衡量与期望偏差多大常见的损失函数有两种MSE均方误差和交叉熵损失MSE回归任务)差的越多放大越大交叉熵损失分类任务自信的答错罚的越重损失函数就是打分标准其越小越好4.反向传播流程误差逐层回传反向遍历梯度方向指示采用链式法则降权重对损失的影响传递下去每一层上层梯度×本层值接力传递梯度下降走到最低点更新公式w_neww_old- η×əL/əw其中η为学习率步幅负号往下坡走5.循环训练通过不断的训练更新权重,让模型的识别率不断提高。总结以上就是今天要讲的内容本文仅仅简单介绍了前向传播和反向传播的流程。