深度学习笔记-day06-吴恩达

下面开始学课程21.1 训练_开发_测试集训练集/验证集/测试集1.2 偏差_方差训练集误差 和 验证集误差高方差也就是数据出现过拟合训练集误差小但是验证集误差大1.3 机器学习基础高偏差-更大的网络/更长的训练时间高方差-更多的数据/正则化1.4 正则化Regularization:Regularization的数学解释如上面的公式所示在cost函数的后面增加一个惩罚项如果一个权重太大将导致代价过大因此在后向传播后就会对该权重进行惩罚使其保持一个较小的值。(9 封私信 / 80 条消息) 深度学习Deep Learning基础概念8L2正则化L2 Regularization、Dropout原理及其python实现 - 知乎λ是正则化参数1.5 为什么正则化可以预防过拟合再来一个例子激活函数为tanh函数如果 λ很大 - 参数w很小 - z相对变小忽略b的影响 - z的取值范围很小 - tanh激活函数接近线性 - 整个神经网络的计算接近线性 -不会发生过拟合1.6 dropout正则化Dropout是一种随机失活技术在训练阶段以概率p将部分神经元输出置零并对保留的输出除以(1-p)Inverted Dropout 反向随机失活保持期望输出不变。这样相当于每次训练使用不同的子网络减少神经元间的共适应性提升泛化能力。keep-prob表示保留某个隐藏单元的概率测试和预测不dropout且不用除以keep-prob1.7 理解dropout输入层的keep-prob值一般设为1.dropout的一个缺点是无法确定J函数.1.8 其他正则化方法数据增强的方法水平翻转随机裁剪、旋转对于字符可以随机扭曲旋转早停1.9 归一化输入step 1 零均值化(zero mean)step 2 归一化方差