深度学习Day1

将输入信号的总和转换为输出信号这种函数一般称为激活函数。激活函数的作用在决定如何来激活输入信号的总和感知机和神经网络感知机和神经网络最主要的区别就在于激活函数阶跃和sigmoid实际上从名字来看感知机就是感知如果当输入值小于阈值那么输出就是0而大于阈值输出就是1。而对于神经网络来说我们需要能够计算梯度所以无法使用阶跃函数进而进化出了sigmoid。也就是说感知机中流动的是0/1信号而神经网络中流动的是连续的实数值信号。ReLU函数在输入大于0时直接输出该值在输入小于等于0时输出0softmax函数分子是输入信号的指数函数分母是该层所以输入信号指数函数的和在实现softmax函数时有可能因为数值太大导致溢出进而计算失败所以我们一般减去输入信号的最大值正规化normalization把数据限定到某个范围内的处理叫做正规化。也是一种预处理。预处理把神经网络的输入数据进行某种既定的转换称为预处理白化也是一种预处理手段将数据整体的分布形状均匀化的方法即数据白化。特征量是指可以从输入数据中准确地提取本质数据的转换器随机梯度下降法SGD使用参数的梯度沿梯度方向更新参数并重复多次从而逐渐靠近最优参数这个过程称为SGD。SDG的缺点是如果函数的形状非均向比如呈延伸状搜索的路径就会非常低效。动量Momentum法参照小球在碗中滚动的物理规则进行移动学习率衰减法AdaGrad法AdaGrad会为参数的每个元素适当地调整学习率与此同时进行学习。它会记录过去所有梯度的平方和学习越深入更新的幅度就越小即为参数的每个元素适当地调整更新步伐。Adam法融合前两个权重的初始值权重不能设定为全0初始值一般根据激活函数的值加高斯分布来设定Batch Norm:可以使训练快速进行不那么依赖于初始值抑制过拟合。以进行学习时的minibatch为单位按minibatch进行正规化进行使数据分布的均值为0、方差为1的正规化。就是调整各层的激活值分布使其拥有适当的广度。发生过拟合主要有两个原因模型拥有大量参数、表现力强训练数据少。权值衰减是一直以来经常被使用的一种抑制过拟合的方法该方法在学习的过程中对大的权重进行惩罚来抑制过拟合Dropout:在学习过程中随机删除神经元的方法。训练时随机选出隐藏层的神经元然后将其删除。被删除的神经元不再进行信号的传递。集成学习让多个模型单独进行学习推理时再取多个模型的输出的平均值作为答案。Dropout将集成学习的效果通过一个网络实现了。调整超参数时一般使用超参数专用的确认数据用于调整超参数的数据一般称为验证数据。我们用这个验证数据来评估超参数的好坏。图像是3维形状这个形状中应该含有重要的空间信息。比如空间上邻近的像素为相似的值、RGB的各通道之间分别有密切的相关性、相距较远的像素之间有没有什么关联等3维形状中可能隐藏有值得提取的本质模式。但是全连接层会忽视形状将全部的输入数据作为相同的神经元处理所以无法利用与形状相关的信息。而卷积层可以保持形状不变。卷积运算卷积层进行处理的就是卷积运算卷积运算相当于图像处理中的“滤波器运算”。将各个位置上滤波器元素和输入的对应元素相乘然后再求和将结果保存到输出的对应位置。填充使用填充主要是为了调整输出的大小。步幅应用滤波器的位置间隔称为步幅.增大步幅输出会变小增大填充输出大小会变大。把3维数据表示为多维数组书写顺序为channelheightwidth。4维数据滤波器的权重按照output_channel,input_channel,height,width书写一般来说池化的窗口大小会和步幅设定成相同的值3x3设定为34x4设定为4.有Average、max等池化。池化是缩小高、长方向上的空间运算。池化层没有要学习的参数只是从目标区域取最大值或者平均值。经过池化层运算通道数不会发生变化强化学习的框架智能体根据环境选择行动通过这个行动改变环境根据环境的变化智能体获得某种报酬。强化学习的目的是决定代理的行动方针以获得更好的报酬。