ReLU 全称：Rectified Linear Unit表达式非常简单：f(x)=max(0,x)大于 0，原样输出输入 小于等于 0，输出 0ReLU(3) = 3ReLU(0.5) = 0.5ReLU(-2) = 0它在 CNN 里干嘛卷积层算完后，会得到一个新的特征图。这个特征图里的值，有正有负。ReLU 做的事就是：把负数全砍掉，正数保留。所以流程通常是：Conv→ReLU也就是：卷积层先提取特征ReLU 再把其中负响应压成 0直观理解：卷积层像“检测器”ReLU 像“开关”检测结果明显为正，就通过检测结果是负，就关掉它在 CNN 里干嘛？卷积层算完后，会得到一个新的特征图。这个特征图里的值，有正有负。ReLU 做的事就是：把负数全砍掉，正数保留。 ReLU 激活函数 深度理解与运用
ReLU 全称：Rectified Linear Unit表达式非常简单：f(x)=max(0,x)大于 0，原样输出输入 小于等于 0，输出 0ReLU(3) = 3ReLU(0.5) = 0.5ReLU(-2) = 0它在 CNN 里干嘛卷积层算完后，会得到一个新的特征图。这个特征图里的值，有正有负。ReLU 做的事就是：把负数全砍掉，正数保留。所以流程通常是：Conv→ReLU也就是：卷积层先提取特征ReLU 再把其中负响应压成 0直观理解：卷积层像“检测器”ReLU 像“开关”检测结果明显为正，就通过检测结果是负，就关掉它在 CNN 里干嘛？卷积层算完后，会得到一个新的特征图。这个特征图里的值，有正有负。ReLU 做的事就是：把负数全砍掉，正数保留。