常见激活函数 ………… 1 o(x)= 1+exp(-x) 0. 一L0gsto函取 -=--Tnh雨圆 tanh(x)= exp(z)-exp(-z) exp(x)+exp(-2) 非零中心化的输出会使得其后一层的神经元的输 入发生偏置偏移(bias shift),并进一步使得梯 度下降的收敛速度变慢。 性质： 饱和函数 Tanh函数是零中心化的，而logistic函数的输出恒大于0 《神经网络与深度学习》 9 《神经⽹络与深度学习》 9 常见激活函数 非零中⼼化的输出会使得其后⼀层的神经元的输 ⼊发⽣偏置偏移（bias shift），并进⼀步使得梯 度下降的收敛速度变慢。 }性质： }饱和函数 }Tanh函数是零中⼼化的，⽽logistic函数的输出恒⼤于0