激活函数的性质 连续并可导（允许少数，点上不可导）的非线性函数。 可导的激活函数可以直接利用数值优化的方法来学习网络参数。 激活函数及其导函数要尽可能的简单 有利于提高网络计算效率。 激活函数的导函数的值域要在一个合适的区间内 不能太大也不能太小，否则会影响训练的效率和稳定性。 单调递增 ??2 《神经网络与深度学习》《神经⽹络与深度学习》 8 激活函数的性质 }连续并可导（允许少数点上不可导）的非线性函数。 }可导的激活函数可以直接利用数值优化的⽅法来学习⽹络参数。 }激活函数及其导函数要尽可能的简单 }有利于提⾼⽹络计算效率。 }激活函数的导函数的值域要在⼀个合适的区间内 }不能太⼤也不能太小，否则会影响训练的效率和稳定性。 }单调递增 }???