有监督的丞数估计 设N为一个神经网络的传递函数，那么可以定义瞬时误 差为y-N(x)这是一个随机向量，由于我们不知道联 合概率密度函数p(x,y)无法求出ELy,一N(x一般用均 方差 E[y-N(x)横代N(x)I] 随机逼近用观测到的随机量来估计期望值，然后在离散 的近似算法中使用这些估计量。 用的比较多的近似算法是随机梯度下降法。如本章将 要讲述的Vidrow'sLMS算法中所用的就是随机梯度。有监督的函数估计 ◼ 设N为一个神经网络的传递函数，那么可以定义瞬时误 差为 ，这是一个随机向量，由于我们不知道联 合概率密度函数p(x,y)无法求出 ，一般用均 方差 替代。 ◼ 随机逼近用观测到的随机量来估计期望值，然后在离散 的近似算法中使用这些估计量。  用的比较多的近似算法是随机梯度下降法。如本章将 要讲述的Widrow’s LMS算法中所用的就是随机梯度。 ( ) i i y N x − [ ( )] E y N x i i − [( ( ))( ( )) ] T E y N x y N x i i i i − −