有监督的函数估计： ■设N为一个神经网络的传递函数，那么可以定义瞬时误差 为y,-W(x),这是一个随机向量，因为我们不知道联合 概率密度函数p(X,y),所以，无法求出，ELy-N(x】,一 般用Ey,-N(x)y,-N(x)']。 随机逼近用观测到的随机量来估计期望值，然后在 离散的近似算法中使用这些估计量，通常是随机的梯度 下降法，举个例子，在Vidrow's LMS算法中，他用的梯 度是随机梯度。 幻灯片5有监督的函数估计： ◼ 设N为一个神经网络的传递函数，那么可以定义瞬时误差 为 ，这是一个随机向量，因为我们不知道联合 概率密度函数p(x,y)，所以，无法求出， , 一 般用 。 随机逼近用观测到的随机量来估计期望值，然后在 离散的近似算法中使用这些估计量，通常是随机的梯度 下降法，举个例子，在Widrow’s LMS算法中，他用的梯 度是随机梯度。 ( ) i i y N x − [ ( )] E y N x i i − [( ( ))( ( )) ] T E y N x y N x i i i i − − 幻灯片 5