2016/12/21 Kemel Smoothing核光滑 .The Nadaray-son esmator is defined by )=∑u-y (④ x-X 这里lkpac+wF:OF1A同 Figure 3.The ette 飞路估计中情的这择响卷手现信。带度的影响比较大 局部回归Loca Regression 2.局部多项式回归 同忆标准非参数型： y■m(X)+E。i■l,A,n -r+oe- 在特估计点附近做局部多项式拟合： w1(）一k(】 -左，化-x-) 为了实现局部多项式估，我们无法择现武的阶数 品部多项式的的表示为： 复杂性， min(y-XB)'w(y-xB) 2 2016/12/21 2 7 Kernel Smoothing核光滑 • The Nadaraya-Watson estimator is defined by 均方误差 ，当 我们有如下结论： 这里 当 h增大时，偏差bias增加的时候方差会下降。. (4) ( ) ( ) ˆ ( ) 1 1        n i h i n i h i i h K x X K x X Y m x 2 d (x,h) E[m ˆ (x) m(x)] M  h  n , h 0, nh, ( , ) ( ) [ ''( )] / 4 (5) 1 2 4 2 2 d x h nh c h d K m x M  K       var( i), cK  K (u)du, dK  u K(u)du 2 2 2   8 Figure 2. The Epanechnikov kernel K (u) = 0.75(1-u 2 ) I (|u| <= 1 ). Figure 3. The effective kernel weights for the food versus net income data set. at x = 1 and x = 2.5 for h = 0.1 ( label 1 ), h = 0.2 ( label 2 ), h = 0.3 ( label 3 ) with Epanechnikov kernel. ( ) ˆ K (x )/ f x h h  9 The amount of averaging is controlled by a smoothing parameter. The choice of smoothing parameter is related to the balances between bias and variance. N-W估计中核的选择影响微乎其微，带宽的影响比较大 带宽变 化时模 式的变 化 2016/12/21 局部回归 -Local Regression • 局部回归方法：  取每个局部点 附近，长度s=k/n的邻域分段  依据距离，为邻域内点赋予权重 ，外围点权重为0  最小二乘拟合，使估计参数满足：min  联合各点函数拟合预测模型  自变量较多，可考虑有选择的选取自变量进行局部回归  维数≤3,4；高维模型稳定性易受训练集稀疏性的制约 0 x K0    n i i i i K y x 1 2 0 0 1 (   ) 11 2.局部多项式回归     0 2 0 0 0 0 0 1 0 0 ( ) ( ) ( ) ( )( ) ( ) ... 2! ( ) ( ) ( ) ! p p p m x m x m x m x x x x x m x x x O x x p              L Y m(X ) , i 1, , n (1) i  i  i   回忆标准非参数型： 在待估计点附近做局部多项式拟合： 局部多项式的矩阵表示为：     2 0 0 1 0 n p j t j t h t t j Y X x K X x               min     T y X W y X      12 为了实现局部多项式估计，我们需要选择多项式的阶数p ， 带宽h以及核函数K .当然这些参数相互关联．当 时， 局部多项式拟合就变成全局多项式拟合，阶数 决定模型的 复杂性。 h  p