最小二乘法原理 若用(x;,y;)表示n个数据点(i=1,2,3,……,n),而任意一条直 线方程可写成 a+bx (1) 在(1)式中,采用y符号,表示这是一条任意的直线,如果用这条直线来代表x 和y的关系,即对每个已知的数据点(x;,y)来说,其误差为 令各数据点误差的平方的加和(差方和)为Q,则Q是总的误差: (vi-a-bxi) f=1 回归直线就是在所有直线中,差方和Q最小的一条直线换句话说,回归直线 系数b及常数项a,应使Q达到极小值. 根据微积分求值的原理,要使Q达到极小值,只需将(3)式分别对a,b求偏 微商,令它们等于0.于是a,b满足 2=2(y-a-bx)2(-a=bx ab ab 2之(y-a-bx)x=O 从(4)式可得到 bxi ⅵ=H一． 最小二乘法原理 若用（χi， y i ）表示 n 个数据点（i=1，2，3，...,n）,而任意一条直 线方程可写成: y = a + bx * (1) 在（1）式中,采用 y *符号,表示这是一条任意的直线,如果用这条直线来代表 x 和 y 的关系,即对每个已知的数据点(xi,yi)来说,其误差为 yi − y = yi − a − bxi * (2) 令各数据点误差的平方的加和(差方和)为 Q,则 Q 是总的误差： (3) 回归直线就是在所有直线中,差方和 Q 最小的一条直线.换句话说,回归直线的 系数 b 及常数项 a,应使 Q 达到极小值. 根据微积分求值的原理,要使 Q 达到极小值,只需将(3)式分别对 a,b 求偏 微商,令它们等于 0.于是 a,b 满足 (4) (5) 从(4)式可得到 2 1 * ( ) = = − n i Q yi y 2 1 ( i) n i = yi − a − bx = a y a bx y a bx a Q i i n i i i   − − = − −   = ( ) 2 ( ) 1 = = − − − = n i yi a bxi 1 2 ( ) 0 =   − − = − −   n i i i i i b y a bx y a bx b Q 1 ( ) 2 ( ) 2 ( ) 0 1 = −  − − = = i n i yi a bxi x = = = − − = − − = n i n i n i yi a bxi yi na b xi 1 1 1 ( ) 0 = = = − n i n i na yi b xi 1 1