湘潭大学：《数理统计》课程教学资源（PPT课件讲稿）第七章 回归分析（7.2）多元线性回归分析

§72多元线性回归分析 多无线性回归模型 上节讨论了一元线性回归模型,在实际问题中,遇 到更多的是讨论随机变量Y与非随机变量x1,x2,…,xn 之间的关系,本节假设它们具有线性关系 Y=B+B1x1+…+Bnxn+E (7.15) 这里E~N(0,a),B,B1,…,Bn,2都是未知参数,m>1。 般称由式(7.15)定义的模型为多元线性回归模型 湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 1 §7.2 多元线性回归分析 一、多无线性回归模型 上节讨论了一元线性回归模型，在实际问题中，遇 到更多的是讨论随机变量 Y 与非随机变量x x xm , , , 1 2  之间的关系，本节假设它们具有线性关系 =  +  + +  +  Y 0 1 x1  m x m （7.15） 这里 2 0 1 2  ~ N(0, ), , ,, m , 都是未知参数，m  1 。 一般称由式（7.15）定义的模型为多元线性回归模型

般称x1,…,x为回归变量,月,…,Bn为回归系数,设 (x1,x2,…,xm,)(=1,2,…,)是(x1,…,xn,Y)的个观测, 则它们满足关系 H=B+Bxn+B2x2+…+ Bx+E;,i=1,…,n,(7.16) 假设E相互独立且61~N(0,a2)(=1,…,n)。 由于假设相互独立,由式(7.16)知Y亦相互独立,且 EY1=B+B1x1+…+Bnx DY=o 则有y~N(B+B1x1+…+Bnxm,2)i=1,…,m) 湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 2 一般称x xm , , 1  为回归变量，  m , , 0  为回归系数，设 ( , , , , )( 1,2, , ) xi1 xi 2  xi m Yi i =  n 是( , , , ) x1  xm Y 的n 个观测， 则它们满足关系 Yi =  0 +  1 xi1 +  2 xi 2 ++  m xi m +  i ,i = 1,,n，（7.16） 假设 i  相互独立且 ~ (0, )( 1, , ) 2  i N  i =  n 。 由于假设 i  相互独立，由式（7.16）知Yi亦相互独立，且 EYi =  0 +  1 xi1 ++  m xi m， 2 DYi =  ， 则有 ~ ( , )( 1, , ) 2 Yi N  0 +  1 xi1 ++  m xi m  i =  n

对式(7.15)求数学期望 EY=B+B1x1+…+Bnxn 般称 B+B1x1+…+B 为Y关于x1,x2,…,xn的线性回归方程 为了今后讨论方便,引入向量、矩阵记号,则式 (7.16)可写成矩阵形式。令 ,yYn),B=(B0,B,…,Bn), 8=(8,8 湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 3 对式（7.15）求数学期望 EY =  0 +  1 x1 ++  m xm。 一般称 Y =  0 +  1 x1 ++  m xm ˆ 为Y 关于x x xm , , , 1 2  的线性回归方程。 为了今后讨论方便，引入向量、矩阵记号，则式 （7.16）可写成矩阵形式。令 Y (Y ,Y , ,Y ) = 1 2  n ， ( , , , ) β =  0  1   m ， ( , , , ) 1 2 n  =    

式(7.16)的矩阵表达式为 Y=XB+8 (716 EY=XB, cov(Y,Y=E(Y-EYOY-En=oL, 这里表阶单位阵。对式(7.15)给出的m无线性回归 模型,通常所考虑的问题是,对未知参数B和σ2进行估 计,对B的某种假设进行检验,对Y进行预报等,在下述 讨论中,一般总假定n>m和矩阵X的秩等于m+1 湘潭大学数学与计算科学学院国国4层m

湘潭大学数学与计算科学学院 上一页 下一页 4 , 1 1 1 1 2 21 22 2 11 12 1             = n n nm m m x x x x x x x x x X        式（7.16）的矩阵表达式为 Y = X +  ， (7.1 6) EY = X ， n Y Y E Y EY Y EY I 2 cov( , ) = ( − )( − ) =  ， 这里 n I 表n阶单位阵。对式（7.15）给出的 m无线性回归 模型，通常所考虑的问题是，对未知参数  和 2  进行估 计，对 的某种假设进行检验，对 Y 进行预报等，在下述 讨论中，一般总假定n  m和矩阵X 的秩等于m + 1

二、参数的估计 对式(716,常常采用最小二乘法寻求β的估计量f, 即寻找B的估计B满足下面的条件 ∑r-∑A=m∑(y-∑xB),(7.17 I三 这里x0=1(i=1,2,…,n),或写成矩阵形式 Xp 2 inY-XB (717) 一般可用微分法求式(7.17)的解B ∑-∑B=0.k=01 湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 5 二、参数的估计 对式(7.1 6)，常常采用最小二乘法寻求  的估计量 ˆ ， 即寻找 的估计ˆ 满足下面的条件     = = = =        = −      − n i n i m j i i j j m j Yi xi j j Y x 1 1 2 0 2 0 ˆ min  ， （7.17） 这里 1( 1,2, , ), xi 0 = i =  n 或写成矩阵形式 2 2 Y − Xˆ = min Y − X 。 (7.1 7) 一般可用微分法求式（7.17）的解 ˆ 。   = =  =      − n i i k m j Yi xi j j x 1 0 0, ˆ k = 0,1,,m

将上式变形可写为 k=0,1 用矩阵表示,上述方程组可写成 XY=(X XB (7.18) 式(7.18)一般称为正规方程,由于假设了X的秩为 m+1,所以XX是正定矩阵,因而存在逆阵(XX) 由式(7.18)可得 B=(X XXY (7.19) 湘潭大学数学与计算科学院一页一页]6

湘潭大学数学与计算科学学院 上一页 下一页 6 将上式变形可写为     = = = = =       = = n i n i m j j n i i j i k m j Yi xi k xi j xi k j x x 1 1 0 0 1 ˆ ˆ ， k = 0,1,,m， 用矩阵表示，上述方程组可写成 ˆ X Y (X X) T T = ， （7.18） 式（7.18）一般称为正规方程，由于假设了X 的秩为 m + 1，所以X X T 是正定矩阵，因而存在逆阵 1 ( ) − X X T ， 由式（7.18）可得 X X X Y T 1 T ( ) ˆ −  = ， （7.19）

将B代入线性回归方程,可得 Y=B +B,x,+ (7.20) 以后将式(7.20)亦简称为线性回归方程,由此出发, 可对Y进行预测。 类似上节对一元线性回归模型对2的讨论,可用统计量 x-2. B) ∑ (7.21) n-m-1 作为G2的估计,式(7.21)也可以用矩阵形式表示为 湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 7 将ˆ 代入线性回归方程，可得 Y   x  m xm ˆ ˆ ˆ = 0 + 1 1 ++ 。 （7.20） 以后将式（7.20）亦简称为线性回归方程，由此出发， 可对Y 进行预测。 类似上节对一元线性回归模型对 2  的讨论，可用统计量   = =       − − − = n i m j Yi xi j j n m 1 2 0 * ˆ 1 1 ˆ 2   。 （7.21） 作为 2  的估计，式（7.21）也可以用矩阵形式表示为

(r-xB)(r-XB n-m-1 YI-X(X XX Y n-n-1 lr'Y-B(XnI n-m-1 例7.5某种水泥在凝固时放出热量Y(单位:cl) 与水泥中下列4种化学成分有关: (1)x1:3Ca0·A12O; (2)x2:3Ca0·SiO2; (3)x3:3Ca0·A1203·Fe203;(4)x:2Ca0·Si02。 通过试验得到数据列于表7.2中,求对x,x2,x3x的线性 回归议程。 湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 8 ) ˆ ) ( ˆ ( 1 1 ˆ 2 *  Y X Y X n m T − − − − = Y I X X X X Y n m T T n T [ ( ) ] 1 1 −1 − − − = ( )] ˆ [ 1 1 Y Y X Y n m T T T −  − − = 例 7.5 某种水泥在凝固时放出热量Y （单位：cal） 与水泥中下列 4 种化学成分有关： （1）x1 ：3CaO·Al2O3； （2）x2 ：3CaO·SiO2； （3）x3：3CaO·Al2O3·Fe2O3；（4）x4 ：2CaO·SiO2。 通过试验得到数据列于表 7.2 中，求Y 对 1 2 3 4 x , x , x x 的线性 回归议程

将数据代入式(7.9),经计算可得 (A0,B,B2,B3,月) (6245021.55110.51010.1019-01441) 则所求的线性回归方程为 Y=624502+1551x+0.5101x2+0.1019x3-0.1441x 表7.3给出了Y-,数据表 湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 9 将数据代入式（7.9），经计算可得 (6 2.450 2 1.551 1 0.510 1 0.101 9 - 0144 1) ) ˆ , ˆ , ˆ , ˆ , ˆ ( 0 1 2 3 4 =      则所求的线性回归方程为 1 2 3 4 ˆY . x x x x = + + + − 62 450 2 1.5511 0.510 1 0.101 9 0.144 1 表 7.3 给出了Yi Yi − ˆ 数据表

表7.2 序号 Y % % 26 60 78.5 123456 52 74.3 20 104.3 87.6 95.9 22 109.2 17 102.7 7890123 72.5 54 22 21 26 115.9 40 23 34 12 113.3 10 12 109.4 湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 10 表 7.2 序号 % 1 x % 2 x % 3 x % 4 x Y 1 7 2 6 6 6 0 78.5 2 1 2 9 1 5 5 2 74.3 3 1 1 5 6 8 2 0 104.3 4 1 1 3 1 8 4 7 87.6 5 7 5 2 6 3 3 95.9 6 1 1 5 5 9 2 2 109.2 7 3 7 1 1 7 6 102.7 8 1 3 1 2 2 4 4 72.5 9 2 5 4 1 8 2 2 93.1 1 0 2 1 4 7 4 2 6 115.9 1 1 1 4 0 2 3 3 4 83.8 1 2 1 1 6 6 9 1 2 113.3 1 3 1 0 6 8 8 1 2 109.4