多元线性回归 对应于 Tamhane和 dunlop所著讲义的第11章 幻灯片主要由 Elizabeth newton(美国麻省理工学院)制作 其中一部分由 Roy Welsch(美国麻省理工学院)完成
1 多元线性回归 对应于Tamhane 和Dunlop所著讲义的第11 章 幻灯片主要由Elizabeth Newton（美国麻省理工学院）制作 其中一部分由Roy Welsch （美国麻省理工学院）完成
线性回归 回顾: 线性模型:y=Xβ+E y-N(XB, o-1) 最小二乘法:B=(XXXy y=y=X的拟合值户=X(XX)Xy=Hy e=误差=残差=y-y=yy(H)y
2 线性回归 回顾： 线性模型： 最小二乘法： 的拟合值 误差 残差
Hat矩阵的性质 对称性:H’=H ·幂等性:HHH H的迹=H的主对角元素之和=k+1=X矩阵的 列数 1'H=1s的向量(因此γ和y有相同的平均 值) 1`(1-H)=0′S的向量(因此残差的平均值为 0) 当X仅仅是1′s的一个列时H是什么?
3 Hat 矩阵的性质 • 对称性： • 幂等性： • H的迹＝H的主对角元素之和＝k+1＝X矩阵的 列数 • 1′s的向量（因此y和 有相同的平均 值） • 0 ′s的向量（因此残差的平均值为 0） • 当X仅仅是1′s的一个列时H是什么？ y ∧
方差一协方差矩阵 CoW)=2(X"X)(正如我们以前所见) Cov(y=Cov (Hy )=Hcov (y h -HoH=0H Cov (e)=cov -hy=( -)cov(( -h) =(1-H)2(-H)=a2(-H)
4 方差－协方差矩阵 （正如我们以前所见）
置信度和预测区间 在X。点的平均响应方差 Var(o)=var(xB)=0'x(X'X)xo=02 在X0点的新观测值方差y0=0+6 Var(o +co=var(o)+ var(eo) 02x1(XX)yx+02=02(x1XX)x+1=02(v0+1 a2的一个估计是s2=均方差=y(-H)y/(nk1)
5 置信度和预测区间 在 点的平均响应方差 在 点的新观测值方差， 的一个估计是 均方差
置信度和预测区间 在X点处平均响应的(1-a)置信区间: 0±cd,其中C=tmk12和d=SV0 在X点处新观测值的(1-0)预测区间: ±co,其中C=tk1a2和d=s0+1
6 置信度和预测区间 在 点处平均响应的（ 1－α）置信区间： 其中 和 在 点处新观测值的（ 1－α）预测区间： 其中 和
平方和 总平方和(SST):∑(n-y) 余差平方和(SE):∑-∑-y) 回归平方和(SSR):∑ 回归平方和=总平方和一余差平方和 SSR= SST-SSE
7 平方和 总平方和（SST）： 余差平方和（SSE）： 回归平方和（SSR）: 回归平方和＝总平方和－余差平方和
整体的显著性检验 为了判断方程中是否存在线性关系,我们检测: H6:B1=2=.,=B=0 H1:日 ≠0 for some j 计算 SSE-2-y) SST=2(y-y )SSR=SST-SSE F统计量值为:SR/kMsR SSE/n-k-1)MSE 其中F基于k和(n-k-1)的自由度 当F值大于Fkmk1a,就拒绝H
8 整体的显著性检验 为了判断方程中是否存在线性关系，我们检测： 计算 F统计量值为： 其中 F基于 k和（n-k-1）的自由度 当 F值大于 ，就拒绝
顺序进入的平方和 SSR(X1)= SST-SSE(X1) SSR(X2 X1)=SSR(X1, X2 )-SSR(X1) SSE(X1)-SSE(X1, X2) SSR(X3 X1 X2 =SSE(X1, X2 )-SSE(X1, X2, 3)
9 顺序进入的平方和
方差分析表 类型1(顺序进入的)平方和 来源 平方和 自由度 方差 回归 SSR(XI, X2, 3) Ⅹ SSR(XI SSR(X2 X1) X3 x2 X1 Ssr(x3 x2, 1) 余差 SSE(X1, x2, X 3) 总和 SST n-1
10 方差分析表 类型1（顺序进入的）平方和 来源 平方和 自由度 方差 回归 SSR(x1,x2,x3) 3 x1 SSR(x1) 1 x2|x1 SSR(x2|x1) 1 x3|x2 x1 SSR(x3|x2,x1) 1 余差 SSE(x1,x2,x3) n-4 总和 SST n-1