简介 1.1 回归系数的假设检验 1 1.1.1似然比检验 5 1.1.2 其它检验方法. 7 1.1.3一般线性假设 11 1.2置信区间 13 1.3模型诊断 19 Previous Next First Last Back Forward 1
简介 1.1 回归系数的假设检验 . . . . . . . . . . . . . . 1 1.1.1 似然比检验 . . . . . . . . . . . . . . . 5 1.1.2 其它检验方法 . . . . . . . . . . . . . . 7 1.1.3 一般线性假设 . . . . . . . . . . . . . . 11 1.2 置信区间 . . . . . . . . . . . . . . . . . . . . 13 1.3 模型诊断 . . . . . . . . . . . . . . . . . . . . 19 Previous Next First Last Back Forward 1
1.1 回归系数的假设检验 一元多重线性回归模型 对一元多重正态线性回归模型 Ynx1 =XnxpB+,E Nn(0,02In) 其中Rank(X)=p.由于 1.B的最小二乘估计B=(X'X)-1X'Y~N(B,σ2(X'X)-), o2的估计s2=ne且(m-p)s2~o2x2-p 2.s2和相互独立. 从而 ·B的1-a置信域为 (B-B)'X'X(B-B)ps2Fp.n-p(a) Previous Next First Last Back Forward 1
1.1 回归系数的假设检验 一元多重线性回归模型 对一元多重正态线性回归模型 Yn×1 = Xn×pβ + ϵ, ϵ ∼ Nn(0, σ 2 In) 其中 Rank(X) = p. 由于 1. .β 的最小二乘估计 βˆ = (X ′X) −1X ′Y ∼ Np(β, σ2 (X ′X) −1 ), σ 2 的估计 s 2 = 1 n−p ϵˆ ′ ϵ 且 (n − p)s 2 ∼ σ 2χ 2 n−p 2. s 2 和 βˆ 相互独立.. . 从而 • β 的 1 − α 置信域为 (β − βˆ) ′X ′X(β − βˆ) ≤ ps 2Fp,n−p(α) Previous Next First Last Back Forward 1
·利用Cauchy-Schwar不等式可得c'B的同时1-a置信区间 (Scheffe'confidence intervals) c'g±Vs2c(XX)-1 cVpFp,n-p(a】 .注意到B:~N1(B,a2(X'X)),从而Var(B)的估计为 Var(a)=s2(X'X)a,因此 B:-B ~tn-p VVar(B.) 从而可得边际置信区间 a±Var(a,)tn-n(a/2) 对一元多重线性回归模型Y=X1B1+X2B2+,考虑假设 H0:B2=0=LB,其中B2为(p-q)×1向量，Lmxp=(0,Ip-g).在 Previous Next First Last Back Forward 2
• 利用 Cauchy-Schwar 不等式可得 c ′β 的同时 1 − α 置信区间 (Scheffe’ confidence intervals) 为 c ′ βˆ ± √ s 2c ′(X′X)−1c √ pFp,n−p(α) • 注意到 βˆi ∼ N1(βi, σ2 (X ′X) −1 ii ), 从而 V ar(βˆi) 的估计为 V ar d(βˆi) = s 2 (X ′X) −1 ii , 因此 βˆi − βi √ V ar d(βˆi) ∼ tn−p 从而可得边际置信区间 βˆi ± √ V ar d(βˆi)tn−p(α/2) 对一元多重线性回归模型 Y = X1β1 + X2β2 + ϵ, 考虑假设 H0 : β2 = 0 = Lβ, 其中 β2 为 (p − q) × 1 向量, Ln×p = (0, Ip−q). 在 Previous Next First Last Back Forward 2
正态假设下，似然比检验可以使用.也可以利用顺序平方(sequential sum of squres,Type I): SST SSe+SSres SSe+SSreg(X1)+SSreg(X2|X1) 上式最后一项为 SSreg(X2|X1)=SSreg(X1;X2)-SSreg(X1) =SS.(X1)-SS(X1,X2) =Y2--x2 =B'L'L'(X'X)LLB:=SSH 从而拒绝域为 SSH/(p-q) SSe/(n-p) >Fp-q.n-p(a) Previous Next First Last Back Forward 2
正态假设下, 似然比检验可以使用. 也可以利用顺序平方 (sequential sum of squres, Type I): SST = SSe + SSreg = SSe + SSreg(X1) + SSreg(X2|X1) 上式最后一项为 SSreg(X2|X1) = SSreg(X1, X2) − SSreg(X1) = SSe(X1) − SSe(X1, X2) = ∥Y − X1βˆ1∥ 2 − ∥Y − Xβˆ∥ 2 = βˆ′L ′ [L ′ (X ′X) −1L] −1Lβˆ := SSH 从而拒绝域为 SSH/(p − q) SSe/(n − p) > Fp−q,n−p(α) Previous Next First Last Back Forward 3
多元多重线性回归模型 对多元线性回归模型 Ynxm=XnxpBpxm十∈nxm 若假定 e~Nnxm(0,In⑧)，∑mxm>0 则由前面（上讲定理4）的讨论知 1.当X满秩时候，B和∑的最大似然估计分别为 B=(X'X)-x'Y,=IYPY 2.而且，B Npxm(B,(X'X)-1⑧)；n*~Wm(n-p,) 此时，记B=(B,B2)',其中B为q×m矩阵，相应地，记 X=[X1,X2],则 Y=XiB()+X2B(2)+e Previous Next First Last Back Forward 4
多元多重线性回归模型 对多元线性回归模型 Yn×m = Xn×pBp×m + ϵn×m 若假定 ϵ ∼ Nn×m(0, In ⊗ Σ), Σm×m > 0 则由前面 (上讲定理 4) 的讨论知 1. .当 X 满秩时候, B 和 Σ 的最大似然估计分别为 Bˆ = (X ′X) −1X ′Y, Σˆ ∗ = 1 n Y ′PY 2. 而且, Bˆ ∼ Np×m(B,(X ′X) −1 ⊗ Σ); nΣˆ ∗ ∼ Wm(n − p, Σ).. . 此时, 记 B = (B ′ (1), B′ (2)) ′ , 其中 B(1) 为 q × m 矩阵, 相应地, 记 X = [X1, X2], 则 Y = X1B(1) + X2B(2) + ϵ Previous Next First Last Back Forward 4
考虑假设检验问题 Ho:B(2)=0+H1:B(2)≠0 令Lsxp=(0,Ip-a),则上述假设等价于 Ho:LB=0+H1:LB≠0 由于假定了正态分布，从而似然比检验是自然的 1.1.1似然比检验 在Ho下，Y=X1B+e,因此 max L(B(1),)=L(B(),1) B(1)E Previous Next First Last Back Forward 5
考虑假设检验问题 H0 : B(2) = 0 ↔ H1 : B(2) ̸= 0 令 Ls×p = (0, Ip−q), 则上述假设等价于 H0 : LB = 0 ↔ H1 : LB ̸= 0 由于假定了正态分布, 从而似然比检验是自然的. 1.1.1 似然比检验 在 H0 下, Y = X1B(1) + ϵ, 因此 max B(1),Σ L(B(1), Σ) = L(Bˆ (1), Σˆ 1) Previous Next First Last Back Forward 5
其中 B)=(Xixi)XiY, 1=1Y'(I-X(x1X1)1X1)Y 从而似然比检验统计量为 A= maxB()L(B(),)L(B():) n/2 maxB.s L(B, L(B,2*) 因此当A过小时候拒绝零假设Ho. 等价地，当 -2logA =-nlog In =-nlog1m+n(②1- 过大时候拒绝零假设Ho: Previous Next First Last Back Forward 6
其中 Bˆ (1) = (X ′ 1X1) −1X ′ 1Y, Σˆ 1 = 1 n Y ′ (I − X1(X ′ 1X1) −1X ′ 1)Y 从而似然比检验统计量为 Λ = maxB(1),Σ L(B(1), Σ) maxB,Σ L(B, Σ) = L(Bˆ (1), Σˆ 1) L(B, ˆ Σˆ ∗) = ( |Σˆ ∗ | |Σˆ 1| )n/2 因此当 Λ 过小时候拒绝零假设 H0. 等价地, 当 −2logΛ = −nlog ( |Σˆ ∗ | |Σˆ 1| ) = −nlog |nΣˆ ∗ | |nΣˆ ∗ + n(Σˆ 1 − Σˆ ∗)| 过大时候拒绝零假设 H0. Previous Next First Last Back Forward 6
·由于d=dim(B,)-dim(Ba,)=(p-q)m,因此在零假 设下， -2 ogAxip-glm,n→o∞ 从而渐近α的似然比检验拒绝域为 -2logA >xip-a)m(a) ·Bartlett(1954)修正上述似然比检验统计量以得到更佳的卡方 近似： -(n-p-j(m-p+q+1)og- >xp-m(a 1.1.2其它检验方法 对一元回归模型中回归系数的线性检验问题，常常使用sequen- tial(extra)sum of squares(对回归平方和进行分解来体现依次引入 解释变量所带来的贡献)方法来进行检验 Previous Next First Last Back Forward
• 由于 df = dim(B, Σ) − dim(B(1), Σ) = (p − q)m, 因此在零假 设下, −2logΛ χ 2 (p−q)m, n → ∞ 从而渐近 α 的似然比检验拒绝域为 −2logΛ > χ2 (p−q)m(α) • Bartlett(1954) 修正上述似然比检验统计量以得到更佳的卡方 近似: −(n − p − 1 2 (m − p + q + 1))log |Σˆ ∗ | |Σˆ 1| > χ2 (p−q)m(α) 1.1.2 其它检验方法 对一元回归模型中回归系数的线性检验问题, 常常使用 sequential(extra) sum of squares (对回归平方和进行分解来体现依次引入 解释变量所带来的贡献) 方法来进行检验. Previous Next First Last Back Forward 7
对多元线性回归模型有如下平方和与交叉积分解 SSCPT=Y'Y-nyy =(Y-Y+Y)'(Y-Y+Y)-n ='e+(YY-n) SSCPres +SSCPreg SSCPres+SSCPreg(X1)+SSCPreg(X2|X1) 其中SSCPreg(X1)表示解释变量仅有X1时候的回归平方和与交叉 积，SSCPreg(X2X)表示在已有X1时，再增加X2后回归平法和 与交叉积的增量.利用上讲中有约束条件的最小二乘估计结果，有 SSCPreg(X2|X1)=SSCPreg-SSCPreg(X1) =SSCPres(X1)-SSCPres =BL'[L(X'X)-1L]-1LB. Previous Next First Last Back Forward 8
对多元线性回归模型有如下平方和与交叉积分解 SSCPT = Y ′Y − ny¯y¯ ′ = (Y − Yˆ + Yˆ ) ′ (Y − Yˆ + Yˆ ) − ny¯y¯ ′ = ˆϵ ′ ˆϵ + (Yˆ ′ Yˆ − ny¯y¯ ′ ) = SSCPres + SSCPreg = SSCPres + SSCPreg(X1) + SSCPreg(X2|X1) 其中 SSCPreg(X1) 表示解释变量仅有 X1 时候的回归平方和与交叉 积, SSCPreg(X2|X1) 表示在已有 X1 时, 再增加 X2 后回归平法和 与交叉积的增量. 利用上讲中有约束条件的最小二乘估计结果, 有 SSCPreg(X2|X1) = SSCPreg − SSCPreg(X1) = SSCPres(X1) − SSCPres = Bˆ′L ′ [L(X ′X) −1L ′ ] −1LB. ˆ Previous Next First Last Back Forward 8
记 SSCPreg(X2X1)=n(1-):=H SSCPres =n*:E 流行的统计软件一般会报告四种多元检验统计量，它们都是 HE-1的特征根的函数.为此，记n之2≥…≥s为HE-1的非 零特征根，s=min(m,p-q),则 。Likelihood ratio: -侧E4m=og1+HE=店a+ 。Wilk's Lambda: E到 Em=+=+ 1 Previous Next First Last Back Forward 9
记 SSCPreg(X2|X1) = n(Σˆ 1 − Σˆ ∗ ) := H SSCPres = nΣˆ ∗ := E 流行的统计软件一般会报告四种多元检验统计量, 它们都是 HE−1 的特征根的函数. 为此, 记 η1 ≥ η2 ≥ · · · ≥ ηs 为 HE−1 的非 零特征根, s = min(m, p − q), 则 • Likelihood ratio: −nlog |E| |E + H| = nlog|I + HE−1 | = n ∑s i=1 log(1 + ηi) • Wilk’s Lambda: |E| |E + H| = 1 |I + HE−1| = ∏s i=1 1 1 + ηi Previous Next First Last Back Forward 9