第九章相关公式证明过程 一元线性回归模型中的相关系数与回归系数 对于一元线性回归模型Y=B+B2X,+4 斜率项系数的最小二乘估计值与样本相关系数有如下关系式 ∑xy∑xy y ∑对》2 =ra Sx 系数的显著性检验H。:B,=0 t统计量 Sy有 代入b2=rw Vn-2 ∑e V1-R2 同时，根据样本回归线的性质，有下=了，卫-==bx，有 R- S Σ业-_Σ-_Σ6x} SS ∑g,-Y∑g,-Y ∑好 代入b,= 并且由rw= ∑xy ,有 SxSy V∑x∑ (∑xy) =品，即一元线性回归模型的拟合优度即等于解 释变量和被解释变量的简单相关系数的平方。利用上述关系，有 b, Lor Vn-2
第九章相关公式证明过程 1 一元线性回归模型中的相关系数与回归系数 对于一元线性回归模型Yi = B1 + B2Xi + ui 斜率项系数的最小二乘估计值与样本相关系数有如下关系式 X Y XY i i i i i i i i i S S r x y x y x y x x y b = = = ∑ ∑ ∑ ∑ ∑ ∑ ∑ 2 2 2 2 2 2 系数的显著性检验 H0 : B2 = 0 t 统计量 ∑ ∑ − 2 2 2 / 2 i i x n e b ，代入 X Y XY S S b = r 2 有 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 / 2 1 / 2 R r n y e r n e r y n x y r x n e x n e b XY i i XY i XY i i i XY i i i i − − = − = − = − = − ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ 同时，根据样本回归线的性质，有 Y Y ˆ = ， i i i Y Y y b x2 ˆ ˆ − ˆ = = ， 有 ( ) ( ) ( ) ( ) ( ) ∑ ∑ ∑ ∑ ∑ ∑ = − − = − − = = 2 2 2 2 2 2 2 2 ˆ ˆ ˆ i i i i i i y b x Y Y Y Y Y Y Y Y TSS ESS R 代入 2 2 i i i x y b x = ∑ ∑ ，并且由 ∑ ∑ ∑ = = 2 2 i i i i X Y XY XY x y x y S S S r ，有 ( ) ( ) ( ) 2 2 2 2 2 2 2 22 2 ii ii i XY i ii i xy xy x R r y xy x = == ∑ ∑ ∑ ∑ ∑ ∑∑ ，即一元线性回归模型的拟合优度即等于解 释变量和被解释变量的简单相关系数的平方。利用上述关系，有 2 2 2 2 1 2 / 2 XY XY i i r r n x n e b − − = − ∑ ∑
第九章相关公式证明过程 多元线性回归模型中的相关系数与回归系数 (一)偏相关系数与偏回归系数 除了简单相关系数之外，还可以定义偏相关系数。一般地说，在多个变量Y、X2,…,Xx 之间，如果纯粹考虑Y与某个解释变量X,之间的相关关系，而控制其它解释变量对它们的 影响，或者说控制其它解释变量不变，那么所得到的相关关系不同于简单相关关系，称为偏 相关关系。根据控制的其它解释变量的不同，可以有一阶偏相关、二阶偏相关、…，K-2 阶偏相关。 一阶偏相关系数，记为x,,表示控制变量X,不变的条件下，Y和X2之间的相关 系数。二阶偏相关系数，记为x,X,X,表示控制变量X,和X4不变的条件下，Y和X,之 间的相关系数。…。以此类推，K-2阶偏相关系数，记为，XX,表示控制变量X,、 X4…Xx等K-2个变量不变的条件下，Y和X,之间的相关系数。 根据偏相关的定义，偏相关系数的计算步骤如下： 第一步，Y对X3做一元线性回归，即估计Y=1+BX3+山1，得到估计值 S。Y的变化由两部分组成，一部分取决于X,一部分取决于样本残差项e,· B=nx,S 根据样本回归函数的性质，我们知道对应的样本残差项e1与回归元X;正交，因此e,与X;无 关，即不包含X,的影响。这样一来，残差项，就剔除了X,对Y的影响。 ew=y-=y,-7-位-7)=y,-=y,-月xi 第二步，X,对X,做一元线性回归，即估计X2=2+B2X,+42,得到估计值 S2。 B2=x:X,Sx 对应的样本残差项e,剔除了X,对X,的影响。 e2=x2-B2x3 第三步，计算e1和e2的简单相关系数，由于样本残差项e1(e2)中是除了X,(X,) 以外，其余因素对Y(X,)的影响，因此这个简单相关系即是控制了X,的影响以后得到 的Y和X,之间的偏相关系数如下式所示 2
第九章相关公式证明过程 2 多元线性回归模型中的相关系数与回归系数 （一）偏相关系数与偏回归系数 除了简单相关系数之外，还可以定义偏相关系数。一般地说，在多个变量Y 、X X K , , 2 " 之间，如果纯粹考虑Y 与某个解释变量 X j 之间的相关关系，而控制其它解释变量对它们的 影响，或者说控制其它解释变量不变，那么所得到的相关关系不同于简单相关关系，称为偏 相关关系。根据控制的其它解释变量的不同，可以有一阶偏相关、二阶偏相关、……，K - 2 阶偏相关。 一阶偏相关系数，记为 2 3 YX ,X r ，表示控制变量 X3 不变的条件下，Y 和 X 2 之间的相关 系数。二阶偏相关系数，记为 2 3 4 YX ,X X r ，表示控制变量 X3 和 X 4 不变的条件下，Y 和 X 2 之 间的相关系数。……。以此类推，K - 2 阶偏相关系数，记为 YX X X X K r , , , 2 3 4 " ，表示控制变量 X3 、 X 4 …… X K 等 K - 2 个变量不变的条件下，Y 和 X 2 之间的相关系数。 根据偏相关的定义，偏相关系数的计算步骤如下： 第一步， Y 对 X3 做一元线性回归，即估计 Y = α1 + β1X3 + u1 ，得到估计值 3 1 3 ˆ X Y YX S S β = r 。Y 的变化由两部分组成，一部分取决于 X3 ，一部分取决于样本残差项 1 e 。 根据样本回归函数的性质，我们知道对应的样本残差项 1 e 与回归元 X3 正交，因此 1 e 与 X3 无 关，即不包含 X3 的影响。这样一来，残差项 1 e 就剔除了 X3 对Y 的影响。 ( ) i i i i i i i i e Y Y Y Y Y Y y y y x 1 1 3 ˆ ˆ = − ˆ = − − ˆ − = − = − β 第二步， X 2 对 X3 做一元线性回归，即估计 X 2 = α 2 + β 2 X3 + u2 ，得到估计值 3 2 2 2 3 ˆ X X X X S S β = r 。对应的样本残差项 2 e 剔除了 X3 对 X 2 的影响。 i i i e x x 2 2 2 3 β ˆ = − 第三步，计算 1 e 和 2 e 的简单相关系数，由于样本残差项 1 e （ 2 e ）中是除了 X3 （ X3 ） 以外，其余因素对Y （ X 2 ）的影响，因此这个简单相关系即是控制了 X3 的影响以后得到 的Y 和 X 2 之间的偏相关系数如下式所示
第九章相关公式证明过程 2-'323 -1-层 对上式的证明过程如下： ∑ee ee 代入A= ,a=5,6=男-6=-i ∑x ∑x ∑ee,=∑by-月xk-a,x） 爱小赞应爱 资区小 ∑yx ∑x ∑∑号 ∑yx ∑yx ∑∑x好，∑∑V∑∑ =(2-52λ∑∑x坛 式(1) ∑ei=∑b,-月x=∑-月x 代入a=, S,有 --是 式(2) =∑y+3∑y-23∑y -∑ 3
第九章相关公式证明过程 3 2 23 2 3 2 3 23 2 3 1 1 1 2 r r r r r r r y y y y e e − ⋅ − − ⋅ ⋅ = = 对上式的证明过程如下： 2 2 2 1 1 2 1 2 i i i i e e e e e e r ⋅ = ∑ 代入 ∑ ∑= 2 3 3 1 ˆ i i i x y x β ， ∑ ∑= 2 3 2 3 2 ˆ i i i x x x β ， i i i e y x 1 1 3 β ˆ = − ， i i i e x x 2 2 2 3 β ˆ = − ( )( ) ( ) ( ) ( ) ( ) ( ) ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ = − ⋅ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ = − ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ = − ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = − ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ + ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ − ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = − ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ − ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = − = − − 2 2 2 2 3 23 2 2 2 2 3 2 2 2 3 2 3 2 3 2 2 2 2 2 2 2 2 3 2 3 2 2 2 3 2 2 2 2 2 2 3 3 3 2 2 2 3 3 2 3 2 3 3 2 3 3 2 3 2 2 3 3 3 2 2 3 3 2 3 2 3 2 3 3 1 2 1 3 2 2 3 ˆ ˆ y y i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i r r r y x y x x x x x y x y x y x y x y x x x x y x y x y x y x x x x y x y x x x x x x y x y x x x x x x x y x y x x x x x x x x y x y e e y β x x β x 式（1） ∑ = ∑( ) − = ∑( − ) 2 1 3 2 1 3 2 1 ˆ ˆ i i i i i e y β x y β x 代入 3 1 3 ˆ X Y YX S S β = r ，有 ( )∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ − = + − ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ = − ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = − 2 2 3 2 2 3 2 2 3 2 2 3 2 3 2 3 2 3 3 2 1 1 2 3 y i i y i y i i i i i y i X Y i i y r y y r y r y x x y y r x S S e y r ＝ 式（2）
第九章相关公式证明过程 同理有∑e吃--∑x好 (3) 结合式(1)~式(3)有 2-82AW∑y∑x T2-'323 √-∑y-函∑x--层 (二)复相关系数与拟合优度 简单相关关系只是度量了两个变量一对一的相关关系，而以下复相关则是度量一对多的 相关关系。所谓复相关系数，即指一个变量Y与多个变量X2,“,Xx之间的相关程度的度 量指标。我们即将证明，在多元线性回归模型中，拟合优度实际就等于样本复相关系数的平 方值。 证明：根据复相关系数的定义，在计算复相关系数时可以将X2,,Xx看作一个整体， 也就是计算X2,…,Xx的线性组合与Y之间的简单相关系数。 Y=B+B2X2+…+BxXx+u X2,…,Xx的线性组合记为Y=B,+B2X2+…+BxXx Cov(r,r') Py.x=pyy= OyOy. Co,r）=Ey-E*-E川 =Ey'+u-E'-E川 =E亚'-E+E'-E =E亚*-E =0 因此PyX2X= 工，而样本复相关系数户xk:= 6 Oy Gy Y=B+B2X2+…+BxXx的样本估计值为Y=b,+b2X2+…+bxXg 其中，成=Σ化-时.示=∑- 显然 ==R,即多元线性回归膜型的拟合优度R2等于样本复相关系数 的平方值pX,Xg· 4
第九章相关公式证明过程 4 同理有∑ = ( − )∑ 2 2 2 23 2 2 1 i i e r x （3） 结合式（1）～式（3）有 ( ) ( ) ( ) 2 23 2 3 2 3 23 2 2 2 23 2 2 3 2 2 2 2 3 23 2 3 1 1 1 1 1 2 r r r r r r y r x r r r y x r r y y y y i i y y i i y e e − ⋅ − − ⋅ − ⋅ − − ⋅ = = ∑ ∑ ∑ ∑ ⋅ ＝ （二）复相关系数与拟合优度 简单相关关系只是度量了两个变量一对一的相关关系，而以下复相关则是度量一对多的 相关关系。所谓复相关系数，即指一个变量Y 与多个变量 X X K , , 2 " 之间的相关程度的度 量指标。我们即将证明，在多元线性回归模型中，拟合优度实际就等于样本复相关系数的平 方值。 证明：根据复相关系数的定义，在计算复相关系数时可以将 X X K , , 2 " 看作一个整体， 也就是计算 X X K , , 2 " 的线性组合与Y 之间的简单相关系数。 Y B B X B X u = 1 + 2 2 +"+ K K + X X K , , 2 " 的线性组合记为Y = B1 + B2X2 +"+ BK X K * ( ) * * 2 * , , Y Y Y X X Y Y Cov Y Y K σ σ ρ = ρ = ⋅ ⋅ " ( ) [( ) ( ) ( ) ( )] [ ] ( ) () ( )( ) [ ] ( ) [ ] ( ) [ ] ( ) 2 2 * * * * 2 * * * * * * * * * * , Y E Y E Y E Y E Y E Y E Y u E Y u E Y Y E Y Cov Y Y E Y E Y Y E Y = σ = − = − + − = + − − = − − 因此 Y Y Y X X K σ σ ρ * 2 ⋅ ", = ，而样本复相关系数 Y Y Y X X K σ σ ρ ˆ ˆ ˆ * 2 ⋅ ", = Y = B1 + B2X2 +"+ BK X K * 的样本估计值为Y = b1 + b2 X 2 +"+ bK X K ˆ 其中， ∑( ) − − = 2 2 1 1 ˆ Y Y n σ Y i ， ∑( − ) − × = 2 2 ˆ 1 1 ˆ Y Y n σ Y i 显然 2 2 ˆ ˆ * R TSS ESS Y Y = = ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ σ σ ，即多元线性回归模型的拟合优度 2 R 等于样本复相关系数 的平方值 2 , 2 ˆY X " X K ρ ⋅
