概率论与统计学经典线性回归分析5
概率论与统计学 经典线性回归分析
01 经典线性回归模型 目录 02 普通最小二乘估计 03 拟合优度和模型选择准则 04 OLS估计量的无偏性和有效性 05 参数假设检验 06 应用与重要实例 概率论与统计学 2
概率论与统计学 目录 01 02 03 2 05 04 经典线性回归模型 普通最小二乘估计 拟合优度和模型选择准则 OLS 估计量的无偏性和有效性 参数假设检验 06 应用与重要实例
01经典线性回归模型概率论与统计学
概率论与统计学 01 经典线性回归模型 3
1.经典线性回归模型>考察以下线性回归模型k>Yi =α+βjXji + &ij=1= X0 +&, i=1,.,n>其中，Yi称为因变量或被解释变量（(Dependent Variable orRegressand），X,=（1,Xii.，Xki)称为p×1维自变量或回归元(Independent Variables or Regressors), p = k +1.>=（α,β1,,βk）是p×1维的未知参数向量；&i是不可观测的随机扰动项。概率论与统计学
概率论与统计学 ➢ 考察以下线性回归模型: 𝑌𝑖 = 𝛼 + 𝑗=1 𝑘 𝛽𝑗𝑋𝑗𝑖 + 𝜀𝑖 = 𝑋𝑖 ′𝜃 + 𝜀𝑖 , 𝑖 = 1, . , 𝑛 ➢ 其 中 , 𝑌𝑖 称 为 因 变 量 或 被 解 释 变 量 (Dependent Variable or Regressand) ， 𝑋𝑖 = (1, 𝑋1𝑖 , . , 𝑋𝑘𝑖)′ 称 为 𝑝 × 1 维自变量或回归元 (Independent Variables or Regressors), 𝑝 = 𝑘 +1. ➢ 𝜃 = (𝛼, 𝛽1, . , 𝛽𝑘)′ 是 𝑝 × 1 维的未知参数向量；𝜀𝑖 是不可观测的随机扰 动项。 4 1. 经典线性回归模型
1.经典线性回归模型>假设E（εilX）=0,若存在某一参数值θ，有E (YiIX,) = E (X,0 +&X) = X,0》此时，X，对Yi的影响是一种线性关系，称线性回归模型是关于条件均值E(YiIX）的正确设定。>对E(YiIX）=X0两边求导，得：dx'edE (YiIX))6dXidXi概率论与统计学
概率论与统计学 ➢ 假设 𝐸 (𝜀𝑖 |𝑋𝑖) = 0, 若存在某一参数值 𝜃，有 𝐸 𝑌𝑖 𝑋𝑖 = 𝐸 𝑋𝑖 ′𝜃 + 𝜀𝑖 𝑋𝑖 = 𝑋𝑖 ′𝜃 ➢ 此时，𝑋𝑖 对 𝑌𝑖 的影响是一种线性关系，称线性回归模型是关于条件均 值 𝐸(𝑌𝑖 |𝑋𝑖) 的正确设定。 ➢ 对 𝐸 𝑌𝑖 𝑋𝑖 = 𝑋𝑖 ′𝜃 两边求导，得： d𝐸 (𝑌𝑖 |𝑋𝑖) d𝑋𝑖 = d𝑋𝑖 ′𝜃 d𝑋𝑖 = 𝜃 5 1. 经典线性回归模型
1.经典线性回归模型>此时，参数值dE (YIXi)0 =dXi>可解释为X,对Y,的期望边际效应（ExpectedMarginalEffect)，并称为真实参数值。·例如，若X,是收入，Yi是消费，则θ是期望边际消费倾向（MarginalPropensityto Consume)，即每增加一单位收入时，预计增加θ单位的消费。概率论与统计学
概率论与统计学 ➢ 此时，参数值 𝜃 = d𝐸 (𝑌𝑖 |𝑋𝑖) d𝑋𝑖 ➢ 可解释为 𝑋𝑖 对 𝑌𝑖 的期望边际效应 (Expected Marginal Effect)，并称 为真实参数值。 • 例如, 若 𝑋𝑖 是收入, 𝑌𝑖 是消费，则 𝜃 是期望边际消费倾向 (Marginal Propensity to Consume)，即每增加一单位收入时, 预计增加 𝜃 单 位的消费。 6 1. 经典线性回归模型
1.经典线性回归模型>现令Y = (Y, ..,Yn)',n×1X = (Xu,..,Xn)',nxp1X.Xklnx1& = (&1,..,en)',X12Xk2>这里X的第i行是1×p维行向量X’=（1,X1i.，Xki)，X::1XuXkn>线性回归模型可简洁地表示为矩阵形式Y = XO +&(n×1) (n×p) (p×1) (n×1)概率论与统计学
概率论与统计学 ➢ 现令 𝑌 = 𝑌1, . , 𝑌𝑛 ′ , 𝑛 × 1 𝑋 = 𝑋1, . , 𝑋𝑛 ′ , 𝑛 × 𝑝 𝜀 = 𝜀1, . , 𝜀𝑛 ′ , 𝑛 × 1 ➢ 这里 𝑋 的第 𝑖 行是 1 × 𝑝 维行向量 𝑋𝑖 ′ = (1, 𝑋1𝑖, . , 𝑋𝑘𝑖)， ➢ 线性回归模型可简洁地表示为矩阵形式 𝑌 = 𝑋𝜃 + 𝜀 𝑛 × 1 𝑛 × 𝑝 𝑝 × 1 (𝑛 × 1) 7 1. 经典线性回归模型 11 1 12 2 1 1 1 1 k k n kn X X X X X X X =
1.经典线性回归模型>本章假设以下条件成立假设1：[严格外生性（StrictExogeneity)]E(ciX) = E(ciXi, ...,Xn)= 0, i=1,...,n其中，i可以代表不同的企业、家庭、时期、城市等。>E(&ilX）=O隐含线性回归模型为E(YiIXi）的正确设定，因为通过重复期望法则，可推出E(εiIX）=0和E(εi)=0。概率论与统计学
概率论与统计学 ➢ 本章假设以下条件成立, ◼ 假设 1：[严格外生性 (Strict Exogeneity)] 𝐸(𝜀𝑖 |𝑋) = 𝐸(𝜀𝑖 |𝑋1, . , 𝑋𝑛) = 0, 𝑖 = 1, . , 𝑛 其中，𝑖 可以代表不同的企业、家庭、时期、城市等。 ➢ 𝐸(𝜀𝑖 |𝑋) =0 隐含线性回归模型为 𝐸 𝑌𝑖 ∣ 𝑋𝑖 的正确设定，因为通过重复期望 法则，可推出 𝐸(𝜀𝑖 ∣ 𝑋𝑖) = 0 和 𝐸(𝜀𝑖) = 0。 8 1. 经典线性回归模型
1.经典线性回归模型>除严格外生性假设之外，本章还将假设以下所谓球形误差方差(SphericalErrorVariance)条件：假设2.1：[条件同方差（ConditionalHomoskedasticity)]var (εilX) = E (X) =2> 0,i=1,.,n给定假设1，假设2.1意味着&i存在条件同方差，即var (ε;lX) = E (s?x) - [E (e;lX)]2= E (εx)= g2概率论与统计学
概率论与统计学 ➢ 除严格外生性假设之外，本章还将假设以下所谓球形误差方差 (Spherical Error Variance) 条件： ◼ 假设 2.1：[条件同方差 (Conditional Homoskedasticity)] 𝑣𝑎𝑟 𝜀𝑖 𝑋 = 𝐸 𝜀𝑖 2 𝑋 = 𝜎 2> 0, 𝑖 = 1, . , 𝑛 给定假设 1，假设 2.1 意味着 𝜀𝑖 存在条件同方差，即 𝑣𝑎𝑟 𝜀𝑖 𝑋 = 𝐸 𝜀𝑖 2 𝑋 − 𝐸 𝜀𝑖 𝑋 2 = 𝐸 𝜀𝑖 2 𝑋 = 𝜎 2 9 1. 经典线性回归模型
1.经典线性回归模型假设2.2：[条件不相关(Conditional Homoskedasticity)]E (εi8;|X) = 0,i±j,i,j E(1, ...,n}给定假设1，假设2.2意味着(s} 不存在条件自相关，即对于所有的i≠j，有cov(ci,g|X) = E (cijlX) - E(e;lX)E(gj|X)= 0概率论与统计学10
概率论与统计学 ◼ 假设 2.2：[条件不相关 (Conditional Homoskedasticity)] 𝐸 𝜀𝑖𝜀𝑗 𝑋 = 0, 𝑖 ≠ 𝑗, 𝑖,𝑗 ∈ {1, . , 𝑛} 给定假设 1，假设 2.2 意味着 {𝜀𝑖 } 不存在条件自相关，即对于所有的 𝑖 ≠ 𝑗，有 𝑐𝑜𝑣 𝜀𝑖 , 𝜀𝑗 𝑋 = 𝐸 𝜀𝑖𝜀𝑗 𝑋 − 𝐸 𝜀𝑖 𝑋 𝐸 𝜀𝑗 𝑋 = 0 10 1. 经典线性回归模型