第13章非线性回归与门限回归
第13章 非线性回归与门限回归
主要内容 ◆非线性最小二乘法 ◆非线性回归的Staa命令及实例 ◆门限回归 ◆面板数据的门限回归
2 主要内容 非线性最小二乘法 非线性回归的Stata命令及实例 门限回归 面板数据的门限回归
131非线性最小二乘法 对于非线性回归模型,除了MLE,还可使用“非线性 最小二乘法” ( Nonlinear least square,简记NS)。 考虑以下非线性回归模型: y=g(x,B)+E;(=1,…,m) B为K维参数向量,g()是β的非线性函数,且无法通 过变量转换变为β的线性函数
3 13.1 非线性最小二乘法 对于非线性回归模型，除了MLE，还可使用“非线性 最小二乘法”(Nonlinear Least Square，简记NLS)。 考虑以下非线性回归模型： 为𝐾维参数向量，𝒈(⋅ሻ是𝜷的非线性函数，且无法通 过变量转换变为𝜷的线性函数。 ( , ) ( 1, , ) i i i y g i n = + = x
131非线性最小二乘法 如果g(xβ)=xB,则回到古典线性回归模型 记B为β的一个假想值,对应的残差为et=y-g(x,B。 非线性最小三乘法通过选择B,使得残差平方和最小: minSSRB==∑[D-gx,) 最小化的一阶条件为: 可简化为B mmSG)=∑e=∑[-g(x, ∑ og(x B) 0 B 这是一个K个方程、K个未知数的非线性方程组。4
4 13.1 非线性最小二乘法 如果𝒈(𝐱𝒊 , 𝜷ሻ = 𝐱 ′ 𝒊𝜷，则回到古典线性回归模型。 记𝜷෩为𝜷的一个假想值，对应的残差为𝒆𝒊 = 𝒚𝒊 − 𝒈(𝐱𝒊 , 𝜷෩൯。 非线性最小二乘法通过选择𝜷෩，使得残差平方和最小： 最小化的一阶条件为： 可简化为 这是一个𝐾个方程、𝐾个未知数的非线性方程组。 2 2 1 1 minSSR( ) ( , ) n n i i i i i e y g = = = = − x 2 2 1 1 minSSR( ) ( , ) n n i i i i i e y g = = = = − x 1 ( , ) n i i i g e = = 0 x
131非线性最小二乘法 满足这个非线性方程组的估计量被称为“非线性最 小二乘估计量”,记为BMo 残差向量e与 g(x,B 0阝 正交,而不是与x正交(线性回归 的情形)。 通常没有解析解,要用数值迭代方法求解,比如牛 顿-拉夫森法 NS的大样本性质: 如果E(E1x1)=0,再加上一些技术性条件,则 BMs为β的一致估计量,且BMs服从渐近正态。 如果扰动项为球型扰动项,则BMs是渐近有效的。 5
5 13.1 非线性最小二乘法 满足这个非线性方程组的估计量被称为“非线性最 小二乘估计量” ，记为𝜷 𝑵𝑳𝑺。 残差向量𝐞与 𝛛 𝒈(𝐱,𝜷෩൯ 𝛛 𝜷෩ 正交，而不是与𝒙正交(线性回归 的情形)。 通常没有解析解，要用数值迭代方法求解，比如牛 顿-拉夫森法。 NLS的大样本性质： 如果𝐸(𝜺𝒊 |𝒙𝒊 ሻ = 𝟎，再加上一些技术性条件，则 𝜷 𝑵𝑳𝑺为𝜷的一致估计量，且𝜷 𝑵𝑳𝑺服从渐近正态。 如果扰动项为球型扰动项，则𝜷 𝑵𝑳𝑺是渐近有效的
132非线性回归的a命令及实例 n1(c=betal)+beta2] *y(beta3=1)), nolog n1(c=tbetal]+[ beta2]*y tbeta3-1), r nolog
6 13.2 非线性回归的Stata命令及实例 nl(c={beta1}+{beta2}*y^{beta3=1}),nolog nl(c={beta1}+{beta2}*y^{beta3=1}),r nolog
133门限回归 Hansen(②2000提出“门限(门槛)回归”,以严格的 统计推断方法对门限值进行参数估计与假设检验。 假设样本数据为{y,xqb}=1s 交q为用来划分样本的“门限变量”,4可以是解释 量x1的一部分 所1x1+6,若q1≤ 其中,y为待行儼值,荔另郊生解释变量,与不 相关。将此分段函数合并写为 可用N来估计B1(q≤Dm1>)+6
7 13.3 门限回归 Hansen(2000)提出“门限(门槛)回归” ，以严格的 统计推断方法对门限值进行参数估计与假设检验。 假设样本数据为 𝒚𝒊 , 𝐱𝒊 , 𝒒𝒊 𝒊=𝟏 𝒏 。 𝒒𝒊为用来划分样本的“门限变量” ，𝒒𝒊可以是解释 变量𝐱𝒊的一部分： 其中，𝜸为待估门限值， 𝐱𝒊为外生解释变量，与x不 相关。将此分段函数合并写为 可用NLS来估计。 1 2 , , i i i i i i i i y q y q = + = + 若 若 x x 1 2 1 2 ( ) ( ) i i i i i i i i y q q = = = + + 1 1 z z x x
133门限回归 如果y已知,可定义z1=x1·1(q1≤y)与Z三x1 1(q1>y),将此方程转化为线性回归模型: 实践中,常分两影最小化残差平方和 首先,给定y的取值,用OLS估计B1(y)B2(y)与(1 与B2依赖于y),并计算残差平方和SSR(y),也是y的函 数 其次,选择γ使得SSR(γ)最小化。 给定q,由于示性函数1(q1≤y)与1(q1>y)只能取 值0或1,故是γ的阶梯函数,而“阶梯的升降点”正好是 q2(只有一级“台阶”)
8 13.3 门限回归 如果𝜸已知，可定义𝒛 ሻ 𝒊𝟏 ≡ 𝒙𝒊 ⋅ 𝟏(𝒒𝒊 ≤ 𝜸 与 ሻ 𝒛𝒊𝟐 ≡ 𝒙𝒊 ⋅ 𝟏(𝒒𝒊 > 𝜸 ，将此方程转化为线性回归模型： 实践中，常分两步来最小化残差平方和。 首先，给定𝜸的取值，用OLS估计𝜷 𝟏 (𝜸൯𝜷 𝟐 (𝜸൯与(𝜷 𝟏 与𝜷 𝟐依赖于𝜸)，并计算残差平方和𝐒𝐒𝐑(𝜸ሻ，也是𝜸的函 数。 其次，选择𝜸使得𝐒𝐒𝐑(𝜸ሻ最小化。 给定𝒒𝒊，由于示性函数𝟏(𝒒 ሻ 𝒊 ≤ 𝜸 与𝟏(𝒒 ሻ 𝒊 > 𝜸 只能取 值0或1，故是𝜸的阶梯函数，而“阶梯的升降点”正好是 𝒒𝒊 (只有一级“台阶”)。 i i i i 1 1 2 2 y = + + z z
133门限回归 故SSR(y)也是γ的阶梯函数,而阶梯的升降点恰好在 {q1不重叠的观测值上,因为如果y取{q}=1以外的其 他值,不会对子样本的划分产生影响,故不改变SSR(y)。 最多只需要考虑γ取n个值即可,即y∈ {q1,q2,…,qn}。这使得SSR(y)的最小化计算得以 简化。 记最后的参数估计量为(B1(),B2(),γ)
9 13.3 门限回归 故𝐒𝐒𝐑(𝜸ሻ也是𝜸的阶梯函数，而阶梯的升降点恰好在 𝒒𝒊 𝒊=𝟏 𝒏 不重叠的观测值上，因为如果𝜸取 𝒒𝒊 𝒊=𝟏 𝒏 以外的其 他值，不会对子样本的划分产生影响，故不改变𝐒𝐒𝐑(𝜸ሻ。 最 多 只 需 要 考 虑 𝜸 取 𝒏 个 值 即 可 ， 即 𝜸 ∈ 𝒒𝟏 , 𝒒𝟐 , ⋯ , 𝒒𝒏 。这使得𝐒𝐒𝐑(𝜸ሻ的最小化计算得以 简化。 记最后的参数估计量为 𝜷 𝟏 (ෝ 𝜸ሻ, 𝜷 𝟐 (ෝ 𝜸ሻ, ෝ 𝜸
133门限回归 在一定的条件下, Hansen(2000导出了的大样本渐 近分布,在此基础上构造的置信区间,并对H:y=y0 进行似然比检验 类似地,可考虑包含“多个门限值”的门限回归。 比如,对于门限变量q,假设两个门限值为y1n2)+E1 10
10 13.3 门限回归 在一定的条件下，Hansen(2000)导出了𝛾 ො的大样本渐 近分布，在此基础上构造𝛾 ො的置信区间，并对𝐻0 : 𝛾 = 𝛾0 进行似然比检验。 类似地，可考虑包含“多个门限值”的门限回归。 比如，对于门限变量𝑞𝑖，假设两个门限值为𝛾1 < 𝛾2， 则门限回归模型为 1 1 2 1 2 3 2 ( ) ( ) ( ) i i i i i i i i y q q q = + + + x x x 1 1 1