第三章线性时间序列模型的识别、估计与检验 第一节模型的识别 一、p、与φs的估计 设Y1,Y2,…,YN是序列{Y}的一段观测资料,N为样本长 度。 ①样本均值为: F=∑F 它是总体均值函数EY1的估计。 ②样本自协方差: ∑(-yXn-) 它是总体自协方差y,的估计。 ③样本自相关系数 它是总体自相关系数p,的估计。 ④样本偏自相关系数 根据样本自相关系数,利用Yule- Walker方程,可直接解出偏自 相关函数(计算机软件采用迭代方法求解) 二、性质及识别 (1)对于MA(q)模型,可以证明(BOX,P216)样本自相关 函数P,具有如下分布: Pdfcreatedwithpdffactorytrialversionwww.pdffactory.com
第三章 线性时间序列模型的识别、估计与检验 第一节 模型的识别 一、 ρs与φSS的估计 设 Y1，Y2，…，YN是序列｛Yt｝的一段观测资料，N 为样本长 度。 ①样本均值为： å= = N t Yt N I Y 1 它是总体均值函数 EYt的估计。 ②样本自协方差： (Y Y )(Y Y ) N C t s N S t s = t - + - - = å1 1 它是总体自协方差 s g 的估计。 ③样本自相关系数： 0 ˆ C Cs rs = 它是总体自相关系数 rs的估计。 ④样本偏自相关系数jss 根据样本自相关系数，利用 Yule-Walker 方程，可直接解出偏自 相关函数（计算机软件采用迭代方法求解）。 二、性质及识别 （1）对于 MA（q）模型，可以证明（BOX，P216）样本自相关 函数 rs ˆ 具有如下分布： PDF created with pdfFactory trial version www.pdffactory.com
N2空 由于s>q时,p,=0,因此, P (s>q时) 从而 1+2∑p ≈68.3% N p时,os=0,故 6。NO,1N)(sp) 在实际应用中,类似于MA(q)模型,可根据 Pdfcreatedwithpdffactorytrialversionwww.pdffactory.com
÷ ÷ ø ö ç ç è æ ÷ ÷ ø ö ç ç è æ ¾¾®¾ + å= q t s s t N N 1 2 1 2 1 rˆ r , r 渐进 由于 s>q 时， rs =0，因此， ÷ ÷ ø ö ç ç è æ ÷ ÷ ø ö ç ç è æ ¾¾®¾ + å= q t s t N N 1 2 1 2 1 rˆ 0, r 渐进 （s>q 时） 从而 ÷ ÷ ø ö ç ç è æ ÷ ÷ ø ö ç ç è æ p 时， jSS =0，故 jss ˆ 渐进 ~ N(0, 1/N) （s>p） 在实际应用中，类似于 MA（q）模型，可根据 PDF created with pdfFactory trial version www.pdffactory.com
P(i|<)=959%(由两倍标准误来判断截尾性) 来判断序列是否服从某个AR(p)模型。 (3)对于ARMA(pq)模型,由于ps和中ss是拖尾的,因此p 与@也会出现拖尾特性。但ARMA(p,q)模型的阶数p,q不可能象 AR和MA模型的识别那样有明显的识别法则。一般只能从低阶到高 阶进行探试。 第二节模型估计 经过对序列的初识别后,就可对所选模型进行参数估计。 AR(p)模型参数的矩估计 假定序列Y经过识别,确定为p阶的AR(p)模型,即Y满足 Y=qH1+q22+…+nPn+E q192…,9,为未知参数。我们的目的是估计q,92…2° 根据Yule- Walker方程,有 PI Pp-2 用样本自相关函数代替总体自相关函数,可以得到参数 q1,92…q的估计: Pdfcreatedwithpdffactorytrialversionwww.pdffactory.com
) 2 ( ˆ N P jss < =95.5%（由两倍标准误来判断截尾性） 来判断序列是否服从某个 AR（p）模型。 （3）对于 ARMA（p,q）模型，由于ρs和φSS是拖尾的，因此rs ˆ 与jss ˆ 也会出现拖尾特性。但 ARMA（p, q）模型的阶数 p, q 不可能象 AR 和 MA 模型的识别那样有明显的识别法则。一般只能从低阶到高 阶进行探试。 第二节 模型估计 经过对序列的初识别后，就可对所选模型进行参数估计。 一、AR（p）模型参数的矩估计 假定序列 Yt经过识别，确定为 p 阶的 AR（p）模型，即 Yt满足 Yt= Y Y pYp t j +j +L+j + e 1 1 2 2 j j j p , , , 1 2 L 为未知参数。我们的目的是估计j j j p , , , 1 2 L 。 根据 Yule-Walker 方程，有 ú ú ú ú ú û ù ê ê ê ê ê ë é = ú ú ú ú ú û ù ê ê ê ê ê ë é ú ú ú ú ú û ù ê ê ê ê ê ë é - - - - p p p p p p r r r j j j r r r r r r M M L L L L L L L 2 1 2 1 1 2 1 2 1 1 1 1 1 用 样 本自 相 关函数代替 总体 自 相关函 数 ，可 以 得到 参 数 j j j p , , , 1 2 L 的估计： PDF created with pdfFactory trial version www.pdffactory.com
Pp-2p 此外,也可使用OLS或ML估计方法来估计参数。 二、MA(q)模型的参数估计 对于MA(q)模型 Yt=εr1ε E 由上一章的结论知,Yt的自协方差函数满足: 70=G(1+6 +O2) y,=2(0,+001+…+040) 用代替y,得到参数01,02,…,2所满足的非线性方 程组。可直接求解,也可用迭代方法求解出:6,02…0,G2 三、ARMA(pq)模型的参数估计 ①由上一章关于ARMA(p,q)模型的自相关函数所满足的 Yule- Walker方程,有 当s>q时 ps=中1ps1+φ2p 取s=q+1,q+2,…,q+p可得到线性方程组: Pdfcreatedwithpdffactorytrialversionwww.pdffactory.com
ú ú ú ú ú û ù ê ê ê ê ê ë é ú ú ú ú ú û ù ê ê ê ê ê ë é = ú ú ú ú ú û ù ê ê ê ê ê ë é - - - - - p p p p p p p r r r r r r r r r j j j ˆ ˆ ˆ ˆ ˆ 1 ˆ 1 ˆ 1 ˆ ˆ ˆ ˆ ˆ 2 1 1 2 1 2 1 1 2 1 L L L L L L L L L 此外，也可使用 OLS 或 ML 估计方法来估计参数。 二、MA（q）模型的参数估计 对于 MA（q）模型 Yt =εt–θ1εt-1–…–θqεt-q 由上一章的结论知，Yt的自协方差函数满足： (1 ) 2 2 1 2 0 s q qq g = + +L+ ( ) 1 1 2 s s qs q q s qq sqq g = - + + +L+ - 用 s gˆ 代替 s g ，得到参数θ1，θ2，…θq，σ2 所满足的非线性方 程组。可直接求解，也可用迭代方法求解出： 2 1 2 , ˆ ˆ , , ˆ , q ˆ q L qq s 三、ARMA（p,q）模型的参数估计 ①由上一章关于 ARMA（p, q）模型的自相关函数所满足的 Yule-Walker 方程，有 当 s>q 时 ρs=φ1ρs-1+φ2ρs-2+…+φpρs-p 取 s = q+1，q+2，…，q+ p 可得到线性方程组： PDF created with pdfFactory trial version www.pdffactory.com
p+1 ,p Pg-I P Pg P 用戶代替ps,可解出ⅵ,2…9 )令 =y-1 则的自协方差函数可以由y,的自协方差函数y表示 =E()=∑EOyy-) 氵,=∑ ③将j近似看成MA(q)模型, 0 e 由于的自协方差函数产已知,故由MA(q)模型参数估计方 法可得θ1,θ2,…,θa的估计值。 Pdfcreatedwithpdffactorytrialversionwww.pdffactory.com
ú ú ú ú ú û ù ê ê ê ê ê ë é = ú ú ú ú ú û ù ê ê ê ê ê ë é ú ú ú ú ú û ù ê ê ê ê ê ë é + + + + - - + - - + - - + q p q q q p q p q p q q q p q q q p r r r j j j r r r r r r r r r M M L L L L L L L 2 1 2 1 1 2 1 2 1 1 用 rs ˆ 代替ρs，可解出j j j p ˆ , ˆ , , ˆ 1 2 L 。 ②令 t t t p t p y y y y = -j - - -j - ˆ ˆ ~ 1 1 L 则 t y ~ 的自协方差函数可以由 t y 的自协方差函数 s g 表示： ) ˆ ˆ ( ) ~ ~ ( ~ , 0 j t i t s j p i j s t t s i E y y E y y - - - = g = - = åj j = j i s p i j i j - + = åj j g , 0 ˆ ˆ ③将 t y ~ 近似看成 MA（q）模型， t y ~ =εt–θ1εt-1–…–θqεt-q 由于 t y ~ 的自协方差函数g ~ˆ 已知，故由 MA（q）模型参数估计方 法可得θ1，θ2，…，θq的估计值。 j j i s p i j s i - + = g = å jˆ jˆ gˆ ~ˆ , 0 PDF created with pdfFactory trial version www.pdffactory.com
第三节模型的检验 平稳性检验 2、模型的残差分析检验 若近似模型为AR(p),则残差为 e=y1-y1=y-q1y1-1-92y P,y-p (t=p+l,p 若近似模型为ARMA(p,q),则由递推关系式 e,=y,-p1Vr-1-.-PpJi-p +01er-1 取e=0(t≤q),依次算出ep+,epn2;…,eN,得到{en} 求残差序列{e}的样本自协方差函数和样本自相关函数: ere p(e 原假设H:p1(e)=p2(e)=…=pm(e)=0 可以证明,当N→>∞时,在原假设成立的情况下,统计量√Np,(e)渐 近于标准正态分布,即在大样本下,p,(e)近似~N(0,)。而且也可 以证明,m维随机向量有如下渐近分布: (√Np(e),Np1(e)…,Npn(e)渐近~Nm(O,Lm) 为此,构造统计量 p1(e)2+(Np2(e) Pdfcreatedwithpdffactorytrialversionwww.pdffactory.com
第三节 模型的检验 1、平稳性检验 2、模型的残差分析检验 若近似模型为 AR（p），则残差为： ˆ ˆ ˆ ˆ ( 1, 2, , ) et = yt - yt = yt -j1 yt-1 -j2 yt-2 -L-j p yt- p t = p + p + L N 若近似模型为 ARMA（p,q），则由递推关系式： t t t p t p t q t q e y y y e e = -j - - -j - +q - + +q - ˆ ˆ ˆ ˆ 1 1 L 1 1 L 取 et=0（t≤q），依次算出 ep+1, ep+2,…, eN，得到｛et｝。 求残差序列｛et｝的样本自协方差函数和样本自相关函数： å - = = + N s t s t t s e e N e 1 1 gˆ ( ) ˆ ( ) ˆ ( ) ˆ ( ) 0 e e e s s g g r = 原假设 H0：ρ1（e）=ρ2（e）=…=ρm（e）=0 可以证明，当 N—>∞时，在原假设成立的情况下，统计量 N ˆ (e) rs 渐 近于标准正态分布，即在大样本下， ˆ (e) rs 近似～ ) 1 (0, N N 。而且也可 以证明，m 维随机向量有如下渐近分布： ( ˆ ( ), ˆ ( ), , ˆ ( )) 1 2 N e N e N e r r L r m 渐近~ Nm(0, Im) 为此，构造统计量 Qm= 2 2 2 2 1 ( N ˆ (e)) ( N ˆ (e)) ( N ˆ (e)) r + r +L+ r m = ˆ ( ) 1 2 N e m s å s = r ～ ( ) 2 c m - k PDF created with pdfFactory trial version www.pdffactory.com
其中,k为拟合模型中参数个数。该检验法是Box与 Pierce于1970 年提出的 在给定显著性水平a下,查x2(m-k) 若Qn>x2(m-k),则拒绝Ho,{e}不是白噪声序列。 若Qm≤x2(m-k),则接受Ho,{et}是白噪声序列。 为了改善上述Q统计量在样本不够长的条件下的精度, Ljung和 Box于1978年对上述Q统计量进行了修正,得到另一形式的Q检验 统计量:(Box& Jenkins p364) Q(H)=N(N+2) 可以证明,在原假设H:p1(e)=p2(e)=…=pH(e)=0下 Q(H)近似~x2(H-k) 其中k为拟合模型中参数个数。Q(H)的使用法则同前 在一般时间序列软件中,都使用Q(H)统计量对残差序列是否 为白噪声进行检验。 例1:时间序列分析,杜,P12。 3、模型过拟合检验 当拟合模型建立之后,模型是否包含过多的参数(参数冗余), 需要进行评价,即进行过拟合检验。 4、模型定阶 拟合模型的残差方差是反映模型好坏的一个重要标志。 阶数增加◆残方差减少,但自由度损失,而且残方差减少速 度越来越不显著。 Pdfcreatedwithpdffactorytrialversionwww.pdffactory.com
其中，k 为拟合模型中参数个数。该检验法是 Box 与 Pierce 于 1970 年提出的。 在给定显著性水平a 下，查 ( ) 2 m - k ca ： 若 Qm> ( ) 2 m - k ca ，则拒绝 H0，｛et｝不是白噪声序列。 若 Qm< ( ) 2 m - k ca ，则接受 H0，｛et｝是白噪声序列。 为了改善上述 Q 统计量在样本不够长的条件下的精度，Ljung 和 Box 于 1978 年对上述 Q 统计量进行了修正，得到另一形式的 Q 检验 统计量：（Box&Jenkins P364） Q（H）=N（N+2） ˆ ( ) 1 2 1 e N s s H s å r = - 可以证明，在原假设 H0：ρ1（e）=ρ2（e）=…=ρH（e）=0 下， Q（H）近似～ ( ) 2 c H - k 其中 k 为拟合模型中参数个数。Q（H）的使用法则同前。 在一般时间序列软件中，都使用 Q（H）统计量对残差序列是否 为白噪声进行检验。 例 1：时间序列分析，杜，P12。 3、模型过拟合检验 当拟合模型建立之后，模型是否包含过多的参数（参数冗余）， 需要进行评价，即进行过拟合检验。 4、模型定阶 拟合模型的残差方差是反映模型好坏的一个重要标志。 阶数增加 残方差减少，但自由度损失，而且残方差减少速 度越来越不显著。 PDF created with pdfFactory trial version www.pdffactory.com
标准:较少的参数个数使G2减少到适当程度。 判定准则 aiC(k)=N logo+2k (k为模型中参数个数 AIC不是能给出模型阶的拟合估计,修正如下 BIC(k)n logo+k N Pdfcreatedwithpdffactorytrialversionwww.pdffactory.com
标准：较少的参数个数使 2 sˆ 减少到适当程度。 判定准则 AIC（k）=N ㏒ 2 sˆ +2k （ k 为模型中参数个数） AIC 不是能给出模型阶的拟合估计，修正如下： BIC(k)= N ㏒ 2 sˆ + k ㏒ N PDF created with pdfFactory trial version www.pdffactory.com