龚光鲁,钱敏平著应用随机过程教程一与在算法和智能计算中的应用 清华大学出版社,2003 第11章Gas系,二阶矩过程时间序列 1.全体方差有限的随机变量构成的 Hilbert空间 1,1实值情形 期望为0且方差有限的随机变量全体构成的集合,记为c2.它是一个无穷维的线性空间 在C2上可以仿照欧氏空间定义内积 (,n)=E(m),(V5,n∈L2) 于是c2在此内积下成为(无穷维)欧氏空间.再仿照欧氏空间定义模(相当于长度,也称为 均方距离) ‖=(5,5)2 它有以下的重要性质: (1) Cauchy不等式:|(2,m)|‖5‖·‖n‖ (2)三角形不等式:‖l5+n|‖+l‖nl‖l 这样d(5,n)=5-n就是定义在L2上的一个距离,从而有了收敛性:即若‖5n-5|>0 则称5n→>5(它的含义恰是均方收敛E|n-5|2→0).作为线性空间C2除了不再是有限 维以外,它与普通的有限维欧氏空间一样,作为距离空间都是完备的,即:随机序列{5n}在 C2中收敛的充要条件为它是一个 Cauchy列(见第9章),也就是 vE>0,N,只要nm>N就有‖n-5m|k 定义11.1完备的无穷维欧氏空间常称为 Hi lbert空间 1.2复值情形 在通信等领域,人们常用复值的量.记i为虚数单位,若5,n都是随机变量,则 =5+i称为复值随机变量,它具有复的数学期望Es=E5+iη,非负的方差 vars=E(SS= ES+En 用一点技术处理可以证明(本书从略):对于任意复常数a,恒有E(a)=aE,两个期 望为0的复随机变量51s2的内积定义为(s1,s2)=E(s1s2).于是,实值情形的结论对于复值 情形也是适用的 2随机变量族的均方信息空间与滤波 2.1均方信息空间 记号11.2由随机变量族{a:a∈/}中任意有限个元素的任意有界连续函数全体 组成2的一个线性子空间(但对极限并不封闭),记为Φ() 再记①(2)为:包含Φ(2)且对c2中收敛性封闭的最小集合,那么①(2)是C2的 Hilbert子空间我们称它为{:a∈l}的均方信息空间.这里”均方信息”的含义是指 只要“方差有限”的信息
284 龚光鲁, 钱敏平著 应用随机过程教程 – 与在算法和智能计算中的应用 清华大学出版社, 2003 第 11 章 Gauss 系, 二阶矩过程, 时间序列 1. 全体方差有限的随机变量构成的 Hilbert空间 1, 1 实值情形 期望为 0且方差有限的随机变量全体构成的集合, 记为 L 2 ．它是一个无穷维的线性空间. 在 L 2 上可以仿照欧氏空间定义内积: (x ,h) E(xh) D = , ("x,h Î L2 ). 于是 L 2 在此内积下成为(无穷维) 欧氏空间. 再仿照欧氏空间定义模 (相当于长度，也称为 均方距离) 2 1 || x || (x ,x ) D = ． 它有以下的重要性质: （１）Cauchy 不等式: | (x,h) |£|| x || × ||h || . （２）三角形不等式: || x +h ||£||x || + ||h || . 这样 (x ,h)= ||x -h || D d 就是定义在 L 2 上的一个距离, 从而有了收敛性: 即若 || xn -x ||® 0, 则称 x ®x n ( 它的含义恰是均方收敛 | | 0 E x n -x 2® ).作为线性空间 L 2 除了不再是有限 维以外, 它与普通的有限维欧氏空间一样, 作为距离空间都是完备的, 即: 随机序列{ }n x 在 L 2 中收敛的充要条件为它是一个 Cauchy 列(见第 9 章), 也就是 "e > 0,$ , , > , ||x -x ||< e N 只要n m N 就有 n m . 定义１１.１ 完备的无穷维欧氏空间常称为 Hilbert 空间. 1. 2 复值情形 在通信等领域, 人们常用复值的量. 记 i为虚数单位, 若x，h 都是随机变量，则 V = x + ih 称为复值随机变量, 它具有复的数学期望 EV = Ex + iEh , 非负的方差 2 2 var V = E(VV} = Ex + Eh D . 用一点技术处理可以证明(本书从略): 对于任意复常数a , 恒有 E(aV) =aEV . 两个期 望为 0 的复随机变量 1 2 V ,V 的内积定义为 ( , ) ( ) V 1 V 2 E V 1 V 2 D = . 于是, 实值情形的结论对于复值 情形也是适用的. 2 随机变量族的均方信息空间与滤波 2. 1 均方信息空间 记号１１．２ 由 随机变量族{x :a Î I} a 中任意有限个元素的任意有界连续函数全体 组成 L 2 的一个线性子空间(但对极限并不封闭), 记为 F (x ) . 再记F (x ) 为: 包含 F (x ) 且对 L 2 中收敛性封闭的最小集合, 那么 F (x ) 是 L 2 的 Hilbert 子空间. 我们称它为{x :a Î I} a 的均方信息空间. 这里 ”均方信息” 的含义是指 只要 “方差有限”的信息
2.2滤波问题 滤波问题的一般提法为:假定随机变量族{a:a∈l}是可以实际测量的,且期望为 而另一个随机变量n的期望为0,方差有限,但是不能实际测量得到我们需要从测得的 {a:a∈l}对随机变量η给出一个估计η·这样的问题称为滤波问题 解滤波问题的思路的一般模式 我们知道在欧氏空间中,对于一个子空间外一个点,求此点在该子空间上的投影,就 是在该子空间中寻找一个与它距离最近的点.这个事实在 Hilbert空间仍然正确(由于 ilbert空间是无限维的,欧氏空间情形的证明当然不再适用.我们略去 Hilbert空间中的这 个基本事实的证明).于是滤波问题的解n就是n在c2?Hbet子空间Φ()上的投影.即 下面的命题 命题11.3在随机变量族{aa∈/}的均方信息空间Φ(2)中的元素n与随机变量n 最近,即7-nmn;)n-5‖,的充要条件是 d(),且 ⊥d(5) 即对任意n及任意n元(Borl)函数g(",恒有 EIn-ng(s )=0 (11.1) 定义1.4将n记为Proh:,称为关于{aa∈}的(非线性)滤波 按条件期望的定义,(11.1)说明了 Projan=E(nla:a∈D) 即关于{a:∝∈/}的条件期望于是在特殊情形,即{a:a∈l只有一个随机变量ξ的情 形,我们有 )若(,)是离散的随机变量,P(,=(x,)=时,n=∑xn Pi (2)若(5,m)有密度p(xy)时,n=[x_p(xm)-dx plu, n )du 3 Gauss系与投影再访 3.1Gass过程的定义与等价条件及其性质 nu 复习11.5随机向量n 称为服从n维Gaus分布,记为N(,2) 如果其特征函数有以下形式 ee 其中4是n维向量,Σ是nXn非负定矩阵(即任意n维向量x,恒有xΣx≥0),显见有:
285 2. 2 滤波问题 滤波问题的一般提法为：假定随机变量族{x :a Î I} a 是可以实际测量的, 且期望为 0． 而另一个随机变量h 的期望为 0, 方差有限, 但是不能实际测量得到. 我们需要从测得的 {x :a Î I} a 对随机变量h 给出一个估计 ^ h ． 这样的问题称为滤波问题. 解滤波问题的思路的一般模式 我们知道在欧氏空间中, 对于一个子空间外一个点，求此点在该子空间上的投影, 就 是在该子空间中寻找一个与它距离最近的点. 这个事实在 Hilbert 空间仍然正确 (由于 Hilbert 空间是无限维的, 欧氏空间情形的证明当然不再适用. 我们略去 Hilbert 空间中的这 个基本事实的证明). 于是滤波问题的解 Ú h 就是h在 L 2 ? Hilbert子空间 F (x ) 上的投影. 即 下面的命题 命题１１.３ 在随机变量族{x :a Î I} a 的均方信息空间F (x ) 中的元素 Ú h 与随机变量h 最近，即|| || min || || ( ) h h h V V x - = - ÎF Ú ，的充要条件是 Ú h Î F (x ) , 且 - ^ Ú h h F (x ) , 即对任意n 及任意n元（Borel）函数 (n) g ，恒有 [( ) ( , , )] 0 1 ( ) - = Ú n n E g a a h h x L x . (11.1) 定义１１.４ 将 Ú h 记为 h(x ) Pr F oj , 称为h 关于{x :a Î I} a 的(非线性)滤波. 按条件期望的定义, (11. 1)说明了 h(x ) Pr F oj = E(h | x :a Î I) a , (11. 2) 即h关于{x :a Î I} a 的条件期望. 于是在特殊情形, 即{x :a Î I} a 只有一个随机变量x 的情 形, 我们有 (1) 若(x,h)是离散的随机变量, i j ij P((x ,h) = ( x , y )) = p 时, å å = Ú i i i i i p p x h h h . (2) 若 (x,h)有密度 p( x, y)时, dx p u du p x x ] ( , ) ( , ) [ ò ò = Ú h h h . 3 Gauss 系与投影再访 3.1 Gauss 过程的定义与等价条件及其性质 复习１１.５ 随机向量 ÷ ÷ ÷ ø ö ç ç ç è æ = hn h h M 1 称为服从 n维 Gauss 分布，记为h～N(m,S ) , 如果其特征函数有以下形式 l m l l l h - S = T T T i Ee e 2 1 ， 其中 m 是n 维向量，S 是n´ n非负定矩阵（即任意 n 维向量x ，恒有 x Sx ³ 0 T ）．显见有：
nt 随机变量n=服从n维Gms分布,当且仅当,对于任意实数a1…an,线性组合 n ∑an服从一维Gaus分布(即或者是一维正态分布或者是常数) 请读者验证 命题11.6n维随机向量丌N(μ,∑),当且仅当,存在m和相互独立的m个服从 (0.1)的随机变量Z1,Z2…,Zn,以及nXm矩阵A=(an)(i≤n,j≤m,使 ∑=AA ZI 其中Z=:.矩阵∑非退化(行列式不为0时)的 Gauss分布,称为多维正态分布 Z 命题11.7若N(μ,∑),则有 (1)En=,E[(n-4)(7-)=∑ (2)+b~N4+b,AEA) 服从Gaus分布,且5P5(指所有分量都概率收敛,则ξ服从 Gauss 分布 请读者验证(1)与②2)).对于(3),我们只证一维情形,因为多维情形类似.由假定 Py5,对于ε>0,有 P(5-5Ⅷ卜E)→>0,n,m→>∞ (11.3) E5-E(, (D),Φ(x e2dl.于是(11.3)变成 在n,m→∞时 而上式左边等于 =1-0(m+5+-m+5) 因此(11.3)蕴含:存在N,只要i,j>N,上面右式就小于1-Φ(=Φ(-1).由此 -(-m+E、 )N时有 m1.+E
286 随机变量 ÷ ÷ ÷ ø ö ç ç ç è æ = hn h h M 1 服从n 维 Gauss 分布，当且仅当，对于任意实数 n a , , a 1 L ，线性组合 å= n k k k a 1 h 服从一维 Gauss 分布（ 即或者是一维正态分布, 或者是常数）． 请读者验证． 命题１１．６ n 维随机向量h～N(m,S ), 当且仅当, 存在m 和相互独立的m 个服从 N(0,1) 的随机变量Z Z Z m , , , 1 2 L ，以及n´ m矩阵 A (a ) i n, j m) = ij （ £ £ ，使 h＝A Z + m ， S＝AA T ， 其中 ÷ ÷ ÷ ø ö ç ç ç è æ = Zm Z Z M 1 ． 矩阵S 非退化（行列式不为 0 时）的 Gauss 分布，称为多维正态分布． 命题１１.７ 若h～N(m,S ) ，则有 (1) Eh = m,E[(h - m)(h - m)] = S. (2) ~ ( , ) T Ah +b N Am +b ASA . (3) (n ) x 服从 Gauss 分布, 且x ¾®x p (n ) (指所有分量都概率收敛), 则x 服从 Gauss 分布. 请读者 验证(1)与(2)). 对于(3), 我们只证一维情形, 因为多维情形类似. 由假定 x ¾®x (n ) p , 对于ε>0，有 P - > ® n m ® ¥ n m (| | ) 0, , ( ) ( ) x x e . (11. 3) 记 , ( ) ( ) ( ) 2 (i) ( j) ij i j mij = Ex - Ex s = Var x - x , ò -¥ - F = x u x e du 2 2 2 1 ( ) p . 于是(11. 3)变成 在 n,m ® ¥时 ò > - - ® e s ps | | 2 ( ) 0 2 1 2 2 x x m ij e dx ij ij . 而上式左边等于 ò + > - p |s | e 2 2 2 1 ij mij y y e dy [1 ( )] ( ) ij ij ij mij m s e s e + + F - - + = - F . 因此(11. 3)蕴含: 存在 N ，只要i, j > N , 上面右式就小于1- F(1)(= F(-1)) . 由此 [1 ( )] N 时有 > 1 - + ij mij s e , > 1 + ij mij s e
即σ土mN).由此进一步得到±mnN).可见 5(")2=σn2+m12→0(,j→∞) 于是{)}是 Hilbert空间c2中的 Cauchy列用完备性就得到:E|(m-5→0.从而有 Em→E5,War()→War5,由此 E98))leE Ee= lim Ee 可见ξ也服从 Gauss分布 定义11.8随机变量族{;:∈/}称为Gaus系,如果n,V1,…tn∈l, (54,…,5,)服从Gaus9分布.如果Guss系中的指标集/=[0,∞),则称为Gaus过程 对于 Gauss过程而言,其期望函数m(D)=E51及相关函数B(S,1)=E(551)完全地确定了 它的有限维分布族 m(t1) (,) M(L) 其中2(t1,t,)=B(12,4)-m(1m(t),称为协方差函数 例11.9 (1)若(5,n)为正态分布,则(5,5-m,5+n)为Gaus分布 (2)若{nn2}为Gs系,n=∑an5k,则{nn≥1为Gass系 记号11.10期望为0的全体Gaus随机变量不仅是C2的线性子空间,而且由于均 方收敛蕴含概率收敛(用 Chebyshev不等式),由命题11.7的(3)可知,它还是 Hilbert 子空间.记 L(5)={;:t∈l}中任意有限个元素的实线性组合组成的集合 称为{1:t∈/}的线性包再记L()为包含L(5),且对于均方极限封闭的最小集合:即 若n1"∈L(),nm-n|→0,则n∈L(2) L(2)称为{,:t∈l}的线性闭包。它的每个元素都是{:t∈}中元素线性组合在概率意义 下的极限,因而可看成整个随机过程{1t∈l}的某个“线性泛函”Φb(ξ).作为命题11.7的 直接推论,我们有下述命题 命题11.11(封闭性命题)如果{;:∈}是 Gauss系,则L(2)也是 Gauss系 此外,我们还有 命题11.12(独立性命题) (1)若{5a,:a∈1,B∈是 Gauss i系,则{a:∈}与{p:β∈}独立的充要条 件为对于任意5a,n都有Coa7g)=0
287 即 s ± N ). 由此进一步得到 2 e ± mij N ). 可见 - = ( ) ( ) 2 ( ) i j E x x 0,( , ) 2 2 s ij + mij ® i j ® ¥ . 于是{ } (n) x 是 Hilbert 空间 L 2 中的 Cauchy 列. 用完备性就得到: | | 0 E x (n) -x 2® . 从而有 Ex Ex Var x Varx (n) ® , ( (n) ) ® ，由此 l x l x l x l x lx lx i E Var i E Var n i n i Ee Ee e e n n n ( ) 2 9 ) 2 ( ) 2 1 ( ) 2 1 lim lim - - = ®¥ = ®¥ = 可见x 也服从 Gauss 分布． 定义１１．８ 随机变量族{ :t I} xt Î 称为 Gauss系, 如果 n t t I " ," 1 ,L n Î , ( , , ) 1 n t t x L x 服从 Gauss分布. 如果 Gauss 系中的指标集I = [0,¥) , 则称为 Gauss 过程. 对于 Gauss 过程而言, 其期望函数 E t m t x D ( )= 及相关函数 ( , ) ( ) E s t B s t x x D = 完全地确定了 它的有限维分布族: ÷ ÷ ÷ ÷ ø ö ç ç ç ç è æ ÷ ÷ ÷ ø ö ç ç ç è æ S ÷ ÷ ÷ ø ö ç ç ç è æ ÷ ÷ ÷ ø ö ç ç ç è æ i j£n i j t n t t t M t m t N n , 1 , ( , ) ( ) ( ) ~ 1 M M x x , 其中 ( , ) ( , ) ( ) ( ) i j i j i j S t t = B t t - m t m t , 称为协方差函数. 例１１．９ (1) 若(x,h)为正态分布, 则(x ,x -h,x +h) 为 Gauss 分布 (2) 若{ : n ³1} n x 为 Gauss 系, å= = n k n nk k a 1 h x , 则{ : n ³ 1} hn 为 Gauss 系. 记号１１.１０ 期望为 0 的全体 Gauss随机变量不仅是 L 2 的线性子空间, 而且由于均 方收敛蕴含概率收敛(用 Chebyshev 不等式), 由命题１１.７的（３）可知, 它还是 Hilbert 子空间. 记 L( ) { : t I } = t Î D x x 中任意有限个元素的实线性组合组成的集合; 称为{ :t I} xt Î 的线性包. 再记L(x ) 为包含 L(x ) , 且对于均方极限封闭的最小集合: 即 若 ( ),|| || 0 h (n) Î L x h (n) -h ® , 则h Î L(x ) . L(x ) 称为{ :t I} xt Î 的线性闭包。它的每个元素都是{ : t I} xt Î 中元素线性组合在概率意义 下的极限，因而可看成整个随机过程{ :t I} xt Î 的某个“线性泛函” F(x) ．作为命题 11.7 的 直接推论, 我们有下述命题 命题１１．１１(封闭性命题) 如果{ :t I} xt Î 是 Gauss 系, 则 L(x ) 也是 Gauss 系. 此外, 我们还有 命题１１.１２（独立性命题） (1) 若 {x ,h :a Î I, b Î J} a b 是 Gauss 系, 则{x :a Î I} a 与{h : b Î I} b 独立的充要条 件为: 对于任意 a hb x , 都有 ( ) = 0 ahb Cov x
(2)若{5a:a∈}与g:β∈引独立,那么Φ(5)与Φ(5)独立 3.2 Gauss过程的投影一线性滤波 定义11.13设1t∈D儿是期望为0的Gaus系.随机变量n在Het子 空间L()上的投影记为门,称为η关于{a:α∈l的线性滤波·也记为Proe:n,即 n∈L(5),且n-n⊥L(5) (11,1) (11.1)称为线性投影公式 定理1.14设5,t∈1)m是期望为0的Gaus系.那么 即:对 Gauss系而言,非线性滤波与线性滤波是一样的 证明首先注意n∈L(5)cΦ().其次,由于n-n⊥L(5),我们有 E[(n-m)5]=0.(Vt∈1).由命题11.12得到,n-n与{1:t∈l}独立,因而也与Φ(2) 独立.于是对于任意对s∈Φ(5)有E[(n-m)s]=0.这正说明了n-n⊥Φ(5).从而 n=n 3.3复 Gauss过程 设56=56+1n(),(k=12)的期望为0,则二元函数B(S,1)=E(0cP2)称为过程 5}与{52)}的相关函数.它是一个复的非负定函数,即对于任意m,12…,tm及任意复数 a1,…,an,恒有 B(tk,1x4a1≥0. 定义11.15复随机过程s1=51+1,称为复 Gauss过程,如果{}与{n}是相互独 立,且有限维分布族相同的 Gauss过程 3.4 Gauss过程的特征泛函 对于期望函数为0,协方差函数为R(S,1)的Gaus过程5,及任意连续增函数F(t),定义Gaus过程 5,的特征泛函为 pE(F)=Ee 即它是s随机变量5:dF(O)的特征函数在1处值.由于印∫5FO=0 Var 5, dF(O R(S,t)dF(s)dF(),因此 d:(F)=e°° 4.平稳性与宽平稳性
288 (2) 若{x :a Î I} a 与{h : b Î J} b 独立, 那么F (x ) 与F (x ) 独立. 3. 2 Gauss 过程的投影 －线性滤波 定义１１．１３ 设{x :t I)U{h} t Î 是期望为 0的 Gauss 系．随机变量 h 在 Hilbert 子 空间 L(x ) 上的投影, 记为 ^ h , 称为h关于{x :a Î I} a 的线性滤波． ^ h 也记为 h (x ) Pr L oj , 即 ( ), ^ h Î L x 且 ( ) ^ h -h ^ L x . (11, 1)’ (11. 1)’称为线性投影公式. 定理１１．１４ 设{x :t I)U{h} t Î 是期望为 0 的 Gauss系．那么 ^ h = h Ú , 即:对 Gauss 系而言, 非线性滤波与线性滤波是一样的. 证 明 首先注意 Î ( ) Ì ^ h L x F (x ) . 其 次 , 由 于 ( ) ^ h -h ^ L x , 我们有 [( ) ] 0,( ) ^ E t I h -h xt = " Î . 由命题１１.１２得到， ^ h -h 与{ :t I} xt Î 独立, 因而也与F (x ) 独立. 于是对于任意对V Î F (x ) 有 [( ) ] 0 ^ E h -h V = . 这正说明了 - ^ ^ h h F (x ) . 从而 ^ h = h Ú . 3. 3 复 Gauss 过程 设 ,( 1,2) ( ) ( ) ( ) = + i k = k t k t k V t x h 的期望为 0, 则二元函数 ( , ) ( ) (1) (2) E s t B s t V V D = 称为过程 { } (1) t V 与{ } (2) t V 的相关函数. 它是一个复的非负定函数, 即对于任意m , m t , ,t 1 L 及任意复数 a a m , , 1 L , 恒有 ( , ) 0 , 1 å ³ = k l k l m k l B t t a a . 定义１１.１５ 复随机过程 t t t V = x + ih 称为复 Gauss 过程, 如果{ }t x 与{ } ht 是相互独 立, 且有限维分布族相同的 Gauss 过程. 3. 4 Gauss 过程的特征泛函 对于期望函数为０，协方差函数为 R(s,t) 的 Gauss 过程 t x 及任意连续增函数 F(t) ，定义 Gauss 过程 t x 的特征泛函为 ( ) 0 ( ) i dF t t T F Ee x x ò F = D ， 即它是 Gauss 随机变量 ( ) 0 dF t t T x ò 的特征函数在１处值．由于 [ ( )] 0 0 = ò E dF t t T x ， [ ( )] ( , ) ( ) ( ) 0 0 0 Var dF t R s t dF s dF t T T t T ò ò ò x = ，因此 ( , ) ( ) ( ) 2 1 0 0 ( ) R s t dF s dF t T T F e ò ò F = - x ． 4. 平稳性与宽平稳性
4.1平稳序列与宽平稳序列 在实用领域中称随机变量序列5n(-∞<n<∞)为时间序列,常假定其方差有限. 定义11.16如果对于任意m,k,m维随机变量(5k41,…,5km}都与(51,…,5m}同 分布,则称2n(-∞<n<∞)为平稳序列 如果有对于任意n,k有 En=常数m,E(5n5n)=某个不依赖n的函数R(k), 则称5n(-∞<n<∞)为宽平稳序列,而R(k)称为它的相关函数 宽平稳序列是在应用中最常用的时间序列.它代表数学期望函数m(t)=E5,与相关函数 B(t,1+k)=E(ξ}5μk)=R(k)这两个最重要的平均特征都不依赖时间t的时间序列通常假定 宽平稳序列的期望函数为零,否则可以预先减去它的期望在理论上宽平稳列常在C2的框架中 讨论 定义11.17在工程无线电,控制等诸多领域中出现的宽平稳序列常假定其期望为0, 而其相关函数R(k)常可表成某个非负函数f(A)的 Fourier系数 R(k)=f()edn 这个非负函数∫(λ)称为此宽平稳序列的谱密度 相关函数概括了宽平稳序列的最重要的统计特征因而谱密度f()也同样概括了宽平 稳序列的最重要统计特征在实际问题中,可以通过序列,的一段观测值来估计,即用 f(4)=-1 (11.5) 来估计谱密度f(λ),称为谱图估计.这个估计简单易用,但是较为粗略参照非参数统计中的 核估计的思想,可以得到一些改进的估计而在宽平稳序列的期望不等于0时,则用 n+1∑:-FE=n (11.4) 作为谱图估计 在应用中,可以认为相关函数与谱密度有相同的作用.但是在具体处理上,又各有其长 处.用相关函数研究宽平稳序列称为时域方法,而用谱密度研究宽平稳序列则称为频率域方法 具有谱密度的宽平稳序列可以用它的样本平均来估计其均值m n+1-m|0 此公式的收敛是c2?的收敛,就是均方收敛其证明需要用宽平稳列的谱积分理论,这是 个已经发展得过于成熟的理论,本书由于篇幅的限制而不再选入这部分材料.又因为均方收敛 蕴含了概率收敛,所以有:以接近于1的概率有5++5nm,同时还可以用样本来估计 n+1 相关函数 505k+…+n5n+ R(k)‖ 同样它蕴含了以接近于1的概率有55+…+5BA ≈R(k).记
289 4. 1 平稳序列与宽平稳序列. 在实用领域中称随机变量序列 (-¥ < n < ¥) n x 为时间序列， 常假定其方差有限. 定义１１.１６ 如果对于任意m, k ，m 维随机变量 ( , , } k+1 k+m x L x 都与 ( , , } 1 m x L x 同 分布, 则称 (-¥ < n < ¥) n x 为平稳序列. 如果有对于任意n, k 有 E m, E( ) n R(k) x n = 常数 x n x n +k = 某个不依赖 的函数 , 则称 (-¥ < n < ¥) n x 为宽平稳序列, 而R(k ) 称为它的相关函数. 宽平稳序列是在应用中最常用的时间序列．它代表数学期望函数 E t m t x D ( )= 与相关函数 B(t,t k ) E( ) R(k) + = t t+k = D x x 这两个最重要的平均特征都不依赖时间 t的时间序列. 通常假定 宽平稳序列的期望函数为零, 否则可以预先减去它的期望. 在理论上宽平稳列常在 L 2 的框架中 讨论. 定义１１.１７ 在工程, 无线电, 控制等诸多领域中出现的宽平稳序列常假定其期望为 0, 而其相关函数R(k ) 常可表成某个非负函数 f (l) 的 Fourier 系数: ò = p l l l 2 0 R(k) f ( )e d ik , (11. 4) 这个非负函数 f (l) 称为此宽平稳序列的谱密度. 相关函数概括了宽平稳序列的最重要的统计特征, 因而谱密度 f (l) 也同样概括了宽平 稳序列的最重要统计特征. 在实际问题中, 可以通过序列 n x 的一段观测值来估计, 即用 å= - + = n k ik k e n f 0 2 ^ | | 1 1 ( ) l l x (11. 5) 来估计谱密度 f (l) , 称为谱图估计. 这个估计简单易用, 但是较为粗略. 参照非参数统计中的 核估计的思想, 可以得到一些改进的估计. 而在宽平稳序列的期望不等于 0 时, 则用 ) 1 1 | ( ) | ,( 1 1 ( ) 0 0 2 ^ ^ å å = = - + - = + = n i i n k ik k n e n f l x x x x l (11. 4)’ 作为谱图估计. 在应用中，可以认为相关函数与谱密度有相同的作用．但是在具体处理上，又各有其长 处．用相关函数研究宽平稳序列称为时域方法，而用谱密度研究宽平稳序列则称为频率域方法. 具有谱密度的宽平稳序列可以用它的样本平均来估计其均值 m: || 0 1 || 0 - ® + + + m n n x L x , 此公式的收敛是 L 2 ? 的收敛,就是均方收敛. 其证明需要用宽平稳列的谱积分理论, 这是一 个已经发展得过于成熟的理论, 本书由于篇幅的限制而不再选入这部分材料. 又因为均方收敛 蕴含了概率收敛, 所以有: 以接近于 1的概率有 m n n » + + + 1 0 x L x . 同时还可以用样本来估计 相关函数： ( ) || 0 1 || 0 - ¾¾¾® + k + + n n+k n®¥ R k n x x L x x , 同样它蕴含了 以接近于1 的概率有 ( ) 1 0 R k n k n n k » + + + + x x L x x . 记
r(k 505 n+1 它们分别是均值m与相关函数B(k)的最简便的相合估计 显见, Gauss宽平稳序列一定是平稳的.对于具有谱密度的宽平稳 Gauss列,可以有更 强的结论: P( )=1,P R(k)=1 相当一般的具有谱密度的宽平稳序列(例如只要满足hf(4)d>-∞)都可以用 下面5.3段中的ARMA模型来近似这就是在实际领域中ARMA模型被广泛采用的原因 4.2渐近平稳序列与渐近宽平稳序列 定义11.18随机变量列5n(-∞时(54…,5+m)与(51…,5件km}的分布都依分布收敛到相同的分布而渐近平稳 序列正是指在时间充分发展后近似平稳的时间序列随机变量列n(-∞<n<∞)称为渐近宽平 稳序列如果对于任意n,k,存在常数m及函数R(k),使 lm o Es n=m, lim E(SI+)=R(k) m称为渐近均值,R(k)称为渐近相关函数而渐近宽平稳序列正是指在时间充分发展后近似宽 平稳的时间序列 例11.19具有不变分布的不可约 Markov链,在初始值服从不变分布时,是平稳序列 而当初始值任意时,是渐近平稳序列 在实际数据处理应用中,用宽平稳序列来拟合建模的常常只是渐近宽平稳序列.然而这在 应用中已经足够了,因为我们都可以认为当前的时刻已经是该时间序列已发展到达到了充分长 的阶段.也就是说,在实用中我们并不严格区分宽平稳序列与渐近宽平稳序列 4.3平稳增量序列 如果随机序列显著地出现一个随时间发展的趋势,则在模型拟合时,可以研究其增量 ηn=5n-ξn,对于此增量序列,考察其平稳性,宽平稳性渐近平稳性与渐近宽平稳性,并进一 步选择合适的模型,以便得到较为合适的模型参数拟合.宽平稳增量序列经济学家们常称为单位 根过程 [注]E(n5nk)=R(k),EEn=0的平稳列5n(m=1…,N)的样本可作如下的模拟 设R(k)满足:对于任意,任意n1,…,n1,(R(n1-n,)s都是一个非负定的矩阵取独 立同分布列{n}使En=0,Ew2=R(O),待定线性组合=CWk+…+Cnn1,其系数 (c1,…,Cn)可由方程组 R(k-1)=E∑cwk2c",)=ROcc+c2c1+…+cn+n) 解得.这是一个二次方程组,可以用模拟退火方法 5.ARMA模型(Auo- Regression moving average模型) 5.1 ARMA(, q) 定义11.20对于宽平稳序列ξn,若存在不相关的时间序列En(-∞<n<∞)(在实用 中还常常假定它们是独立同分布的这时n还是平稳序列,使EEn=0, Vars=a2,且
290 1 0 ^ + + + = n m n x L x , 1 ( ) 0 ^ + + + = + n R k k n n k x x L x x . (11. 6) 它们分别是均值 m与相关函数B(k ) 的最简便的相合估计. 显见， Gauss 宽平稳序列一定是平稳的. 对于具有谱密度的宽平稳 Gauss 列, 可以有更 强的结论： ) 1 1 ( 0 ® = + + + m n P n x L x , ( )) 1 1 ( 0 ® = + + + + R k n P k n n k x x L x x . 相当一般的具有谱密度的宽平稳序 列 (例如, 只要满足 ò- > -¥ p p ln f (l)dl ) 都可以用 下面 5. 3 段中的 ARMA模型来近似, 这就是在实际领域中 ARMA 模型被广泛采用的原因. 4. 2 渐近平稳序列与渐近宽平稳序列 定义１１.１８ 随机变量列 (-¥ < n < ¥) n x 称为渐近平稳序列, 如果对于任意 m, k ,当 t ® ¥ 时( , , ) t +1 t+m x L x 与 ( , , } t +k +1 t+k+m x L x 的分布都依分布收敛到相同的分布. 而渐近平稳 序列正是指在时间充分发展后近似平稳的时间序列. 随机变量列 (-¥ < n < ¥) n x 称为渐近宽平 稳序列, 如果对于任意n, k ，存在常数 m 及函数 R(k ) ，使 lim E m,lim E( ) R(k ) t®¥ xt+n = t®¥ xt +n xt+n+k = ， m称为渐近均值, R(k ) 称为渐近相关函数. 而渐近宽平稳序列正是指在时间充分发展后近似宽 平稳的时间序列. 例１１.１９ 具有不变分布的不可约 Markov 链, 在初始值服从不变分布时, 是平稳序列; 而当初始值任意时, 是渐近平稳序列. 在实际数据处理应用中, 用宽平稳序列来拟合建模的常常只是渐近宽平稳序列．然而这在 应用中已经足够了, 因为 我们都可以认为当前的时刻已经是该时间序列已发展到达到了充分长 的阶段. 也就是说, 在实用中我们并不严格区分宽平稳序列与渐近宽平稳序列. 4. 3 平稳增量序列 如果随机序列显著地出现一个随时间发展的趋势, 则在模型拟合时, 可以研究其增量: -1 D n = n - n h x x , 对于此增量序列, 考察其平稳性, 宽平稳性, 渐近平稳性与渐近宽平稳性, 并进一 步选择合适的模型, 以便得到较为合适的模型参数拟合. 宽平稳增量序列经济学家们常称为单位 根过程 ［注］ ( ) = ( ), = 0 n n+k E n E x x R k x 的平稳列 (n 1, , N) x n = L 的样本可作如下的模拟. 设 R(k ) 满足： 对于任意l ，任意 l i j ij l n n R n n - £ , , ,( ( )) 1 L 都是一个非负定的矩阵. 取独 立同分布列{ } wn 使 0, (0) 2 Ewn = Ewn = R , 待定线性组合 1 1 . k = k + + nwk+nx c w L c , 其系数 ( , , ) 1 n c L c 可由方程组 ( 1) [( )( )] (0)[ ) 1 2 1 1 1 1 1 j j k k n k n N j i k i N i R k E c w c w R c c c c c c + - + = + - = - = å å = + +L+ 解得．这是一个二次方程组, 可以用模拟退火方法． 5. ARMA模型 (Auto-Regression Moving Average 模型) 5．１ ARMA (p, q) 定义１１.２０ 对于宽平稳序列 n x , 若存在不相关的时间序列 (-¥ < n < ¥) n e (在实用 中还常常假定它们是独立同分布的, 这时 n x 还是平稳序列), 使 2 Ee n = 0,Vare n = s , 且
5n-a15 np=bEn+bEn1+…+bE (11.7) 其中多项式A()=1-a12-…-an1P1-an”在|1无零点,(这个条件保证了5n的稳 定性质,即渐近宽平稳性也就是经过连续地递推后不会趋于无穷,则称5n(-∞<n<∞)为 p,q阶ARMA模型记为ARMA(p,q) 在实用中,由于宽平稳性,上面的系数(a1;…,an)(b,b1,…,b)可以通过序列5n的一段 观测值来估计 不难证明,宽平稳序列为ARMA(pq)的充要条件是它具有如下形式的谱密度 f()=C A(e (11.8) 其中多项式A(=)=1-a1 ap2-an在|=K1无零点,而 B()=b+b二+…+b1=+b,=9 满足(b1,…b4)=0的ARMA模型,简记为AR(p),称为p阶自回归模型,或p阶宽马氏 模型;而满足(a13…,an)=0的ARMA模型,简记为MA(q),称为q阶滑动平均模型 在应用学科中常遇到渐近宽平稳序列,实际上可以把它当作宽平稳序列,并用ARMA模型 作数据拟合.就是把数据列看成某个ARMA序列的一段样本对于看起来具有平稳性质的数据 列,一般地想象,似乎被拟合的ARMA模型的阶p,q越大越自由.事实却不是这样.过大而不 适当的pq不仅会增加了大量冗余计算工作量,有时还会出现过分拟合( over-fitting),这同样 会带来误差.所以,寻找尽量小的pq,并使之能得到可以接受的近似,称为模型的定阶问题 实用中的ARp)常常假定其自回归残差En是独立的随机变量序列,所以在51,…,5p已 知的条件下,n的条件期望为 E(5n|(m1,…5n-p)=E(a15n1+…+an5m-pl+bn)|(5n1,…,5np) 可见,知道了自回归模型系数,就可以用时刻n以前的资料,去预测时刻n时的估值,或以多大 的概率在什么范围内变化(区间估计)·如果还假定En服从正态分布,那么上式说明,对于模 型AR(p)在5n13…,5p已知的条件下,,的条件分布为正态分布 N(a15n+…+an5np,ba2) (可以把(bσ)2合为一个参数来估计,这等价于令b=1,所以以后对于AR模型,我们不妨假 定b=1),这时还可以得到误差的区间估计 5.2AR模型的定阶与偏相关系数以及模型参数的估计 定义11.21设5为宽平稳序列(并不限于ARMA模型).若实数a(j≤k)满足 E|5 (k)E F=mrfa4E|5n-∑c5m (11.9) 则a4称为第k个偏相关系数 用实测数据来拟合AR模型时,首先要判断用AR模型近似是否合适,其次要估计p(定阶) 最后还要估计AR(p)模型的p+1个待估参数.以下的准则可以由简单的计算直接验证 准则11.225n为AR(p),当且仅当,第p个偏相关系数非零,而以后的偏相关系数 都是零
291 n n p n p n n q n q a a b b b - - - - - = + - + + - x x L x e e L e 1 1 0 1 1 , (11. 7) 其中多项式 p p p p A z = - a z - - a z - a z - - 1 1 1 ( ) 1 L 在| z |£ 1 无零点 ，(这个条件保证了 n x 的稳 定性质, 即渐近宽平稳性, 也就是经过连续地递推后, 不会趋于无穷), 则称 (-¥ < n < ¥) n x 为 (p, q) 阶 ARMA 模型. 记为 ARMA(p,q ). 在实用中, 由于宽平稳性, 上面的系数( , , ),( , , , ) 1 p 0 1 q a L a b b L b 可以通过序列 n x 的一段 观测值来估计. 不难证明，宽平稳序列为 ARMA (p, q)的充要条件是它具有如下形式的谱密度 2 2 | ( ) | | ( ) | ( ) l l l i i A e B e f = C , (11. 8) 其中多项式 A(z) = p p p p - a z - - a z -a z - - 1 1 1 L 1 在| z |£ 1 无零点, 而 q q q q B z = b + b z + + b z + b z - - 1 0 1 1 ( ) L . 满足( , , ) 0 b1 L bq = 的 ARMA模型，简记为 AR(p), 称为 p 阶自回归模型, 或 p 阶宽马氏 模型; 而满足( , , ) 0 a1 L a p = 的 ARMA模型 ，简记为 MA(q), 称为 q 阶滑动平均模型. 在应用学科中常遇到渐近宽平稳序列, 实际上可以把它当作宽平稳序列, 并用 ARMA模型 作数据拟合．就是把数据列看成某个 ARMA序列的一段样本. 对于看起来具有平稳性质的数据 列, 一般地想象, 似乎被拟合的 ARMA模型的阶 p, q 越大越自由. 事实却不是这样．过大而不 适当的 p,q 不仅会增加了大量冗余计算工作量, 有时还会出现过分拟合(over-fitting), 这同样 会带来误差. 所以，寻找尽量小的 p, q , 并使之能得到可以接受的近似, 称为模型的定阶问题. 实用中的 AR(p), 常常假定其自回归残差 n e 是独立的随机变量序列, 所以在 n- n- p x , ,x 1 L 已 知的条件下, n x 的条件期望为 n p n p n n n p n p n p n n n p a a E E a a b - - - - - - - - = + + = + + + x x x x x x x e x x L L L L 1 1 1 1 1 0 1 ( | ( , , )) (([ ] ) | ( , , )) . (11. 8) 可见, 知道了自回归模型系数, 就可以用时刻n 以前的资料, 去预测时刻 n 时的估值，或以多大 的概率在什么范围内变化（区间估计）．如果还假定 n e 服从正态分布, 那么上式说明，对于模 型 AR(p),在 n- n- p x , ,x 1 L 已知的条件下, n x 的条件分布为正态分布: ( , ) 2 2 N a1 x n-1 +L+ a p x n-p b0s , (可以把 2 0 (b s ) 合为一个参数来估计, 这等价于令 1 b0 = , 所以以后对于 AR 模型, 我们不妨假 定 b0 =1), 这时还可以得到误差的区间估计． 5．2 AR 模型的定阶与偏相关系数以及模型参数的估计 定义１１．２１ 设 n x 为宽平稳序列 (并不限于 ARMA模型)． 若实数 ( ) ( ) j k k a j £ 满足 å å= - = - - = - k j n j n j k j n j c c k n j E E c k 1 2 1 , ( ) 2 | | inf | | 1, x a x L x x , (11. 9) 则 (k) ak 称为第k 个偏相关系数. 用实测数据来拟合 AR 模型时, 首先要判断用 AR 模型近似是否合适; 其次要估计 p (定阶); 最后还要估计 AR(p)模型的 p+1 个待估参数. 以下的准则可以由简单的计算直接验证： 准则１１．２２ n x 为 AR(p), 当且仅当, 第 p 个偏相关系数非零, 而以后的偏相关系数 都是零．
偏相关系数的求法记F(1…c)=E|n-∑cn 由定义它在 )…4(处取最小,所以,粗略地,(a,,…4)是方程组F 0(j=1,…,k) 的解(它们还有可能是局部极值点而非整体极小).这个方程组也就是 R(0)R(1) R(1) R(1)R(0) R(k-2)a2(|(2) R(k-1)R(k-2) R(0) R(k) 称为Yu|e-"aker方程由此可以解出第k个偏相关系数ax“'的理论值在实际情形,我们只 知道一段样本51…5N,由此可以先得到R()(j≤m)的估计R()(j≤m).再用它们来代替 上面计算第k个偏相关系数ak的Yue- .Walker方程中的R()(j≤k),得到的方程称为经验 Yule- Walker方程,它的解便是第k个偏相关系数∝k的估计∝k,称为经验偏相关系数 检查多项式1-a12-…-am12P-an2在二1有无零点在实践中是非常困难的通 常的方法在实用中既复杂且很难实际操作.因此,人们在拟合AR()模型时常常加上约束条件 ∑|a1|<1,以保证多项式1-a1 anP在|K1无零点这样就使估计参 数问题实际成为求解一个在约束条件下的最小值问题 偏相关系数的递推算法 由(11.10)利用归纳法,可以得到偏相关系数的递推算法:为此我们归纳地假定在k时已经 有了表达式.而对k+1情形,可以由k+1阶Yule- Walker方程定义如下递推方程 R(0)R(1) R(k) R(1) R(k-1)R(k-2) R(1) (k+1) R(k) R(k)R(k-1)…R(O)a+)(R(k+1) 递推地求解这个方程,就可得到{,(≤k+1)与{a/,(≤k间的递推关系 下面推导此方程的递推解法,注意此方程的系数是一个 Toeplitz矩阵,以 Toeplitz矩阵为系数的线性方程组 的解法是非常经典的.首先,我们把它改写为矩阵方程.记系数矩阵为Rk,它是对称的而且对于ARMA模型 易证它是正定的(作为习题)再记T为如下的k阶倒向算子: R(1) RO 于是对应的矩阵方程可写为 Tk rTR(Oa)」[R(k+1 也就是 292
292 偏相关系数的 求 法 记 2 1 1 ( , , ) | å | = = - - k j k k n j n j F c L c E x c x . 由定义它在 ( , , ) ( ) ( ) 1 k k k a L a 处取最小, 所以，粗略地， ( , , ) ( ) ( ) 1 k k k a L a 是方程组: 0( j 1, , k) c F j k = = L ¶ ¶ 的解（它们还有可能是局部极值点而非整体极小）． 这个方程组也就是: ÷ ÷ ÷ ÷ ÷ ø ö ç ç ç ç ç è æ = ÷ ÷ ÷ ÷ ÷ ø ö ç ç ç ç ç è æ ÷ ÷ ÷ ÷ ÷ ø ö ç ç ç ç ç è æ - - - - ( ) (2) (1) ( 1) ( 2) (0) (1) (0) ( 2) (0) (1) ( 1) ( ) ( ) 2 ( ) 1 R k R R R k R k R R R R k R R R k k k k k M M L M M M M L L a a a , (11. 10) 称为 Yule-Walker 方程. 由此可以解出第k 个偏相关系数 (k ) ak 的理论值. 在实际情形, 我们只 知道一段样本 N x , ,x 1 L , 由此可以先得到 R( j)( j £ m)的估计 ( )( ) ^ R j j £ m . 再用它们来代替 上面计算第 k 个偏相关系数 (k ) ak 的 Yule-Walker 方程中的 R( j)( j £ k) , 得到的方程称为经验 Yule-Walker 方程, 它的解便是第k 个偏相关系数 (k ) ak 的估计 ^ (k) ak , 称为经验偏相关系数. 检查多项式 p p p p - a z - - a z - a z - - 1 1 1 1 L 在| z |£ 1 有无零点, 在实践中是非常困难的. 通 常的方法在实用中既复杂且很难实际操作． 因此，人们在拟合 AR(p)模型时常常加上约束条件 | | 1 1 å < = p i i a ，以保证多项式 p p p p - a z - - a z - a z - - 1 1 1 1 L 在| z |£ 1 无零点. 这样就使估计参 数问题实际成为求解一个在约束条件下的最小值问题． 偏相关系数的递推算法 由(11. 10) 利用归纳法, 可以得到偏相关系数的递推算法：为此我们归纳地假定在k 时已经 有了表达式. 而对k +1情形，可以由k +1阶 Yule-Walker 方程定义如下递推方程 ÷ ÷ ÷ ÷ ÷ ø ö ç ç ç ç ç è æ + = ÷ ÷ ÷ ÷ ÷ ø ö ç ç ç ç ç è æ ÷ ÷ ÷ ÷ ÷ ø ö ç ç ç ç ç è æ - - - + + + + ( 1) ( ) (1) ( ) ( 1) (0) ( 1) ( 2) (1) (0) (1) ( ) ( 1) 1 ( 1) ( 1) 1 R k R k R R k R k R R k R k R R R R k k k k k k M M L L M M L M L a a a ． 递推地求解这个方程，就可得到{ ,( 1)} ( 1) £ + + j k k a j 与{ ,( } ( ) j k k a j £ 间的递推关系． 下面推导此方程的递推解法．注意此方程的系数是一个 Toepliz 矩阵, 以 Toeolitz 矩阵为系数的线性方程组 的解法是非常经典的．首先, 我们把它改写为矩阵方程．记系数矩阵为 Rk , 它是对称的而且对于 ARMA 模型 易证它是正定的 (作为习题). 再记 Tk 为如下的k阶倒向算子： ÷ ÷ ÷ ø ö ç ç ç è æ = 1 1 Tk N , rk = ÷ ÷ ÷ ø ö ç ç ç è æ ( ) (1) R k R M , xk = ÷ ÷ ÷ ø ö ç ç ç è æ - ( ) 1 ( ) 1 k k k a a M . 于是对应的矩阵方程可写为 ú û ù ê ë é + = ú û ù ê ë é ú û ù ê ë é + + + (0) ( 1) ( 1) 1 1 R k x r r T R R T r k k k k T k T k k k k a . 也就是
RK T ra(+=r rtk xk+l +R(O)a R(k+1) 注意R,与T是相互交换的由前一个方程利用R、便有 Xk+/=Rar -ak!T Rark ak)+ITNx (11.11-1) 把它代入后一个方程得到 R(k+1)=rkT(Rkrk-aktTk Rir)+akR(O) ak(r(o)-rrknk)+rkTkRKrk 由此推出 R(k+D)-rkTk R(k+1)-∑R(k+1-jx (k+l) (11.11-2) R(0) R(0)-∑R()x 综合(1.11)与1(11.11-2),就是理论偏相关系数列的以下的递推算法: R(1) R(0) (2)R(2)-R(ax1 R(0)-R()x1 a.(,k+1)-∑R(k+1-1)x R(0)-∑R()x (≤k) 同样如果用R(≤m)代替R(M≤m),则就得到相应的估计a(≤k) 由数据对AR模型粗定阶 对于一段样本51,…,5N,要拟合AR模型,则首先要确定AR模型的阶最简单的想法是:逐 个地计算出偏相关系数,如果对于某个k而言,以后的am(n>k)已经达到实际地足够小,则可 以近似地认为p=k.但是这个方法既粗糙且在实际中显然并非可行,而更为实用的是后面 将要介绍的AIC定阶法与BIC定阶法(参见5.4段中的注1) AR(P)的相关序列的 Yule. Walker方程与自回归系数(a1,…,an)的估计 对于AR(p)模型的自回归系数,自然地采用如下估计 (i≤p) 另一种看法是:注意AR(P)的相关序列{R(k)}满足以下的Yue- Walker方程 293
293 k k Rk x k + Tk rk k = r + + + ( 1) 1 a 1 , (0) ( 1) ( 1) 1 + 1 = + + r T x + R + R k k k k T k T k a . 注意Rk 与Tk 是相互交换的, 由前一个方程, 利用 ú û ù ê ë é = - ( ) 1 k k k k k x R r a , 便有 k k k k k k k k x R r T R r ( 1) 1 1 1 1 + - + - + = -a ú û ù ê ë é -ú û ù ê ë é = - + + k i k k k k k k k k T x x ( ) ( 1) ( ) 1 a a a , (11. 11-1) 把它代入后一个方程得到 ( 1) ( ) (0) ( 1) 1 ( 1) 1 1 1 R k r T R r T R r R k k k k k k k k k T k T k + + + - + - + = -a + a k k T k T k k k T k k k R r R r r T R r ( 1) 1 1 1 ( (0) ) + - - = a + - + . 由此推出 ú û ù ê ë é - ú û ù ê ë é + - = + + ( ) ( ) ( 1) 1 (0) ( 1) k k T k k k k T k k T k k k x R r x R k r T a a a å å = = - + - + - = k j k j k j k j R R j R k R k j 1 ( ) 1 ( ) (0) ( ) ( 1) ( 1 ) a a . (11. 11-2) 综合(11.11-1)与(11. 11-2), 就是理论偏相关系数列的以下的递推算法： ï ï ï ï ï ï ï ï î ï ï ï ï ï ï ï ï í ì = - £ - + - + - = - - = = - - + + + = + = + å å ( ) (0) ( ) ( 1) ( 1 ) (0) (1) (2) (1) (0) (1) ( ) ( 1) ( 1) 1 ( 1) ( ) 1 ( ) 1 ( ) ( 1) 1 (1) 1 (1) (2) 1 2 (1) 1 j k R R j R k R k j R R R R R R k k j k k k j k j k j k j k j k j k k a a a a a a a a a a a L (11. 11) 同样, 如果用 ( )( ) ^ R j j £ m 代替 R( j)( j £ m) , 则就得到相应的估计 ( ) ^ ( ) j k k a j £ . 由数据对 AR 模型粗定阶 对于一段样本 N x , ,x 1 L , 要拟合 AR模型, 则首先要确定 AR 模型的阶. 最简单的想法是: 逐 个地计算出偏相关系数, 如果对于某个k 而言, 以后的 ( ) ( ) n k n a n > 已经达到实际地足够小, 则可 以近似地认为 p = k . 但是这个方法既粗糙且在实际中显然并非可行．而更为实用的是后面 将要介绍的 AIC定阶法与 BIC定阶法（参见 5．4 段中的注 1）． AR(p)的相关序列的 Yule-Walker 方程与自回归系数( , , ) 1 p a L a 的估计 对于 AR(p) 模型的自回归系数, 自然地采用如下估计 ( ) ^ ( ) ^ a i p p i = ai £ 另一种看法是：注意 AR(p)的相关序列{R(k)}满足以下的 Yule-Walker 方程:
