P(Zn=1)=P(Xxn=1,yn=0)=P1(1-P2) P(T=2k|X6=1) P(Z,=0)=P(X,=0,,=0)+P(X=l, Y =1) P(X2k=3X=2,Xm=12k>为奇数m为偶数>0,X=1 P2+(1-P1)1-P2) P(Zn=-1)=P(Xn=0,Yn=1)=P2(1-n) (P2P21)·P2P23=p P(T=2k+1|X=1) 设M6=0,Mn=∑2,n21,易知{M,n≥0是马氏链 P(x2=0,X=2,Xm=12k>D为奇数m为偶数>0x0=1) 定义 =(Pi2 P2). Po=p'q NM=min{n:n≥0,Mn=-M P(T=k|X6=1)=P k为奇数;+Pq(为偶数 可知N和NM是{zn,n≥0}的停时.观察所证结果,想到验证 P(xn=3{X6=1)=∑P(T=2k|X0=1) 其中 P 关于{Zn,n≥0}是鞅,如下 p∑pq (n|0,…zn p2/(-pg) E(Mnm|0,…,Zn)=2,E(x2) ·(An(1-P2)+P1P2+(1-p1(1-P2)+AP2(1-P1)) 3.20. 并且 ①可以将M和-M看成吸收态,所以P(N<∞)=1 P=u/3u216 ②E|≤ma(“,x-) 因为有限状态的马氏链平稳分布一定存在, slim,, EJa-Ma. IINsm)<max(iM, d).limn- P(N>n)=0 丌=TP 满足停时定理的条件,所以 解方程组得 E(x)=E(x-)=1 丌=(44/81,1/3.10/81) 又因为非周期不可约链的极限分布就是它的平稳分布, E(2)=P(Mr=-M)+-(1-P(Mr=-M) 1-元 P(M M imE(xX0=1)=1×4181+2×/3+3×10/81=128/81 PM=-M)即为误判概率,得证 T1 n:n>0,Xn∈S0} min{n:n>0,x=1l≤i≤n-1Xn∈S} ①方法1,用Wald等式 因为{znn21}独立同分布,EZn=P1-P2<∞,N关于 T,=min(n: n>T,Xn=l; {zn,n≥1}是停时,且N符合PH分布,EN=a(l-P)< =min{n:n>T,X=11≤is71-1X,∈S,7≤j≤n-1,Xn=l 其中P为瞬时态集的转移矩阵根据书中P52中的Wad等式,因此m-m和U1-均只是X,…,X的函数即了和r都是关 于{Xn,n≥0}的停时 E∑Z)=(EZEN) 通过观察状态图,可以得到 P(T=k EZ.=P,-P2 P(x1=11sl≤k-1X∈S0|X6=1) E(∑Zn)=E(M) =n1(p12+p1)=(58)-(/4+1/8) 1+4)M、1 M·(1-_1 35-/84 (P1-P2)M+1) 由上面(2)可知r1=T+r',其中r1'为PH分布,其对应的状 方法2,用PH分布(略) 态空间为S=SS0',S"={2,3}为瞬时态集,S={}为吸收态, 3.18 步转移概率矩阵为 观察状态图,可以知道X0=1时,首次到达Xn=0需要经过 1/21/61/3 奇数步,而首次到达Xn=3需要经过偶数步,所以需要分奇偶 P 3/ 可以把上面的一步转移概率矩阵看成1 2 12 1 2 2 1 ( 1) ( 1, 0) (1 ) ( 0) ( 0, 0) ( 1, 1) (1 )(1 ) ( 1) ( 0, 1) (1 ) n nn n n n nn n nn PZ PX Y p p PZ PX Y PX Y pp p p PZ PX Y p p == = = = − == = =+ = = = +− − =− = = = = − 设 0 1 0, , 1 n n k k M M Zn = == ≥ ∑ , 易知{ , 0} M n n ≥ 是马氏链. 定义 min{ : 0, } N nn M M −M n = ≥ =− , 可知 N N 和 是 −M { , 0} Z n n ≥ 的停时. 观察所证结果, 想到验证 { } 1 2 2 1 (1 ) , 0 , (1 ) Mn n p p V n p p λ λ − − =≥ = − 其中 关于{ , 0} Z n n ≥ 是鞅, 如下: 1 1 1 0 0 1 1 2 12 1 2 2 1 ( ,, ) ( ,, ) ( ) ( (1 ) (1 )(1 ) (1 )) nn n n n n n n MZ M Z n M M n EV Z Z E ZZ E p p pp p p p p V λλ λ λ λλ λ λ + + + −− − − − − − =⋅ = = ⋅ − + +− − + − = = " " 并且: ①可以将 M和 看成吸收态 − M , 所以 P N( )1 <∞ = . ② max( , ) M N M M E λ λλ − − ≤ <∞ ③ { } lim max( , ) lim ( ) 0 Mn M M n Nn n E I PN n λ λλ − − →∞ > →∞ ⋅ ≤ ⋅ >= 满足停时定理的条件, 所以 0 ( ) ( )1 MT M E E λ λ − − = = ( ) ( )+ (1 ( )) 1 1 ( ) 1 M N M M T T M N MM M E PM M PM M PM M λλ λ λ λλ λ − − − − = =− − =− − ∴ =− = = − + ∵ ( ) PM M T = − 即为误判概率, 得证. (2) ① 方法 1, 用 Wald 等式 因为{ , 1} Z n n ≥ 独立同分布, EZ p p n = 1 2 − <∞ , N 关于 { , 1} Z n n ≥ 是停时, 且 N 符合 PH 分布, 0 EN I P e = − <∞ α( ) , 其中 P 为瞬时态集的转移矩阵, 根据书中 P52 中的 Wald 等式, 得 1 ( ) ( )( ) N n n n E Z EZ EN = ∑ = ∵ EZ pp n = −1 2 1 ( ) () 1 1 (1 ) 1 1 ( 1) 1 N n N n M M M M E Z EM M M M λ λ λ λ = = = ⋅− − ⋅ + + − = + ∑ 1 2 ( 1) ( )( 1) M M M EN p p λ λ − ∴ = − + 得证. ②方法 2, 用 PH 分布(略) 3.18. 观察状态图, 可以知道 0 X =1 时, 首次到达 0 Xn = 需要经过 奇数步, 而首次到达 3 Xn = 需要经过偶数步, 所以需要分奇偶 数讨论, ( ) 1 0 2 0 1 1 1 12 21 12 23 ( 2 1) ( 3, 2, 1, 2 , 0, 1) kl m k k k PT k X PX X X k l m X p p p p pq − + − = = = = = => > = = ⋅ ⋅⋅ = 为奇数 为偶数 ( ) 1 0 2 0 1 1 12 21 10 ( 2 1 1) ( 0, 2, 1,2 , 0 1) klm k k k PT k X PX X X k l m X p p p pq − − =+ = = = = => > = = ⋅ ⋅= 为奇数 为偶数 ( 1) / 2 ( 1) / 2 / 2 1 / 2 1 1 0 {} {} ( 1) k k kk PT k X p q I p q I k k − + +− ∴ = == + 为奇数 为偶数 1 0 10 1 2 11 1 2 ( 3 1) ( 2 1) (1 ) T k k k k P X X PT k X p pq p pq ∞ = ∞ − − = = == = = = = − ∑ ∑ 3.20. (1) 58 14 18 13 12 16 34 14 0 P     =     因为有限状态的马氏链平稳分布一定存在, ∴π = πP , 解方程组得 π = (44 81,1 3,10 81) 又因为非周期不可约链的极限分布就是它的平稳分布, j n n ij lim p π ( ) ∴ →∞ = lim ( 1) 1 44 81 2 1 3 3 10 81 128 81 ∴ 0 = = × + × + × = →∞ E Xn X n (2) min{ : , 1,1 1, , 1, 1} min{ : , 1} min{ : 0, 1,1 1, } min{ : 0, } 1 1 0 1 1 1 0 1 0 = > = ≤ ≤ − ∈ ≤ ≤ − = = > = = > = ≤ ≤ − ∈ = > ∈ i j n n i n n n n T X i T X S T j n X n n T X n n X i n X S T n n X S τ 因此 { } { } T1 n 1 n I I = 和 均只是 τ = X Xn , , 1 " 的函数, 即 1 1 T 和τ 都是关 于{X ,n ≥ 0} n 的停时. (3) 通过观察状态图, 可以得到: ( ) ( ) 1 0 0 1 1 11 12 13 1 ( ) ( 1,1 1, 1) ( ) 58 14 18 35 8 l k k k k k PT k PX l k X S X p pp − − − = = = ≤≤ − ∈ = = ⋅+ = ⋅+ = ⋅ 5 8 8 3 ( ) 3 5 8 1 1 1 1 1 1 = = ∴ = ⋅ ⋅ ∑ ∑ ∞ = − − ∞ = − k k k k k k E T k 由上面(2)可知 ' 1 1 1 τ = T +τ , 其中 ' 1 τ 为 PH 分布, 其对应的状 态空间为 ' ' 0 S = S ∪S , } S'= {2,3 为瞬时态集, } ' {1 S0 = 为吸收态, 一步转移概率矩阵为           = 1 4 1 8 5 8 1 4 0 3 4 1 2 1 6 1 3 ~ P 可以把上面的一步转移概率矩阵看成