中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 态 例1(赌徒输光问题)赌徒甲有赌资a元,赌徒乙有赌资b元, a,b为不小于1的正整数。两人进行一系列的赌博。每赌一局, 输者给赢者1元,没有和局,直赌到两人中有一人输光为止。设 在每局中甲赢的概率为p,输的概率为1-p,求甲输光的概率 解:此问题实际上就是状态空间为S={02,…a+b}的一个马 氏链,其中状态0和状态a+b为吸收态。甲开始处于状态a,最 后它要么到达状态0(输光),要么到达状态a+b(将对方赢完), 然后就不赌了。求甲输光的概率,实际上就是求甲从状态a首达 状态0的概率。理论上有一步转移概率矩阵(很容易写出)就可 以求得,但这样求相当麻烦,现在用其它方法来求。 令u为甲从状态i出发首达状态0的概率。我们要求的是u。 因为状态0和状态a+b为吸收态,所以u=1,un=0,用全概率 公式,我们有: u=pu 1+qu=(p+q)u=pu+qu- 因此有: p(ln-l,)=g(u14-l1)→(u1-1)=(u1-u-1)= P 因此有: (u1-l) P中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 8 态。 例 1 （赌徒输光问题）赌徒甲有赌资 a 元，赌徒乙有赌资 b 元， a , b 为不小于 1 的正整数。两人进行一系列的赌博。每赌一局， 输者给赢者 1 元，没有和局，直赌到两人中有一人输光为止。设 在每局中甲赢的概率为 p ，输的概率为 1− p ，求甲输光的概率。 解：此问题实际上就是状态空间为 S = 0,1,2, a + b 的一个马 氏链，其中状态 0 和状态 a + b 为吸收态。甲开始处于状态 a ，最 后它要么到达状态 0 （输光），要么到达状态 a + b （将对方赢完）， 然后就不赌了。求甲输光的概率，实际上就是求甲从状态 a 首达 状态 0 的概率。理论上有一步转移概率矩阵（很容易写出）就可 以求得，但这样求相当麻烦，现在用其它方法来求。 令 i u 为甲从状态 i 出发首达状态 0 的概率。我们要求的是 u a 。 因为状态 0 和状态 a + b 为吸收态，所以 u0 =1, u a+b = 0 ，用全概率 公式，我们有： 1 1 1 1 ( ) ui = pui+ + qui−  p + q ui = pui+ + qui− 因此有： ( ) ( ) ( ) ( ) ( ) 1 0 1 1 1 1 u u p q u u p q p u u q u u u u i i i i i i i i i −         = = + − = − −  + − = − − =  因此有：   + − = + − = + −         − = 1 1 0 1 1 ( ) ( ) a b i k i a b i k i i u u p q u u