龚光鲁,钱敏平著应用随机过程教程及其在算法与智能计算中的应用 清华大学出版社,2003 第1章概率论精要回顾与补充 1基本框架与典型分布 1.1概率 定义1.1记g={o:为一个基本事件,即随机试验的一个可能结果},它称 为样本空间.设7是Ω2的某些集合(称为事件)组成的类它如果满足 由AAn∈(n≥1)能推出∪A∩41,A=g-A∈? 就称为一个事件体(代数).如果在?上定义了一个非负函数P(A),VA∈?,满足 P(9)=1,而且对于任意A∈只(121),只要A1∩A≠⑧(≠j),就有 PUA)=∑P(4),则称P(4)为事件A的概率 1.2随机变量 定义1·2一个随机地取实数值的量称为随机变量,定义随机变量ξ的分布函数为 F(x)=P(≤x).我们用=表示5与n同分布 1.随机变量ξ的数值函数g()的数学期望(均值) 定义1.3离散随机变量ξ的概率函数(概率分布)定义为 p(x)=P(=x)(x=x1,x2),p(x)=P, (1.2) 其分布函数为F(x)=∑P,而数值函数8()的数学期望为 Eg()=∑8(x)P 如果5只取非负整数值P(5=n)=Pn,则有另一个计算公式 E5=∑P(>n,E2=∑P(>n,m) 证明:左=E(∑lms1lms)=∑E(lms;lms)=右) n,m20
1 龚光鲁，钱敏平著 应用随机过程教程及其在算法与智能计算中的应用 清华大学出版社,2003 第１章 概率论精要回顾与补充 1 基本框架与典型分布 1.1 概率 定义１．１ 记W ={w :w为一个基本事件，即随机试验的一个可能结果}，它称 为样本空间．设 F 是W 的某些集合(称为事件)组成的类, 它如果满足 由 A, An ÎF (n ³ 1)能推出 U I ¥ = ¥ = = - Î 1 1 , , n n n An A A W A D F ， (1. 1) 就称为一个事件体(s 代数)．如果在 F 上定义了一个非负函数 P(A),"AÎ F , 满足: P(W) = 1 ， 而且对于任意 Ai Î F, (i ³ 1) ， 只 要 Ai Ç Ai ¹ Æ (i ¹ j) ， 就 有 U ¥ = ¥ = = å 1 1 ( ) ( ) i i P Ai P Ai ，则称 P(A) 为事件 A 的概率. 1. 2 随机变量 定义１．２ 一个随机地取实数值的量称为随机变量, 定义随机变量x 的分布函数为 F( x) = P(x £ x) . 我们用x h d = 表示x 与h 同分布. １． 随机变量x 的数值函数 g (x ) 的数学期望(均值) 定义１．3 离散随机变量x 的概率函数（概率分布）定义为 ( ) ( ) ( , ,...), ( ) , 1 2 i i p x = P = x x = x x p x = p D x (1. 2) 其分布函数为 å£ = x x i i F(x) p , 而数值函数 g (x ) 的数学期望为 = å, ( ) ( ) i i Eg x g x p . 如果x 只取非负整数值 P = n = pn (x ) , 则有另一个计算公式： =å > n Ex P(x n) , å³ = > , 0 2 ( , ) n m Ex P x n m ． (1. 3) (证明: 左= å³ < < , 0 { } { } ( ) n m n m E I I x x = å³ < < , 0 { } { } ( ) n m n m E I I x x =右)
连续型随机变量占的分布密度为p(x),分布函数为F(x)=[p()t,数值函数g(5) 的期望为 8()=g(x)p( 如果ξ只取非负值,则有另一个计算公式 E5= 设5是以a(0<a<1的概率取一个分布函数为F(x)=∑p的一个离散随机变量,而 以1-a的概率取另一个分布函数为F(x)=[,p()的一个连续型随机变量,那么的 分布函数就应该为F(x)=aF4(x)+(1-a)F(x),而其数值函数g(5)的数学期望为 ()=a28(x),+(I-a)8(x)p(x)dx 对一般情形的随机变量5,设其分布函数为F(x),则与的函数g()的数学期望可粗略地定义为 Stilt jes积分 Eg(s)=lim ∑g(1")F(n)-(F(")j 此极限记为「g(x)dF(x),这里{t1"}是n的一个划分.这种积分的运算规律及近似计算与普 通积分类似 如果∑5k<∞5k20),则有E∑5)=∑E 这个等式说明了求无穷和与取期望可以交换次序的条件.鉴于此公式很直观,且很有用,所以我们引述于 此.而它的证明需要用到测度论的知识,故而从略 2.方差与矩母函数 定义1.4随机变量ξ的方差定义为 ar2=E(5-E2)2=E22-(E5) 矩母函数为 M()=Ee 如果它有限,它不仅包含了一切阶矩:{E(k阶矩)}的信息,而且此时的分布也可 由矩母函数唯一地确定(如果矩母函数不是有限,则人们用“纯虚的矩母函数”,即特征 函数 p(t=ee 2
2 连续型随机变量x 的分布密度为 p( x) ，分布函数为 ò-¥ = x F(x) p(t)dt ，数值函数 g (x ) 的期望为 ò +¥ -¥ Eg(x ) = g(x)p(x)dx . 如果x 只取非负值, 则有另一个计算公式 ò ¥ = > 0 Ex P(x x)dx . 设x 是以a(0 < a < 1) 的概率取一个分布函数为 å£ = x x d i i F (x) p 的一个离散随机变量，而 以1-a 的概率取另一个分布函数为 ò-¥ = x Fc (x) p(t)dt 的一个连续型随机变量， 那么x 的 分布函数就应该为 F(x) F (x) (1 )F (x) =a d + -a c ， 而其数值函数g (x ) 的数学期望为 å ò +¥ -¥ Eg = g x p + - g x p x dx i i ( ) ( ) (1 ) ( ) ( ) , x a a ． 对一般情形的随机变量x ，设其分布函数为 F( x) ，则x 的函数 g (x ) 的数学期望可粗略地定义为 Stieltjes 积分 ( ) lim ( )[ ( ) ( ( )], ( ) ( ) 1 ( ) max ( ) 0 ( ) ( ) 1 n i i n i n i t t n Eg g t F t F t n i n i i = å + - - ® ®¥ + x 此极限记为 ò +¥ -¥ g(x)dF(x) ， 这里{ } (n) i t 是[-n, n]的一个划分．这种积分的运算规律及近似计算与普 通积分类似． 我们有 如果å < ¥,( ³ 0) k k k x x , 则有 å = å k k E k E k ( x ) x ． 这个等式说明了求无穷和与取期望可以交换次序的条件. 鉴于此公式很直观, 且很有用, 所以我们引述于 此．而它的证明需要用到测度论的知识，故而从略. 2.方差与矩母函数 定义１．４ 随机变量x 的方差定义为 2 2 2 Varx = E(x - Ex ) = Ex - (Ex ) . 矩母函数为 zx M (z) = Ee , 如果它有限， 它不仅包含了一切阶矩: { k Ex （k 阶矩）} 的信息, 而且此时x 的分布也可 由矩母函数唯一地确定. (如果矩母函数不是有限, 则人们用 “纯虚的矩母函数”， 即特征 函数 x j it (t) = Ee
来代替它) 1.3d-维随机向量 d维随机向量弓的分布函数为F(x)=P≤x),这里= 5≤x是指 51≤x1,5d≤x,而数学期望和方差阵分别为 Cov, n) (5n)的协方差为Cov(,n)=Em)-E1,相关系数为Pa-ar5 Tvar n 的矩母函数定义为 M(=)=Ee 其中z=(=1,-2),而()表示转置 的特征函数定义为 p(= ee 其中t=(12…,t4) 离散随机向量ξ的概率函数(概率分布)为 P(x)=P(=x),(x=x1,x2) 设连续型随机向量5的密度为p(x),则其分布函数为F(x)=p(n)dt。同样有 egt g(x)p(x)dx 1.4独立性 定义1.5随机变量组{15n}称为独立,如果 P(1≤x1…5n≤xn)=P(1≤x1)…P(5n≤xn) 随机变量组{515n}独立分M(2)=M1(=1)…Mn(n)(其中M(=;)是51的矩母函数 分0()=1(1)…9n(n)(其中φ,O,)是5的特征函数)
3 来代替它)． 1．３ d-维随机向量 d 维随机向量x 的分布函数为 F(x) = P(x £ x) ，这里 ÷ ÷ ÷ ø ö ç ç ç è æ = d x x x M 1 ， x £ x 是指 d d x £ x ,...,x £ x 1 1 ， 而数学期望和方差阵分别为 Ex ÷ ÷ ÷ ø ö ç ç ç è æ = E d E x x M 1 , S = Cov i j i, j £d ( (x ,x ) x ． (x,h) 的协方差为 Cov(x,h) = E(xh) - ExEh , 相关系数为 x h x h rxh var ( , ) Var Cov = ． x 的矩母函数定义为 x T z M (z) = Ee ， (1. 4) 其中 ( ,..., ) 1 d T z = z z ，而 T ( ) 表示转置． x 的特征函数定义为 x F T it (t) = Ee . (1. 5) 其中 ( ,..., ) 1 d T t = t t 离散随机向量x 的概率函数(概率分布)为 ( ) ( ), ( , ,...) 1 2 p x = P x = x x = x x D . 设连续型随机向量 x 的密度为 p(x), 则其分布函数为 ò-¥ = x F(x) p(t)dt 。同样有 ò Eg(x ) = g(x) p(x)d x . 1．４ 独立性 定义１．５ 随机变量组{ ,..., } 1 n x x 称为独立, 如果 ( ,. , ) ( ) ( ) 1 1 n n 1 1 n n P x £ x L x £ x = P x £ x LP x £ x ． 随机变量组{ ,... } 1 n x x 独立 ( ) ( ) ( ) 1 1 n n Û M z = M z LM z （其中 ( ) i i M z 是 i x 的矩母函数 ( ) ( ) ( ) Û j l = j1 l1 Ljn l n （其中 ( ) ji l i 是 i x 的特征函数）
随机变量组{15n…}称为独立,如果对任意n,{51 都是独立的 两个随机向量,n称为独立,如果VA,B→5∈A与∈B都独立,这等价于 W g= Elf(g(= ef(eg(n 设随机变量ξη独立且分别具有密度∫(x),g(x),则其和ξ+n具有密度(称为f,g的 卷积) (*g)(x)= f(r-u)g(u)du=(g*f)(x) 特别地,如果在x0→P(5n-5E)->0 则称随机变量序列ξn依概率收敛到随机变量ξ,记为5n—>5·此定义的含义为,如果 忽略一个小的概率E,那么5n可以近似5 又若对于任意的分量i≤d都有5→>E,则称为 5(其中 5=(51…5),5=(51…d) 对于连续函数f(x),我们有 5P>5→f()-P>f(5)
4 随机变量组{ ,... } x1 xn L 称为独立, 如果对任意 n, { ,..., } 1 n x x 都是独立的. 两个随机向量x ,h 称为独立, 如果 "A, B Þx Î A与h Î B 都独立, 这等价于 "f , g Þ E[ f (x )g(h)] = Ef (x )Eg(h). (1. 6) 设随机变量x ,h 独立且分别具有密度 f (x), g( x) , 则其和x +h 具有密度(称为 f , g 的 卷积) ò * = - = * D ( f g)(x) f (x u)g(u)du (g f )(x) . (1. 7) 特别地，如果在x 0 Þ (| - |³ ) ¾ ¾®0 n®¥ P n e x x e ， (1. 9) 则称随机变量序列 n x 依概率收敛到随机变量x , 记为x ¾®x p n ． 此定义的含义为, 如果 忽略一个小的概率e , 那么 n x 可以近似x . 又若 对于任意的分量i £ d 都有 i n p i x ¾®x ( ) , 则称为x ¾®x p (n) （其中 ( , , ) ( ) ( ) 1 ( ) n d n n x = x L x ， ( , , ) 1 d x = x L x . 对于连续函数 f (x), 我们有 ( ) ( ) ( ) ( ) x x f x f x p n p n ¾® Þ ¾® . (1. 10)
概率论中最重要的定理之一,就是大数定律,它断定:若ξn为独立同分布的随机变量 序列,且EEn=4(n=1,2,…),则 注若ξn为非负的独立同分布的随机变量序列,而EEn=+∞(n=1,2,),则 →+∞,意即 vC>0→P(n≤C)-”>0 此结论可视为大数定律的推广 定义1.7如果随机变量序列ξ与随机变量ξ之间满足 E|5n-52 (1.11) 则称随机变量序列n均方收敛到随机变量ξ,记为5n一2→5 由 Chebysherⅴ不等式立刻可以得到均方收敛一定能推出依概率收敛 定义1.8如果随机变量序列ηn与随机变量η之间满足P(ηn-”-→>η)=1,即 7n→>n”是一个概率为1的事件,则称随机变量序列nn概率为1收敛到随机变量n,记 为nn—《>n.这里ae.是 almost everywhere的缩写 概率为1收敛一定可以推出概率收敛 (这个事实的证明需要用到一点测度论或实变函数的知识.其证明如下:事件{n→>n就是“任 给一>0,必存在n0只要n≥n0,就有|n-nk亠”.把它写成式子,就是 ∩∪∩n→nk}.故由P(n n)=1推出 m n =l eno P(U∩n→nk1)≥∩U∩an→nk2)=1 由此即能推出 lim P(nn-nk-)=1) 若随机变量序列E,独立同分布且期望有限,则5++5“E(m→),此结论 称为强大数定律 这个定理在非数学专业的概率论课程中,一般较少论及,主要因为”随机变量列的收
5 概率论中最重要的定理之一，就是大数定律, 它断定: 若 n x 为独立同分布的随机变量 序列, 且 Exn = m (n = 1,2,L) , 则 m x x ¾® + + n p n 1 L . 注 若 n x 为 非负的独 立同分布的随机变量序列 , 而 E = +¥(n = 1,2,L) n x , 则 ¾®+¥ + + n p n x L x 1 , 意即 " > 0 Þ (x £ ) ¾ ¾®0 n®¥ C P n C . 此结论可视为大数定律的推广． 定义１．７ 如果随机变量序列 n x 与随机变量x 之间满足 | | 0 E x n - x 2® ， (1. 11) 则称随机变量序列 n x 均方收敛到随机变量x , 记为x ¾¾®x 2 L n ． 由 Chebyshev 不等式立刻可以得到均方收敛一定能推出依概率收敛. 定义１．８ 如果随机变量序列hn与随机变量h 之间满足 ( ¾ ¾® ) = 1 ®¥ h h n P n , 即 “hn ®h ” 是一个概率为 1 的事件, 则称随机变量序列hn概率为１收敛到随机变量h ，记 为 h ¾¾®h a .e. n . 这里 a.e. 是 almost everywhere 的缩写. 概率为 1 收敛一定可以推出概率收敛 (这个事实的证明需要用到一点测度论或实变函数的知识. 其证明如下: 事件{h ®h} n 就是 “任 给 0 1 > m , 必存在 n0 只 要 n ³ n0 , 就 有 m n 1 |h -h |< ”. 把它写成式子 , 就 是 } 1 {| | 0 0 1 m n m n n n ® < ¥ = ¥ = IU I h h . 故由 ( ¾ ¾® ) = 1 ®¥ h h n P n 推出 }) 1 ( {| | 0 0 1 m P n n n n ® < ¥ = ¥ = U I h h }) 1 1 ( {| | 0 0 1 ³ ® < = ¥ = ¥ = m P n m n n n IU I h h . 由此即能推出 ) 1 1 lim ®¥ (| - |< = m n P hn h ). 若随机变量序列 n x 独立同分布且期望有限, 则 ( ) 1 . . 1 ® ® ¥ + + E n n a e n x x L x ， 此结论 称为强大数定律．. 这个定理在非数学专业的概率论课程中，一般较少论及, 主要因为 ”随机变量列的收
敛”是一个什么事件不易说清楚。再则,其证明也较为复杂.然而这个定理的概率直观内容 是非常清楚的,因此我们在此特别列出 注我们同样有:若随机变量序列5n为非负的,并且独立同分布,而E5n=+∞,则 +∞ 定义1.8设5为连续型随机变量其分布函数为F(x),如果随机变脸序列ξn的分布函 数收敛到F(x),则称依分布收敛到5,记为5n5 依分布收敛可以广到一般的非连续型的随机变量ξ。即:如果在随机变量ξ的分布函 数F(x)的所有的连续点x上有:随机变量序列5n的分布函数收敛到F(x)则也称为5n依分 布收敛到5.仍记为ξ (例如,遵从 Poisson分布(参见后面的典型分布-1.7 段)就是一种常见的情形) 依分布收敛也称为弱收敛,也记为5n—”>5.在概率论的理论中已经证明了 5分Ee 台E(5n)→E()(f为任意有界连续函数) 从概率收敛一定能推出依分布收敛.(证明:记5n,点的分布函数为Fn,F固定x,对于xx.≤x} F(x)≤F(x)+P(5n>x,5≤x)≤Fn(x)+P(|n-5|x-x F(x)≤ lim inf2mF(x)对称地利用x">x,可以证明F(x")≥ lim m sup>m F(x).连起来成 为F(x)≤ lim inf≥mFn(x)≤ lm m sup m>m F(x)≤F(x").如果F在x连续,那么令 便得F(x)≤ lim inf F(x)≤lm Fn(x)≤F(x) Fn(x)→>F(x)) 反之,从依分布收敛却不能推出概率收敛,除非极限随机变量为一个常数 一般地,我们有 n→5n+T 2+ 但是从n)2,n4>n并不能推出En+n->2+n
6 敛” 是一个什么事件不易说清楚。再则, 其证明也较为复杂. 然而这个定理的概率直观内容 是非常清楚的, 因此我们在此特别列出. 注 我们同样有 : 若随机变量序列 n x 为 非负的 ， 并 且 独立同分布 , 而 Exn = +¥ , 则 ¾¾®+¥ 1 + + n a.e. n x L x . 定义１．８ 设x 为连续型随机变量,其分布函数为 F(x), 如果随机变脸序列 n x 的分布函 数收敛到 F(x)，则称 n x 依分布收敛到x , 记为x ¾®x d n ． 依分布收敛可以广到一般的非连续型的随机变量x 。 即：如果在随机变量x 的分布函 数 F( x) 的所有的连续点 x 上有：随机变量序列 n x 的分布函数收敛到 F(x), 则也称为 n x 依分 布收敛到x . 仍记为 x ¾®x d n (例如,x 遵从 Poisson 分布 (参见后面的典型分布―1．７ 段 ) 就是一种常见的情形) . 依分布收敛也称为弱收敛, 也记为 x ¾®x w n . 在概率论的理论中已经证明了: lx lx x x d i i n Ee Ee ¾® Û n ® Ef (x ) Ef (x ) Û n ® （ f 为任意有界连续函数）. (1. 12) 从概率收敛一定能推出依分布收敛. (证明: 记 x ,x n 的分布函数为 Fn , F .固定 x , 对于 x' x £ . 于 是 , 由上式和 x ¾®x p n 推 出 F(x') F (x) P( £ n + x, x') x n > x £ F (x) P( £ n + | | x x') xn - x ³ - . 因 此 F(x') lim inf F (x) £ m n³m n . 对称地利用 x"> x , 可以证明 F(x") lim sup F (x) ³ m n³m n . 连起来成 为 F(x') lim inf F (x) £ m n³m n lim sup F (x) F(x") £ m n³m n £ . 如 果 F 在 x 连 续 , 那么令 x', x"® x , 便 得 F(x) lim inf F (x) £ m n³m n lim sup F (x) F(x) £ m n³m n £ . 这就是 F (x) F(x) n ® ). 反之，从依分布收敛却不能推出概率收敛, 除非极限随机变量为一个常数. 一般地, 我们有 x ¾®x h ¾®h Þ x +h ¾®x +h d n n d n p n , . (1. 1３) 但是从x ¾®x h ¾®h d n d n , 并不能推出 x + h ¾®x + h d n n ．
依分布收敛也可以用于近似计算概率 对于随机向量,类似地也有依分布收敛及收敛的充要条件.于是有 v(S1…,Sa.∑s5 →>∑s51(1.14) 概率论中另一个最重要的定理是中心极限定理,其叙述如下 若随机变量序列n为独立同分布,EEn=H且War5n=2(n=1,2,…),则 N(0,1) 中心极限定理对d维随机变量也是成立的 定理1.9( Polya定理)设随机变量序列ξn和随机变量ξ满足ξn→>ξ,且ξ的分 布函数F(x)是连续函数,则5n的分布函数Fn(x)一致收敛到5的分布函数F:(x) 此结论称为 Polya定理,其证明是数学分析的一个习题 推论1.10若随机变量序列n为独立同分布,EEn=H且 Vars=2(n 则 dy2丌·n 这可以理解为引1+…+5n有近似分布N(E(1+…+5n),am(1+…+5n) 可以用特征函数或矩母函数来表示依分布收敛,具体结论如下 若随机变量序列n的特性函数qn(4)”→Q(,且p(4)在λ=0点连续,则 qλ)必是某个随机变量ξ的特征函数,而且n5 注1以上结论比(1.12)式要好用.因为在(1.12)式中需要事先知道极限函数确实是特 征函数,而此需要正是在应用时难以判别的而此断言正好给出了判断一个函数为特征函数 的充分条件,所以这是非常有用的 注2此结论在内容上易于理解,在应用上也简单方便,但是其证明则需要用到超出本 书范围的 Fourier- Stilt jes分析这个数学工具.而在一般初等概率论中也并不给出此结论的 推导.有兴趣的读者可以选阅较高一些水平的概率论教科书,例如,严士健等人编写的《概 率论》 注3对于d维情形,相应的结论仍然正确 1.7典型分布 离散随机变量的典型分布有 [ Bernoul I i(二项)分布B(N,p)]概率函数为 P(x) :(1-p)-(0<p<1x=0,1,,N),数学期望为Np 7
7 依分布收敛也可以用于近似计算概率. 对于随机向量, 类似地也有依分布收敛及收敛的充要条件. 于是有 å å = = ¾® Û " ¾® d i i i d d i n d d i i n d d n s s s s 1 1 ( ) 1 1 ( ) ( ) 1 (x ,L,x ) (x ,L,x ) ( ,L, ), x x . (1. 14) 概率论中另一个最重要的定理是中心极限定理, 其叙述如下 若随机变量序列 n x 为独立同分布 , Exn = m 且 ( 1,2, ) Varx n = s 2 n = L , 则 (0,1) 1 N n n n d ¾® + + - s x L x m . 中心极限定理对 d 维随机变量也是成立的． 定理１．９（Polya 定理） 设随机变量序列 n x 和随机变量x 满足x x d n ® , 且x 的分 布函数 F (x) x 是连续函数, 则 n x 的分布函数 F (x) x n 一致收敛到x 的分布函数 F (x) x . 此结论称为 Polya 定理，其证明是数学分析的一个习题. 推论１．１０ 若随机变量序列 n x 为独立同分布, Exn = m 且 ( 1,2, ) Varx n = s 2 n = L , 则 | 0 2 1 | ( ) 2 2 2 ( ) 1 ®¥ -¥ s - m - -¥< <¥ ® s p× x + + x £ - ò x n n u n x n e du n Sup P L x . 这可以理解为 n x +L+ x 1 有近似分布 ( ( ), ( )) 1 1 n N E x +L+x Var x +L+ x n . 可以用特征函数或矩母函数来表示依分布收敛，具体结论如下 若随机变量序列 n x 的特性函数 j (l) ¾ ¾®j(l),且j(l) n®¥ n 在 l = 0 点连续, 则 j(l) 必是某个随机变量x 的特征函数, 而且x ¾®x d n . 注 1 以上结论比(1.12)式要好用. 因为在(1.12)式中需要事先知道极限函数确实是特 征函数, 而此需要正是在应用时难以判别的. 而此断言正好给出了判断一个函数为特征函数 的充分条件, 所以这是非常有用的. 注 2 此结论在内容上易于理解, 在应用上也简单方便, 但是其证明则需要用到超出本 书范围的 Fourier-Stieltjes 分析这个数学工具． 而在一般初等概率论中也并不给出此结论的 推导. 有兴趣的读者可以选阅较高一些水平的概率论教科书, 例如, 严士健等人编写的《概 率论》. 注 3 对于d 维情形, 相应的结论仍然正确. １．７ 典型分布 离散随机变量的典型分布有 [Bernoulli(二项)分布 B(N, p) ] 概率函数为 x N x p p x N p x - - ÷ ÷ ø ö ç ç è æ ( ) = (1 ) (0 < p < 1, x = 0,1,..., N) ， 数学期望为Np
方差为Np(1-p),矩母函数为M(-)=(pe+(1-p) [ Poisson分布 Poisson2]概率函数为p(x)=e (λ>0,x=0,1,2,) 数学期望为λ,方差为λ,矩母函数为M(=)=ee [几何分布]概率函数为p(x)=P(1-pP) 数学期望为P,方差为P,矩母函数为M()=P P 1-(1-p) 「负二项分布( Pascal分布)]r个具有独立同几何分布的随机变量的和的分布称为负二项 分布.概率函数为p(x)=Cr1p(1-p)(x=r,r+1) 数学期望为0-P),方差为一P,矩母函数为M(2)=(.Pe)y (1-p)e [多项分布]概率函数为p(x)=C”p…P"(x=(m1…,n1),n1+…+nk=m) (P12…,P4>0,p1+…+pk=1),其中Cn 连续型随机变量的典型分布 正态分布N(,a2)]分布密度为p(x)= 数学期望为μ,方差为σ2,矩母函数为M()=e 特征函数为 q()=e 「指数分布ExP]分布密度为p(x)=el.(x)(λ>0) 数学期望为1 ’方差为2,矩母函数为M(x)= 指数分布是唯一的一个取值于[O,∞)的无记忆分布,即满足:对于任意s,t>0,恒有 P(>s+l|2>D)=P(>s) 均匀分布U[a,b]分布密度为p(x) Ia, b(x) 数学期望为 方差为 矩母函数为M(二)= 8
8 方差为 Np(1- p) ，矩母函数为 z N M (z) = (pe + (1- p)) ． [Poisson 分布 Poissonl ] 概率函数为 ( 0, 0,1,2,...) ! ( ) = > = - x x p x e x l l l ， 数学期望为 l ， 方差为 l ， 矩母函数为 ( 1) ( ) - = z e M z e l ． [几何分布] 概率函数为 ( ) (1 ) ( 1,2,...) 1 = - = - p x p p x x ， 数学期望为 p 1- p ， 方差为 2 1 p - p ，矩母函数为 z z p e pe M z 1 (1 ) ( ) - - = ． [负二项分布 (Pascal 分布)] r 个具有独立同几何分布的随机变量的和的分布称为负二项 分布. 概率函数为 ( ) (1 ) ( , 1,...) = 1 - = + - - - p x C p p x r r r x r x r r ， 数学期望为 p r(1- p) ， 方差为 2 (1 ) p r - p ，矩母函数为 r z z p e pe M z ) 1 (1 ) ( ) ( - - = ． [多项分布] 概率函数为 k nk k n n n p x Cn p L p 1 L 1 1 , , ( ) = ( ( , , ), ) x = n1 L nk n1 +L+ nk = n , ( , , 0, 1) p1 L pk > p1 +L+ pk = , 其中 ! ! ! 1 , , 1 k n n n n n n C k L L = . 连续型随机变量的典型分布 [正态分布 ( , ) 2 N m s ] 分布密度为 ( 0) 2 1 ( ) 2 2 2 ( ) = > - - s ps s x m p x e ， 数学期望为 m ， 方差 为 2 s ，矩母函数为 2 2 2 1 ( ) z z M z e m + s = , 特征函数为 2 2 2 1 ( ) i t t t e m s j - = ． [指数分布 Expl ] 分布密度为 ( ) ( ) ( 0) = [0,¥) > - l l l p x e I x x ， 数学期望为 l 1 ， 方差为 2 1 l ，矩母函数为 z M z l- l ( ) = 指数分布是唯一的一个取值于[0,¥) 的无记忆分布, 即满足: 对于任意s,t > 0 , 恒有 P(x > s + t |x > t) = P(x > s) . [均匀分布 U[a,b] ] 分布密度为 ( ) 1 ( ) [ , ] I x b a p x a b - = ， 数学期望为 2 a + b ， 方差为 12 ( ) 2 b - a ，矩母函数为 b a z e e M z bz az ( ) ( ) - - =
[Gama分布(ra,A)分布)分布密度为p(x)=、x“elx(x)(,2>0) r() 数学期望为一,方差为 r(a+k) 2r(a),矩母函数为M()=(x) (HE: r(a)=(edt, r(x+1)=xr(x), r(n+1)=n 逆m0分布(r(a,)分布]设5~r(a,A),则n的分布称为逆m分布 (逆Gama分布常常在方差的 Bayes统计中,用作方差的先验分布) Er lang分布(记为 Erlang n3)它是n个独立的ExP2随机变量的和的分布.它就是 r(n,元)分布 [x2(m)分布]它是n个独立的N(0,1)随机变量的平方和的分布.分布密度为 p(x)= xe2lox(x)(x>0),数学期望为n,方差为2n [Beta分布(B(a,B)分布)] 分布密度为p(x)=a(B) x(1-x)2-on(x)(a,B>0),数学期望为 (a+B) 方差为 k阶矩为E= a(a+1)…(a+k-1) (a+B)(a+B+1) (a+B)(a+β+1)…(a+B+k-1) ∑。(9)2(x 指数族分布]是包含上述多种分布的概括与推广)分布密度为p(x)=C(9)h(x)e Weibul分布W(,4)]分布密度为p()=a"e-ls(O)a,>0), 数学期望为λr(1+-),方差为A[(1+-)-(r(1+)2 1 (若5~expx,则n=5a~W(a,)) 广义 Gamma分布]分布密度为P()sβ0-krk-e, T(K) p)()
9 ［Gamma 分布 （G(a,l) 分布）］ 分布密度为 ( ) ( ) ( ) [0, ) 1 p x x e I x x ¥ a- -l a G a l = (a,l > 0) , 数学期望为 l a , 方差为 2 l a , ( ) ( ) l a a x G G + = k k k E , 矩母函数为 a l- l ( ) = ( ) z M z . ( 注: ò ¥ - - G = 0 1 ( ) t e dt a t a , G( x + 1) = xG( x) , G(n + 1) = n!). [逆 Gamma 分布 (IG (a,l) 分布] 设x ~ G (a,l) ，则 x h 1 = 的分布称为逆 Gamma 分布． （逆 Gamma 分布常常在方差的 Bayes 统计中，用作方差的先验分布） [Erlang 分布 (记为Erlang n,l )] 它是n 个独立的 Expl 随机变量的和的分布．它就是 G（n,l) 分布． ［ ( ) 2 c n 分布 ］它是 n 个独立的 N(0,1) 随机变量的平方和的分布．分布密度为 ( ) ( 0) ) 2 2 ( 1 ( ) [0, ) 2 1 2 2 > G = ¥ - - x e I x l n p x n x n ， 数学期望为 n ， 方差为 2n． [Beta 分布 ( B(a, b ) 分布)] 分布密度为 (1 ) ( ) ( ) ( ) ( ) ( ) [0,1] 1 1 p x x x I x - - - G + G G = a b a b a b (a,b > 0) ， 数学期望为 a b a + , 方差为 ( ) ( 1) 2 a + b a + b + ab ，k 阶矩为 ( )( 1) ( 1) ( 1) ( 1) + + + + + - + + - = k k E k a b a b a b a a a x L L . [指数族分布] (是包含上述多种分布的概括与推广) 分布密度为 ( ) ( ) 1 ( ) ( ) ( ) Tk x m k k p x C h x e å = J = j J × . [Weibull 分布 W (a,l) ] 分布密度为 ( ) ( )( , 0) [0, ) 1 = × × ¥ > - - × l l l p t a t e I t a a a t ， 数学期望为 ) 1 (1 1 a aG + - l , 方差为 )) ] 1 ) ( (1 2 [ (1 2 2 a a a G + - G + - l ． （若 l x ~ exp ， 则 ~ ( , ) 1 h x W a l a = ）． [广义 Gamma 分布] 分布密度为 ( ) ( ) ( ) [0, ) ( ) 1 p t t e I t t ¥ - - - - G = b bk bk s s k b
截尾正态分布]分布函数为F(O)=C(-2)210=)(),其中d(x)为N(01)的分布函数, C为规格化常数 Pareto分布]分布密度为p(x)=/^ lao,(x) 数学期望为 (r>1),方差为 ,(P>2) l)(r-2) 另外,分布密度为P(x) +/1-01(x)的分布也称为Preo分布它出现在经济学中,例如 在成熟的市场经济社会中,财富的占有人数的分配比例近似地呈现为 Pareto分布.若5~ Pareto(r,a) 则n=log2~Exp2 [极值分布E(,B),也称为 Gumble(a,B)分布 分布函数为F(x)=(1-e )1ax)(x),数学期望为a+Cβ(C为Euer常数,方差 特征函数为q(1)=er(1-iB1) 6 (若5~ExB,则a-Blog5~ Gumble(a,B) Logistic(a,B)分布]分布函数为F(x)=-xx, 数学期望为a,方差为xB2,特征函数为 [逆 Gauss分布]分布密度为p(x)=/2 e2x)(x)λ,a>0) 2丌·x 数学期望为a,方差为 复合 Poisson分布]设51,52…为独立同分布,其分布函数均为F(x),为简单起见,我 们假定它具有密度函数∫(x),N是一个与{1,52}独立的随机变量,且遵从 Poisson, 则η=51+52+…+5N的分布称为复合 Poisson分布,其分布密度函数为 fn(x)=∑e(x),其中f”(x)为f(x)的k次卷积(参见(1.7式
10 [截尾正态分布] 分布函数为 ) ( ) 2 1 ( ) ( ( ) [0, ) F t C t I t = F - ¥ , 其中 F(x) 为 N(0,1) 的分布函数, C 为规格化常数. [Pareto 分布] 分布密度为 ( ) 1 ( ) 1 [ , ) I x x p x ra r a r = + ¥ ， 数学期望为 ,( 1) 1 > - r r ra ， 方差为 ,( 2) ( 1)( 2) 2 > - - r r r ra ． 另外，分布密度为 ( ) ( ) ( ) 1 ( ,0] I x x p x a+ -l a l + al = 的分布也称为 Pareto 分布. 它出现在经济学中, 例如, 在成熟的市场经济社会中, 财富的占有人数的分配比例近似地呈现为Pareto分布. 若x ~ Pareto(r, a) , 则 l x l h Exp a r = log ~ . [极值分布 E(a,b ) ，也称为Gumble(a,b ) 分布] 分布函数为 ( ) (1 ) ( ) [0, ) exp( ) F x e I x x ¥ - - -× = - b a , 数学期望为 a +Cb (C 为 Euler 常数), 方差 为 6 2 2 p b , 特征函数为 (t) e (1 i t) i t j = G - b × a . （若x ~ Exp1 ，则a - b logx ~ Gumble(a,b ) ）． [Logistic (a, b ) 分布] 分布函数为 b -a - + = x e F x 1 1 ( ) , 数学期望为 a , 方差为 3 2 2 p b , 特征函数为 ( ) sin( i t) i t t e i t × × × × = p b p b j a . ［逆 Gauss 分布］ 分布密度为 ( )( , 0) 2 ( ) [0, ) 2 ( ) 3 2 2 > × = ¥ - - e I x a x p x a x x a l p l l ． 数学期望为 a ， 方差为 l 3 a ． [复合 Poisson 分布] 设 , ,... x1 x 2 为独立同分布, 其分布函数均为F( x) , 为简单起见，我 们假定它具有密度函数 f (x) , N 是一个与{ , ,...} x1 x 2 独立的随机变量, 且遵从 Poissonl , 则 1 2 N h = x + x +L+ x 的分布称为复合 Poisson 分 布 , 其分布密度函数为 ( ) ! ( ) * 0 f x k f x e k k k å ¥ = - D = l l h , 其中 ( ) * f x k 为 f (x) 的k 次卷积 (参见 (1. 7)式)
