第一章概率论基础知识 1.事件、概率和概率空间 11随机事件的运算和概率 12a代数(域)和 Borel集 设全集为Ω,7为一些Ω的子集构成的集类,若7满足 1)∈7 2)对任意A∈7,A∈7 3)对任意有限或至多可数的{An}7,UA1∈ 则称7为一个a代数(城) 给定一个集合Ω,就可以构造一个包含它的一个a代数。 推广:给定一个集类e,可以构造一个已c7的一个σ代数?。包含已的最 小的a代数,称为由已生成的a代数,记作(2)。例如设Ω=R, e={4:A=R或[a,b)或(-∞,b)或(a,∞)任意ab∈R} 为R上的一个集类,o()中的集合称为Bore集,o(2)称为直线上的Bore1 域,记为B(R) 13 Kolmogorov概率公理化定义 给定全集Ω和其子集构成的一个σ代数7,若定义在7上的函数P()满足 1)任意A∈7,0≤P(A)≤1; 2)P(92)=1 3)对任意两两不交的至多可数集=,)=∑4) 称P()为上的概率测度,(9,7,P)称为概率空间
第一章 概率论基础知识 1. 事件、概率和概率空间 1.1 随机事件的运算和概率 1.2 σ 代数(域)和 Borel 集 设全集为Ω ，F 为一些Ω 的子集构成的集类，若F 满足 1) Ω∈ F 2) 对任意 A∈ F ， A ∈ F 3) 对任意有限或至多可数的{An }⊂ F ， n ∈ F n U A 则称F 为一个σ 代数(域) 给定一个集合Ω ，就可以构造一个包含它的一个σ 代数。 推广：给定一个集类C ，可以构造一个C ⊂ F 的一个σ 代数 。包含C 的最 小的 F σ 代数，称为由C 生成的σ 代数，记作σ (C)。例如设Ω = R ， C = { } A : A = R 或[a,b)或 (−∞,b) 或 (a,∞),任意a,b ∈ R 为 R 上的一个集类，σ (C)中的集合称为 Borel 集，σ (C)称为直线上的 Borel 域，记为B (R)。 1.3 Kolmogorov 概率公理化定义 给定全集Ω 和其子集构成的一个σ 代数F ，若定义在F 上的函数 P(⋅)满足 1) 任意 A∈ F ，0 ≤ P(A) ≤ 1； 2) P(Ω) = 1； 3) 对任意两两不交的至多可数集{An }⊂ F ， ⎟ ⎠ = ∑ ⎞ ⎜ ⎝ ⎛ n n n n P U A P(A ) 称 P(⋅)为F 上的概率测度，(Ω,F, P)称为概率空间。 1
14随机变量的概念 定义:设(g只,P)为一概率空间,X=X()为9上的一个实值函数,若对 任意实数x,X(-∞,x)∈7,则称X为(2,P)上的一个(实)随机变量。 称F(x)=P(x<x)=P(x∈(-,x)=P(x(-,x)为随机变量x的分布 函数 随机变量实质上是(7)到(R3(R)上的一个可测映射(函数)。记 (X)={x(BB∈(R)=,称(X)为随机变量X所生成的G域 推广到多维情形,随机向量X=(x1,x2…x)是()到(R?,a(R")上的 个可测映射。由可测映射在(R",a(R)上诱导出一个概率测度P ⅤB∈a(R"),P(B)=P(x(B) 15全概率公式和 Bayes公式 设{B}为Ω的一个分割,即{Bk)两两不交且∪B=9。 全概率公式:P(4)=∑P(4B)P(B) B公式;P(B|A=4B)PB别 ∑ P(AB,).P(B,) 2.特征函数和母函数 2.1特征函数 设X为n维实随机向量,称p()=Eex为X的特征函数( characteristic function)。性质: 1)(0)= 2)(有界)o(m)s1w∈R 3)(共轭对称)(w)=o(-) 4)(非负定)对任意给定正整数m,任意1,l2…tn∈R"和任意复数
1.4 随机变量的概念 定义：设(Ω,F, P)为一概率空间， X = X (w) 为Ω 上的一个实值函数，若对 任意实数 x ，X −1 ((−∞, x))∈ F ，则称 X 为(Ω,F, P)上的一个（实）随机变量。 称 ( ) ( ) ( ( , )) ( (( , ))) 1 F x = P X < x = P X ∈ −∞ x = P X −∞ x − 为随机变量 X 的分布 函数。 随机变量实质上是 ( ) Ω,F 到 (R,B (R)) 上的一个可测映射 ( 函 数 )。记 = { ∈ B }⊂ F − ( ) ( ) ( ) 1 σ X X B B R ，称σ (X ) 为随机变量 X 所生成的σ 域。 推广到多维情形，随机向量 X = (X1 , X 2 ,LX n ) T 是(Ω,F )到( , ( )) n n R B R 上的 一个可测映射。由可测映射在( , ( )) n n R B R 上诱导出一个概率测度 PX ： ( ), ( ) ( ( )) 1 B R PX B P X B n − ∀ ∈ B = 1.5 全概率公式和 Bayes 公式 设{Bk }为Ω 的一个分割，即{Bk }两两不交且U = Ω 。 k Bk 全概率公式： = ∑ ⋅ k P A P A Bk P Bk ( ) ( ) ( ) Bayes 公式： ∑ ⋅ ⋅ = i i i k k k P A B P B P A B P B P B A ( ) ( ) ( ) ( ) ( ) 2. 特征函数和母函数 2.1 特征函数 设 X 为 n 维实随机向量，称 jw X 为T φ(w) = Ee X 的特征函数(characteristic function )。性质： 1) ϕ(0) = 1； 2) (有界) n ϕ(w) ≤ 1,∀w∈ R 3) (共轭对称) ； _______ ϕ(w) = ϕ(−w) 4) (非负定)对任意给定正整数 m ，任意 t1 ,t2 Ltm ∈ Rn 和任意复数 2
a1,a2an,∑∑叭(1-1)aa≥0; 5)()为R上的连续函数 6)有限多个独立随机变量和的特征函数等于各自特征函数的乘积 7)设X=(1…5n)为n维随机向量,特征函数为o(m1…wn),则 若 8)随机变量的分布函数由其特征函数唯一决定 Bocher定理:R"上的函数o(l)是某个随机变量的特征函数当且仅当()连 续非负定且q(0)=1 例如: 设X服从二项分布B(n,P),P(X=k)=2pq,k=01…m,p+q=1 其特征函数pw)=(q+pe") 设x服从参数为的 Poisson分布,其特征函数()=expl(e-) 设X服从正态分布N(A,a2),其特征函数d()=exp(m-a 2.1母函数(概率生成函数) 在硏究只取非负的整数值0,1,2,…的随机变量时,以母函数来代替特征函数 比较方便。假设随机变量X的分布为P=P(X=k),k=0,1,2,…,其中 ∑P;=1称 0(s)=Es2=∑p,s2,≤1 为随机变量X的母函数(概率生成函数)( probability generating function)。 性质: 1)q(1)=1,o()在s1绝对且一致收敛 2)o(s)唯一决定随机变量X的分布
α1 α 2 Lα m , ， ( ) 0 1 1 ∑∑ − ≥ = = m l m k l k l k ϕ t t α α ； 5) ϕ(w) 为 n R 上的连续函数。 6) 有限多个独立随机变量和的特征函数等于各自特征函数的乘积； 7) 设 ( 为 维随机向量，特征函数为 T X ξ Lξ n , = 1 ) n ( , ) ϕ w1 Lwn ,则 n n n n s s s n t n s s s s n s j w w w w E + + = + + ∂ ∂ ∂ = L L L L L 1 1 1 1 1 0 1 1 ϕ( , , ) ξ ξ ，若 n < ∞ s n s E ξ Lξ 1 1 ； 8) 随机变量的分布函数由其特征函数唯一决定。 Bocher 定理： n R 上的函数ϕ(t)是某个随机变量的特征函数当且仅当ϕ(t)连 续非负定且ϕ(0) = 1。 例如： 设 X 服从二项分布 B(n, p) ， ( ) ⎟ ⎟ , = 0,1, ; + = 1， ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = = − p q k n p q k n P X k k n k L 其特征函数 jw n φ(w) = (q + pe ) 设 X 服从参数为λ 的 Poisson 分布，其特征函数 ( ) = exp[ ( −1)] jw φ w λ e 设 X 服从正态分布 N(µ,σ2 )，其特征函数 ) 2 1 ( ) exp( 2 2 φ w = jwµ − σ w 2.1 母函数(概率生成函数) 在研究只取非负的整数值 的随机变量时，以母函数来代替特征函数 比较方便。假设随机变量 0,1,2,L X 的分布为 pk = P(X = k), k = 0,1,2,L ，其中 1, 称 0 ∑ = ∞ k= pk ( ) , 1 0 = = ∑ ≤ ∞ = s Es p s s k k k X ϕ 为随机变量 X 的母函数(概率生成函数)(probability generating function)。 性质： 1) ϕ(1) = 1,ϕ(s)在 s ≤ 1绝对且一致收敛； 2) ϕ(s) 唯一决定随机变量 X 的分布； 3
3)若随机变量X的阶矩存在,则可以用母函数在s=1的导数值来表示, 特别有EX=g(1),EX2=g(1)+g(1) 3.收敛性和极限定理 3.1各种收敛的定义 设X12X2,…Xn,…为一随机变量序列, l)若对任意E>0,limP(xn-X12E)=0,则称X1,X2…xn…依概率收 敛到随机变量X; 2)若EX存在,且 limEr-Xx=0,则称x1,X2…Xn,…P阶收敛到 随机变量X,特别当p=2,称为均方收敛 3)若Pmx=x)=1,称x,X2…X…几乎必然收敛到随机变量x 4)若其分布函数序列F(x)满足ImFn(x)=F(x)在每一个F(x)连续点处 成立,这里F(x)为X的分布函数,则称X12X2…xn2…依分布收敛到X 的分布 3.2大数定律和中心极限定理 4.条件期望 定义1:设(g,只,P)为概率空间,为7的一个子a-代数,5为(92,7,P)上 的随机变量且Eξ存在,设η为召可测的随机变量且满足 nP=5dP,vB∈E 称随机变量n为5在给定2下(关于P)的条件期望,记为E() 条件期望有如下的基本性质:(假设以下的式子有意义) )∫ LAup=JP,vB∈ 2)EE()=E 3)若E=7或占为E可测的随机变量,则E()=5,as
3) 若随机变量 X 的l 阶矩存在，则可以用母函数在s = 1的导数值来表示， 特别有 (1), (1) (1) 2 EX = ϕ′ EX = ϕ′′ +ϕ′ 3. 收敛性和极限定理 3.1 各种收敛的定义 设 X1 , X 2 ,LX n ,L为一随机变量序列， 1) 若对任意ε > 0，lim ( − ≥ ) = 0 →∞ P X X ε n n ，则称 依概率收 敛到随机变量 X1 , X 2 ,LX n ,L X ； 2) 若 p E X n 存在，且lim − = 0 →∞ p n n E X X ，则称 X1 , X 2 ,LX n ,L p 阶收敛到 随机变量 X ，特别当 p = 2，称为均方收敛。 3) 若 (lim = ) = 1 →∞ P X n X n ，称 X1 , X 2 ,LX n ,L几乎必然收敛到随机变量 X 。 4) 若其分布函数序列 Fn (x) 满足 lim F (x) F(x) n n = →∞ 在每一个 连续点处 成立，这里 为 F(x) F(x) X 的分布函数，则称 X1 , X 2 ,LX n ,L依分布收敛到 X 的分布。 3.2 大数定律和中心极限定理 4. 条件期望 定义 1：设(Ω, F, P) 为概率空间，B 为F 的一个子σ -代数，ξ 为 上 的随机变量且 (Ω, F, P) Eξ 存在，设η 为B 可测的随机变量且满足 = ∀ ∈ B ∫ ∫ dP dP B B B η ξ , 称随机变量η 为ξ 在给定B 下(关于 P )的条件期望，记为 E(ξ B )。 条件期望有如下的基本性质：(假设以下的式子有意义) 1) ( ) B = ∀ ∈ B ∫ ∫ E dP dP B B B ξ ξ , ； 2) E[E( ) ξ B ] = Eξ ； 3) 若B = F 或ξ 为B 可测的随机变量，则 E(ξ B ) = ξ, a.s.； 4
4)若5=ca,则E()=cas 5)(线性可加性)E(a5+bn2)=aE()+bE(nas: 6)若520as,则E()0a. 7)若5nas,则E()E()as,特别E()≤Ea)
4) 若ξ = c,a.s.，则 E( ) ξ B = c, a.s.； 5) (线性可加性) E( ) aξ + bη B = aE(ξ B )+ bE(η B ), a.s.； 6) 若ξ ≥ 0,a.s.，则 E( ) ξ B ≥ 0, a.s.； 7) 若ξ ≤η,a.s.，则 E( ) ξ B ≤ E(η B ), a.s.，特别 E(ξ B ) ≤ E(ξ B )。 5