《概率论》课程教学资源（学习笔记）概率论笔记.pdf_大学文库

概率论课堂笔记原生生物斗满人概，人满天概。——管子目录一概率空间与独立性 3 §1.1 事件与概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 §1.2 条件概率与独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 §1.3 概率模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 二随机变量与分布函数 6 §2.1 随机变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 §2.2 随机向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 三离散型随机变量 8 §3.1 分布列与独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 §3.2 数学期望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 §3.3 协方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 §3.4 条件分布与条件期望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 §3.5 随机游走 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 §3.6 母函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 四连续型随机变量 15 §4.1 独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 §4.2 期望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 §4.3 多元正态分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 五中心极限定理 19 §5.1 一般随机变量的期望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 §5.2 特征函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 §5.3 反转与连续性定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 §5.4 极限定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 六几种收敛 25 §6.1 四种收敛方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 §6.2 重要结论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 §6.3 强大数律 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 1

一概率空间与独立性 3 一概率空间与独立性 §1.1 事件与概率样本点-具体结果样本空间 Ω-样本点的全体事件 A-样本空间的子集例 1.1 掷硬币 Ω = {H, T}, A = {H} 电子自旋 Ω = {↑, ↓}, A = {↑} 掷骰子 Ω = {1, 2, 3, 4, 5, 6}, A = {2, 4, 6} * 上方的例子中，样本点均只有有限多个。例 1.2 道琼斯指数样本点-连续曲线 x(t), t ∈ [0, T] 样本空间 Ω = {x(t) ∈ C[0, T]} 事件运算 ←→ 集合运算事件 A 发生 ←→ 试验结果 ω ∈ A A = ∅ 不可能事件 A = Ω 必然事件事件交、并、余 ←→ A ∩ B, A ∪ B, Ac 事件的交-两事件均发生事件的并-两事件至少发生一个事件的余-事件未发生 * 可记 A ∩ B 为 AB A 与 A c 称对立事件。 A 发生则 B 亦发生 ←→ A ⊂ B A ∩ B = ∅ 时称 A, B 不相容。 * 由此亦可定义 A1, . . . , An, . . . 互不相容问题：是否要将 Ω 的所有子集定义为随机事件？ * 良好定义的随机事件为 Ω 的一个子集族，且至少要求对交、并、余三种运算封闭。例 1.3 掷硬币第一次正面向上的时刻 Ω = {1, 2, . . . } 此时样本空间为无限集合，有限交并性质不足！定义 1.1 F 为 Ω 某些子集构成的子集族，称其为事件域 (σ 域)，若： 1. Ω ∈ F 2. A ∈ F =⇒ A c ∈ F 3. An ∈ F, n ∈ N ∗ =⇒ [∞ n=1 An ∈ F 并称 (Ω, F) 为一个可测空间。例 1.4 最大 σ 域，Ω 的幂集最小 F = {Ω, ∅} 中间域，如 A ̸= ∅, Ω 时 F = {Ω, ∅, A, Ac } 定义概率：直观想法-频率稳定性 (重复试验后计数发生次数) 重复 N 次，A 发生 NA 次，经验表明 lim N→∞ NA N = c，记 c 为 P(A)。明显性质：P(∅) = 0, P(Ω) = 1。若 A ∩ B = ∅，NA∪B = NA + NB =⇒ P(A ∪ B) = P(A) + P(B) 定义 1.2 P : F → R 为 (Ω, F) 上的概率测度，若： 1. 非负性 P(A) ≥ 0 2. 规范性 P(Ω) = 1 3. 可列可加性若 {An} 互不相容，则 P [ n An = X n P(An) 并称 (Ω, F, P) 为一个概率空间

一报率空间与立 5 定义1.4独立性称A,B独立，若P(AB)=P(A)P(B) 更一般，称A1,,An相互独立是指2≤k≤n,i1<…<i,P(Aa)=ΠP(A)片两两独立是指只需k=2时满足。两两独立与相互独立不同，举例如下：例1.9古典概型中，2={1,2,3,4，A={1,3},B={1,2,C={1,4. 计算可知A.B,C两两独立，但不相互独立。定理1.5若AB独立，则A与B,A与B,A与B独立。更一般地，若一些事件相互独立，将其中部分改为其对立事件后仍然相互独立。证明：两事件时，由对称，只需证明A与B独立。由P(AB)+P(AB)=P(A)可算出结果。多事件时类似两事件一个个调整即可。例1.10“重复独立试验，小概率事件必发生” 记事件为A,A=第k次试验中A发生人，则UA表示前k次试验中A发生} P(UA)=1-P(∩A),由独立性，此式为1-Π1-P(A),由此知结采。 S1.3概率模型例111对称随机游走赌徒财富k,庄家N一k,掷均匀硬币，正面则赌徒赢庄家1，否则庄家赢赌徒1，赌至一方输光，问赌徒拾光概率。 4专学誉+ma- 计数向题例1.12坛子里有4白6红共10个球，随机取4个，求2白2红概率。样本点数目C。,事件发生的样本点数目CC哈，结果为· *古典概型重要应用：排列组合计算样本点数目经典问题：n个对象中选m个，问选法种数（是否可重复？是否考虑顺序？）。有序不重复：An无序不重复：Cm有序可重复：nm 无序可重复：插板法，看作m个小球n个盒子(-1个挡板)，知结梁为C1+m 例1.13将n个小球投入到N≥n个盒子中，投法等可能，求前n个盒子中各一个球的藏率球是否可分辨？盒子是否有容量限制？) (①)球可区分，盒子无限制（麦克斯韦-玻尔兹曼统计）：样本点个数N,合要求个数，概率 (②)球不可区分，盒子无限制（破色：爱因斯坦统计）：化为无序可重复，样本点个数C%+N-1,合要求个数 1,概率C+N- 同球不可区分，盒子容量一（费米秋拉克统计）：样本点个数吸，合要求个数1，福率为医

一概率空间与独立性 5 定义 1.4 独立性称 A, B 独立，若 P(AB) = P(A)P(B) 更一般，称 A1, . . . , An 相互独立是指 ∀2 ≤ k ≤ n, i1 < · · · < ik, P( Y k j=1 Aik ) = Y k j=1 P(Aik )；两两独立是指只需 k = 2 时满足。两两独立与相互独立不同，举例如下：例 1.9 古典概型中，Ω = {1, 2, 3, 4}, A = {1, 3}, B = {1, 2}, C = {1, 4}。计算可知 A, B, C 两两独立，但不相互独立。定理 1.5 若 A, B 独立，则 A 与 B c，A c 与 B，A c 与 B c 独立。更一般地，若一些事件相互独立，将其中部分改为其对立事件后仍然相互独立。证明：两事件时，由对称，只需证明 A 与 B c 独立。由 P(ABc ) + P(AB) = P(A) 可算出结果。多事件时类似两事件一个个调整即可。例 1.10“重复独立试验，小概率事件必发生” 记事件为 A，Ak ={第 k 次试验中 A 发生}，则 [n k=1 Ak 表示 {前 k 次试验中 A 发生}。 P( [n k=1 Ak) = 1 − P( \n k=1 A c k )，由独立性，此式为 1 − Yn k=1 (1 − P(Ak))，由此知结果。 §1.3 概率模型例 1.11 对称随机游走赌徒财富 k，庄家 N − k，掷均匀硬币，正面则赌徒赢庄家 1，否则庄家赢赌徒 1，赌至一方输光，问赌徒输光概率。记赌徒初始为 k 且输光的事件为 Ak，B 为首局正面，由此 P(Ak) = P(B)P(Ak|B) + P(B c )P(Ak|B c ) = P(Ak−1) + P(Ak+1) 2 ，且 P(A0) = 1, P(AN ) = 0，由等差数列知 P(Ak) = N − k N 。计数问题例 1.12 坛子里有 4 白 6 红共 10 个球，随机取 4 个，求 2 白 2 红概率。样本点数目 C 4 10，事件发生的样本点数目 C 2 4C 2 6，结果为 3 7 。 * 古典概型重要应用：排列组合计算样本点数目经典问题：n 个对象中选 m 个，问选法种数 (是否可重复？是否考虑顺序？)。有序不重复：A m n 无序不重复：C m n 有序可重复：n m 无序可重复：插板法，看作 m 个小球 n 个盒子 (n − 1 个挡板)，知结果为 C m n−1+m 例 1.13 将 n 个小球投入到 N ≥ n 个盒子中，投法等可能，求前 n 个盒子中各一个球的概率 (球是否可分辨？盒子是否有容量限制？)。 (1) 球可区分，盒子无限制 (麦克斯韦-玻尔兹曼统计)：样本点个数 N n，合要求个数 n!，概率 n! Nn (2) 球不可区分，盒子无限制 (玻色-爱因斯坦统计)：化为无序可重复，样本点个数 C n n+N−1，合要求个数 1，概率 1 Cn n+N−1 (3) 球不可区分，盒子容量一 (费米-狄拉克统计)：样本点个数 C n N，合要求个数 1，概率为 1 Cn N

二随机变量与分布函数 6 例 1.14 Polya 模型坛子里有一些球，b 黑 r 红，先摸出一个记下颜色后放回，并且再放入 c 个同色球。记 Bn 表示第 n 次抽到黑球，求概率。观察可发现，n 次抽取抽中 k 次黑球，任意给定次序概率相同，为 Dk(b) = Qk−1 i=0 (b + ic) Qn−k−1 i=0 (r + ic) Qn−1 i=0 b + r + ic ，有 Bn+1 = Xn k=0 C k nDk(b) b + kc b + r + nc = b b + r Xn k=0 C k nDk(b + r)，而由概率含义 Xn k=0 C k nDk(b + r) 构成整个样本空间，因此为 1，因此 Bn+1 = b b + r 。 *c = −1 即为无放回，c = 0 即为有放回。二随机变量与分布函数 §2.1 随机变量 F1, F2 为 Ω 上的 σ 域，可验证其交亦为 σ 域。更一般地，给定某指标集 I，Fi , i ∈ I 的交集亦为 σ 域。 R 上 Borel 域定义为包含所有 (a, b], a, b ∈ R 的最小 σ 域 (最小定义：所有包含的取交)，记为 B(R)。 {b} = \ n b − 1 n , b ∈ B(R)，类似知 (a, b), [a, b], [a, b) ∈ B(R)。 B(R n ) 为包含所有左开右闭区间笛卡尔积形成的矩形的最小 σ 域，Borel 域中的集合称 Borel 集。定义 2.1 随机变量、概率分布函数 (Ω, F, P) 中，称 X : Ω → R 为一个随机变量，若 ∀x ∈ R，有 {ω ∈ Ω : X(ω) ≤ x} ∈ F。此时记后方集合为 {X ≤ x}，称 F(x) = P({X ≤ x}) 为随机变量 X 的 (概率) 分布函数。例 2.1 掷均匀硬币 Ω = {H, T}, X : Ω → R, X(H) = 1, X(T) = −1 P({X ≤ x}) =    1 x ≥ 1 0.5 −1 ≤ x < 1 0 x < −1 定理 2.1 分布函数 F(x) 性质 1. 单调增 2. 负无穷极限 0，正无穷极限 1 3. 右连续 lim σ→0+ F(x + σ) = F(x) 证明： 1. 利用包含关系说明。 2. 取一列数趋向正/负无穷，利用概率的极限等于极限的概率知结论。 3. 类似 2，取子列说明。注： (1) 若某函数这三条性质，一定为某随机变量的概率分布函数，因此，一般将满足三条性质的函数称为分布函数。 (2) 另一种定义分布函数的方式：G(x) = P({X < x})，此时其具有左连续性，一二两条不变。 (3) 分布函数丢失了关于样本空间的信息，与样本空间无关。例 2.2 若 X = c 概率为 1，称 X 几乎处处常值，则 F(x) =    1 x ≥ c 0 x < c

三离散型随机变量 8 Ω = [0, 2π), F = B(R) ∩ Ω, P(A) = |A| 2π ，|A| 指勒贝格测度。令 X(ω) = ω, Y (ω) = ω 2，则 FX(x) =    x < 0 0 x 2π x ∈ (0, 2π] x ≥ 2π 1 , FY (x) =    x < 0 0 √y 2π x ∈ (0, 4π 2 ] x ≥ 4π 2 1 ，求导知 fX, fY 。分布函数 F 性质： (1) 单调 → 不连续点至多可数 (2) 勒贝格分解 F = c1Fd + c2Fc + c3Fs 其中 ci ≥ 0, X i ci = 1，Fd 为离散型随机变量的分布函数，Fc 为连续型随机变量的分布函数，Fs 为奇异的。定义 2.4 随机向量 X1, . . . , Xn 为 (Ω, F, P) 上的随机变量，称 X⃗ = (X1, . . . , Xn) 为 n 维随机向量，F(x1, . . . , xn) = P(X1 ≤ x1, . . . , Xn ≤ xn) 为 X⃗ 的联合分布函数。离散型：X⃗ 取值至多可列多个，联合分布列f(x1, . . . , xn) = P(X1 = x1, . . . , Xn = xn)。连续型：F(x1, . . . , xn) = Z x1 −∞ · · · Z xn −∞ f(u1, . . . , un)du1 . . . dun，f 非负可积，称 f 为 X 的联合密度函数。定理 2.4 考虑二维随机向量的联合分布函数 F(x, y)： 1. F(x, y) 关于 x, y 均单调增。 2. F(x, y) 关于 x, y 均右连续。 3. F(x, y) 在 x, y 趋近负无穷时极限均为 0，x, y 均趋近正无穷时极限为 1。 4. x1 ≤ x2, y1 ≤ y2 时 F(x2, y2) − F(x1, y2) − F(x2, y1) + F(x1, y1) = P(X ∈ (x1, x2], Y ∈ (y1, y2]) ≥ 0 注： (1) 取极限可发现 4 蕴含 1，反之不然 (举例：F(x) =    1 x + y ≥ 0 0 x + y < 0 满足 1,2,3 但不满足 4)。 (2) 若某二元函数满足 2,3,4 三条性质，一定为某随机向量的联合分布函数。 FX(x) = P(X ≤ x) = lim y→+∞ F(x, y) 称为边际分布。连续型随机变量 FX(x) = Z x −∞ Z +∞ −∞ f(u, v)dvdu，fX(x) = Z +∞ −∞ f(x, v)dv 称为边际密度。例 2.5 三项分布 Ω = {H, T, E}，均匀“三面硬币”，设扔 n 次后三种次数分别为 Hn, Tn, En，有 Hn + En + Tn = n，则 P (Hn, Tn, En) = (h, t, e) = n! h!t!e! 1 3 n 例 2.6 G ⊂ R n 为有限区域，则联合密度函数 f(x1, . . . , xn) = 1 |G| , ⃗x ∈ G 特别地，G = [0, 1]2 时，f(x, y) =    1 (x, y) ∈ G 0 (x, y) /∈ G 三离散型随机变量 §3.1 分布列与独立性回顾：离散型随机变量 X 取值至多可列个 x1, x2, . . . ，记 pk = P(X = xk)，则 {pk} 为 X 的分布列

三离散型随机变量 9 例 3.1 二项分布 P(x = k) = C k np k q n−k , p + q = 1 时称 X 符合二项分布，记为 X ∼ B(n, p)。背景：抛 n 次硬币，X 为正面向上次数，例 3.2 几何分布 P(X = k) = q k−1 p, p + q = 1 时称 X 符合几何分布，此时 P(X > k) = q k。背景：抛 n 次硬币，X 为第一次正面向上时抛的次数。几何分布具有无记忆性：P(X − m = k|X > m) = P(X = k)。反之，若取值为 N ∗ 的某随机变量满足无记忆性，即对任意 m, k 符合上式，则必须服从几何分布。例 3.3 泊松分布 P(X = k) = λ k k! e −λ , λ > 0 时称 X 符合泊松分布，记为 X ∼ P(λ)。背景：网站访问量、百科新词条 * 放射性粒子数：体积为 V 的小物块分为 n 等份，每一小块 ∆v = V n ，假设每一小块在 7.5s 内放出 1 个 α 粒子的概率为 p = µ · ∆v，放出更多概率为 0，且各小块放出与否相互独立。分析：n 块共放出 k 个概率符合二项分布，令 λ = µV ，则 P(X = k) = C k np k (1 − p) n−k = n . . .(n − k + 1) k! λ n k 1 − λ n n−k ，固定 k，令 n 趋向无穷，此式极限即为 λ k k! e −λ。由此可知，二项分布可以逼近泊松分布。定义 3.1 独立性若 ∀x, y ∈ R, P(X = x, Y = y) = P(X = x)P(Y = y)，则称离散型随机变量 X, Y 独立。更一般，称 X1, . . . , Xn 相互独立，若 ∀xi ∈ R, P(X1 = x1, . . . , Xn = xn) = P(X1 = x1)· · · P(Xn = xn)。定理 3.1 离散型随机变量 X, Y 独立，当且仅当 P(X ≤ x, Y ≤ y) = P(X ≤ x)P(Y ≤ y) ⇔ F(x, y) = FX(x)FY (y)。证明：利用分布列 f(x, y) 与分布函数 F(x, y) 关系，利用求和可证明仅当，利用左极限可证明当。例 3.4 泊松翻转抛均匀硬币 1 次，记 X, Y 为正反出现的次数，计算容易发现不独立。抛 N 枚均匀硬币，N ∼ P(λ)，计算 f(x, y) = P(X = x, Y = y, N = x + y) = λ x+y (x + y)!e −λ C x x+y 2 x+y = λ 2 x e −λ/2 x! λ 2 y e −λ/2 y! ，注意到 fX(x) = X y f(x, y) = λ 2 x e −λ/2 x! ，由此知 X, Y 独立。定理 3.2 离散型随机变量 X, Y 独立，g, h 是 R 上的 Borel 可测函数，则 g(X), h(Y ) 独立。证明：P(g(X) = a, h(Y ) = b) = P [ g(x)=a {X = x}, [ h(y)=a {Y = y} 分解求和。 §3.2 数学期望定义 3.2 数学期望离散型随机变量 X 对应分布列 f， X x:f(x)>0 xf(x) 若绝对收敛，则称为 X 的数学期望，记为 E[X]。 *E[x] = X k xkpk(原则上 xi 互不相同，事实上相同不会影响计算)