附录B概率论、随机变量和随机过程 本附录简要介绍书中所用到的概率论、随机变量、随机过程方面的主要概念。有关这 宽深主题的详细处理，以及本附录所给出的性质的证明，请参考1~8]。 B.1概率论 概率论是随机事件的数学描述。随机事件由概率空间(2,6，P()定义。概率空间由样 本空间2、随机事件的集合6和概率测度p()组成。其中2是随机事件可能结果的集合。6 是集合的集合，任意随机事件A∈￡是2的子集。对每一个集合A∈￡定义了概率测度 p(A)。概率空间要求集合6是一个σ域。直观地说，如果一个集合的集合6包含了所有它 的元素的交集、并集和补集'，6就是一个。域。更准确地说，6是一个。域，如果：所有 可能结果构成的集合2是&中的一个集合；若集合AeE,则A∈E;对于任意集合 A,A,其中A,∈6，有UA∈6。为了能定义随机事件的交、并的概率，6必须是o 域。我们还要求概率空间中的概率测度满足下列三个基本性质： 1.p2)=1. 2.对于任意事件A∈8，有0≤p(A)≤1。 3.如果A和B是互斥的（即其交集为零），则P(AB)=p(4)+pB) 本节只考虑ε中的集合，因为概率测度只定义在这些集合上。 从概率测度p的基本性质可以推出一些重要特性，如p(4)=1-p(A)。再如，若 集合4，A两两不相交(A∩A,=0,i≠j),则当4U4U.UA,=2时，有 立4)=1，秀达样的集合4.为n的一个刻合（侧m.对于再个相交的安 合A和A,有p(AUA,)=p(4)+p(A)-p(4∩4)，这一点导出了联合界(mion bomd),其表述为：对于任意集合A,.,An,有 '我们用A门B表示A和的交集，它是所有A和的共同元。A和B的并集记为AUB,是所有或出现在 A中、或出现在肿的元素的集合。AC2的补集记为，是所有在2中，但不在中的元秦， 1/13
附录 B 概率论、随机变量和随机过程 本附录简要介绍书中所用到的概率论、随机变量、随机过程方面的主要概念。有关这一 宽深主题的详细处理，以及本附录所给出的性质的证明，请参考[1~8]。 B.1 概率论 概率论是随机事件的数学描述。随机事件由概率空间(Ω, , ε p(⋅)) 定义。概率空间由样 本空间 、随机事件的集合 Ω ε 和概率测度 p( )⋅ 组成。其中Ω 是随机事件可能结果的集合。ε 是集合的集合，任意随机事件 A∈ε 是 Ω 的子集。对每一个集合 A∈ε 定义了概率测度 p( ) A 。概率空间要求集合ε 是一个σ 域。直观地说，如果一个集合的集合ε 包含了所有它 的元素的交集、并集和补集1 ，ε 就是一个σ 域。更准确地说，ε 是一个σ 域，如果：所有 可能结果构成的集合 Ω 是 ε 中的一个集合；若集合 A∈ε ，则 c A ∈ε ；对于任意集合 A A 1 2 , ,"，其中 Ai ∈ε ，有 1 i i A ε ∞ = ∪ ∈ 。为了能定义随机事件的交、并的概率，ε 必须是σ 域。我们还要求概率空间中的概率测度满足下列三个基本性质： 1． 。 p()1 Ω = 2．对于任意事件 A∈ε ，有0 () ≤ ≤ p A 1。 3．如果 和 是互斥的（即其交集为零），则 A B p( ) () () A B pA pB ∪ = + 本节只考虑ε 中的集合，因为概率测度只定义在这些集合上。 从概率测度 p( )⋅ 的基本性质可以推出一些重要特性，如 。再如，若 集合 ( ) 1 () c pA pA = − 1, , A " An 两两不相交（ 0 A A i j ∩ = / ， i ≠ j ），则当 时，有 ，称这样的集合 AA A 1 2 ∪ ∪"∪ n = Ω 1 ()1 n i i p A = ∑ = 1 { ,., } A An 为 Ω 的一个划分（partition）。对于两个相交的集 合 Ai 和 Aj ，有 ( ) () ( ) ( ij i j ij p A A pA pA pA A ∪ =+− ∩ ) ，这一点导出了联合界（union bound），其表述为：对于任意集合 1, , A " An ，有 1 我们用 表示A和B的交集，它是所有A和B的共同元素。A和B的并集记为 ，是所有或出现在 A中、或出现在B中的元素的集合。 的补集记为 ，是所有在 A B ∩ A B ∪ A ⊂ Ω c A Ω 中，但不在A中的元素。 1/13
(AU4.U.UA)s (A) B1) 一个随机事件的发生能够影响另外一个随机事件发生的概率，这是因为观察到一个随机 事件的观察结果后，我们能够判定出6中有哪些子集也包括这个观察结果。为了反映这一点， 定义事件B在事件A发生的条件下的概率为p(BA)=pA∩B)/P(A),设p(A)≠O。这 表明 P(AOB)=P(A B)P(B)=P(BA)P(A) (B-2) 条件概率p(BA)=p(A∩B)/p(A)实际是用事件A的概率对事件B的概率进行了归一 化，因为我们知道A已经发生了。由(B-2)可得到贝叶斯准则(Bae'nle) (B)(Bp(B) B.3) p(A) 事件的独立性与概率测度p有关，若p(A∩B)=pA)PB),则事件A与事件B独立。 此时有p(B4=p(B),p(AB)=pA). B.2随机变量 随机变量是在概率空间(Q,8,P》上定义的。随机变量X是从样本空间2到实数轴的 子集的函数映射。如果X取实数轴上的离散值，称为离散(discrete)随机变量。如果X取 实数轴上的连续值，称为连续(continuous)随机变量。随机变量X的累积分布函效 (cumulative distribution function,cdD定义为Px(x)兰p(X≤x),x∈R。累积分布函数 可以从概率空间导出：p(X≤x)=p(X-(-0,x》,X-日是从实数轴到2的子集的逆映 射，即X-(-0,x)={@∈Q:X()≤x}。累积分布函数的性质基于概率测度的性质，首先 它满足0sP(x)=p(X-(-0,x》s1。其次，累积分布函数是不减函数：如果x≤x2 则 B(x)sP(x) 这 是 由 Pr(x2)=p(X-(-0,x》=pX-(-o,x》+p(X-(x,x》 ≥pX-'(-0,x)》=D(x)。 随机变量X的概率密度函数(probability density function,pd)定义为累积分布函数的 213
2/13 ( ) 1 2 i 1 ( ) n n i p A A A pA = ∪ ∪"∪ ≤ ∑ (B-1) 一个随机事件的发生能够影响另外一个随机事件发生的概率，这是因为观察到一个随机 事件的观察结果后，我们能够判定出ε 中有哪些子集也包括这个观察结果。为了反映这一点， 定义事件 在事件 B A 发生的条件下的概率为 p()( ) BA pA B p A = ∩ ( ) ，设 。这 表明 p A() 0 ≠ p( ) ( )() ( )( A B p AB p B pBA p A ∩ = = ) (B-2) 条件概率 p()( ) BA pA B p A = ∩ ( ) 实际是用事件 A 的概率对事件 的概率进行了归一 化，因为我们知道 A 已经发生了。由(B-2)可得到贝叶斯准则（Bayes’ rule）： B ( )( ( ) ( ) p AB pB) pBA p A = (B.3) 事件的独立性与概率测度 p( )⋅ 有关，若 p( ) ()() A B pApB ∩ = ，则事件 A 与事件 独立。 此时有 B p()( BA pB = ) ， p()( AB p A = ) 。 B.2 随机变量 随机变量是在概率空间( , Ω ε , ( )) p ⋅ 上定义的。随机变量 是从样本空间 到实数轴的 子集的函数映射。如果 取实数轴上的离散值，称为离散（discrete）随机变量。如果 取 实数轴上的连续值，称为连续（continuous）随机变量。随机变量 的累积分布函数 （cumulative distribution function，cdf）定义为 X Ω X X X () ( ) P x pX x X ≤ ， x ∈\ 。累积分布函数 可以从概率空间导出： ， 1 pX x pX x ( ) ( (, )) − ≤ = −∞ 1 X ( ) − ⋅ 是从实数轴到Ω 的子集的逆映 射，即 1 X ( ,) { : () x X ω ω } − −∞ = ∈Ω ≤ x ≤1 。累积分布函数的性质基于概率测度的性质，首先 它满足 。其次，累积分布函数是不减函数：如果 1 0 ( ) ( ( , )) P x pX x X − ≤ = −∞ 1 2 x ≤ x ， 则 1 2 () () Px Px X X ≤ ，这是由于 1 11 22 1 ( ) ( ( , )) ( ( , )) ( ( , )) P x pX x pX x pX x x X − −− = −∞ = −∞ + 1 2 1 1 p( ( ,) X x ) − ≥ −∞ 1 ( ) = P x X 。 随机变量 的X 概率密度函数（probability density function，pdf）定义为累积分布函数的
号数：P,(色云PA().对连续随机变量，P,)是整个实数轴上的菌致。，对离敬随机 变量，Px(x)是一组冲激函数，冲激位置在X的可能取值处。概率度函数也称为X的概 率分布(probabiliry distribution)或分布(distribution),它决定了X处于某一范围时的概率： p≤X≤x)=p(X≤x)-p(X≤x)=Rr()-R,()=pr(x(B-4) 由于P(o)=1、Px(-∞)=0，所以概率密度函数的积分是1： 广p(xh=1 (B-5) 在不致混涌的情况下，可以省略累积分布函数和概率密度函数中的下标X,写成P(x)和 p(x)。 随机变量X的均值(meam)或期望值(expected value)是其概率平均，定义为： 4x=可X门]=px( B-6) 期望算子E)是线性的，也可用于随机变量的函数。X的函数的均值为 Eg(X】=g(x)Pr(x (B-7) 一个有特别意义的函数是X的n阶矩(mome): E[x"]=[x"p:(x)dx (B-8) X的方差是由其均值和二阶矩定义的： Var[X]=E[(X-uy)]=E[x]- (B-9) 方差反映X与其均值4x之差的平方的均值。X的标准差σx是方差的平方根。由期望算子 的线性性质容易证明，对任意常数c,有EcX灯=cFX]、Var[cX门=c2VarX门 EX+c]=E[X灯+c、VarX+c]=VarX]。因此，给一个随机变量乘以一个常数将使 其均值乘以相同的常数，使其方差乘以该常数的平方。给一个随机变量加上一个常数将使均 313
导数： () () X d X p x P dx x ) 。对连续随机变量， 是整个实数轴上的函数。对离散随机 变量， 是一组冲激函数，冲激位置在 的可能取值处。概率密度函数也称为 X 的概 率分布（probability distribution）或分布（distribution），它决定了 处于某一范围时的概率： ( ) X p x ( ) X p x X X 2 1 1 2 2 1 21 ( ) ( ) ( ) () () ( x XX X x p x X x p X x p X x P x P x p xd ≤≤ = ≤ − ≤ = − = ∫ x 0 (B-4) 由于 、 PX () 1 ∞ = PX ( ) −∞ = ，所以概率密度函数的积分是 1： () 1 X p x dx ∞ −∞ = ∫ (B-5) 在不致混淆的情况下，可以省略累积分布函数和概率密度函数中的下标 ，写成 X P x( ) 和 p( ) x 。 随机变量 的X 均值（mean）或期望值（expected value）是其概率平均，定义为： [ ] () X X X μ xp x dx ∞ −∞ = = ∫ E (B-6) 期望算子 是线性的，也可用于随机变量的函数。 的函数的均值为 E[ ]⋅ X [ ( )] ( ) ( ) X g X g x p x dx ∞ −∞ = ∫ E (B-7) 一个有特别意义的函数是 的X n 阶矩（moment）： [ ] () n n X X x p x dx ∞ −∞ = ∫ E (B-8) X 的方差是由其均值和二阶矩定义的： 2 2 2 Var[ ] [( ) ] [ ] XX x X X 2 = −= σ E E μ − μ X (B-9) 方差反映 与其均值 X μ X 之差的平方的均值。X 的标准差σ X 是方差的平方根。由期望算子 的线性性质容易证明，对任意常数 ，有 c E E [] [ cX c X = ] 、 、 、 。因此，给一个随机变量乘以一个常数将使 其均值乘以相同的常数，使其方差乘以该常数的平方。给一个随机变量加上一个常数将使均 2 Var[ ] Var[ ] cX c X = E E [ ] [] Xc X c += + Var[ ] Var[ X c + = X ] 3/13
值加上相同的常数，而方差不变。 随机变量X的分布可以通过它的特征函数(characteristic function)来确定，特征函数 定义为： r(y=Efe]=px(x)e严d (B-10) 由B-10)可见，X的特征函数(v)是其概率密度函数Px(x)的傅氏反变换在/(2π)处的 值。因此通过x()可得到Px(x)为： pr=2∫re (B-11) 上式在求随机变量之和的分布时特别有用。可以由，()得到X的n阶矩： x1=←ro4创 0”g X的矩母画数(moment generating function,.MGF)定义为Mr(v)兰Eer],它与特征 函数类似，但在某些v值处会发散。如果矩母函数在零附近是有限的，则X的n阶矩为： Er]=4 dv" 令X是一个随机变最，g(x)是一个实函数。令Y=g(X)就定义了另外一个随机变量， 且有P0)-Jas,Pr(r达.若8是一一映射的单调增函数，则B0)=”P,(冰. 若g是一一映射的单调减函数，则B()=,Px(x达。 现在考虑联合的随机变量。为了能定义两个随机变量的联合分布，它们必须有相同的概 率空间。令X和Y是定义在同一个概率空间(2,8，P()上的两个随机变量。它们的联合累 积分布函数定义为P(x,)兰p(X≤x,Y≤y).联合概率密度函数定义为累积分布函数的 导数 413
值加上相同的常数，而方差不变。 随机变量 X 的分布可以通过它的特征函数（characteristic function）来确定，特征函数 定义为： 4/13 () [ ] () dx jvX jvx X X φ v e p xe ∞ −∞ = = ∫ E (B-10) 由(B-10)可见， 的特征函数 X ( ) X φ v 是其概率密度函数 的傅氏反变换在 ( ) X p x v (2π ) 处的 值。因此通过 ( ) X φ v 可得到 为： ( ) X p x 1 () () 2 jvx X X p x v φ e π ∞ − −∞ = ∫ dx (B-11) 上式在求随机变量之和的分布时特别有用。可以由 ( ) X φ v 得到 的X n 阶矩： 0 ( ) [ ]( ) n n n X n v v EX j v φ = ∂ = − ∂ X 的矩母函数（moment generating function，MGF）定义为 ( ) vX X v e⎡ ⎣ M E ⎤ ⎦ ，它与特征 函数类似，但在某些 值处会发散。如果矩母函数在零附近是有限的，则 的 阶矩为： v X n ( ) 0 n n X n v v X v = ∂ ⎡ ⎤ = ⎣ ⎦ ∂ E M 令 是一个随机变量， 是一个实函数。令 X g x( ) Y gX = ( )就定义了另外一个随机变量， 且有 。若 是一一映射的单调增函数，则 。 若 :() () () Y xg x y P y p x dx ≤ = ∫ X g 1 ( ) () () g y P y p x dx Y X − −∞ = ∫ g 是一一映射的单调减函数，则 1 。 ( ) () () Y X g y P y p x dx − ∞ = ∫ 现在考虑联合的随机变量。为了能定义两个随机变量的联合分布，它们必须有相同的概 率空间。令 和X Y 是定义在同一个概率空间( , , ( )) Ω ε p ⋅ 上的两个随机变量。它们的联合累 积分布函数定义为 (, ) ( , ) P x y p X xY y XY ≤ ≤ 。联合概率密度函数定义为累积分布函数的 导数：
Pr.P (B-12) dxdy 于是 Pnxy=广Pae,whdn B-13) 对于联合随机变量X和Y,对联合概率密度函数求关于Y的积分可得到X的分布： px(x)=[po(x.yry (B-14) 类似地， pr(y)=[px(x.ydx (B-15) 这样得到的分布Px(x)和户，(y)也称为联合分布Pn(x,y)的边际(marginal分布。注意联合 概率密度函数的积分必然是1： Po(x.yrdxdv=1 B-16) 两个随机变量的联合累积分布函数和联合概率密度函数的定义可以直接扩展到任意有限个 随机变量。 和随机事件一样，观察一个随机变量的结果可能会影响另一个随机变量的概率。在随机 变量X的实现给定为X=x的条件下，随机变量”的条件分布定义为 P(yX=x)=P(x,y/Px(x),这也表明Pn(xy)=乃yX=x)Px(x)。两个随机 变量X和Y之间的独立性是其联合分布的函数。具体而言，若X和Y的联合分布Pn(x,y) 可分解各自分布之积，即若P如(x,y)=Px(x)p(y),则X和Y是独立的随机变量。对于 独立随机变量，容易证明Ef(X)g(X]=E/(X】ELg(X】,其中f(x)和g(x)是任意 函数。 设随机变量X和Y的联合概率密度函数是P(x,y),定义其可阶联合矩为： E[X'X]x'y por(x,yybxdy (B-17) X和Y的相关(correlation)定义为E[Y],协方差(covariance)定义为 513
2 (, ) (, ) XY XY P xy p xy x y ∂ ∂ ∂ (B-12) 于是， (, ) (, ) x y P x y p v w dvdw XY XY −∞ −∞ = ∫ ∫ (B-13) 对于联合随机变量 和X Y ，对联合概率密度函数求关于Y 的积分可得到 的分布： X () (, ) X XY p x p x y dy ∞ −∞ = ∫ (B-14) 类似地， () (, ) Y XY p y p x y dx ∞ −∞ = ∫ (B-15) 这样得到的分布 和 也称为联合分布 的边际(marginal)分布。注意联合 概率密度函数的积分必然是 1： ( ) X p x ( ) Y p y (, ) XY p xy (, ) 1 XY p x y dxdy ∞ ∞ −∞ −∞ = ∫ ∫ (B-16) 两个随机变量的联合累积分布函数和联合概率密度函数的定义可以直接扩展到任意有限个 随机变量。 和随机事件一样，观察一个随机变量的结果可能会影响另一个随机变量的概率。在随机 变 量 X 的实现给定为 X = x 的条件下，随机变量 Y 的条件分布定义为 pY X ( ) (, ) yX x p xy p x = = Y X ( ) ，这也表明 (, ) ( ) () XY Y X p xy p yX xp x = = 。两个随机 变量 和Y 之间的独立性是其联合分布的函数。具体而言，若 和Y 的联合分布 可分解各自分布之积，即若 X X (, ) XY p xy (, ) () () XY X Y p xy p xp y = ，则 和Y 是独立的随机变量。对于 独立随机变量，容易证明 X E E [ ( ) ( )] [ ( )] [ ( ) f X gX f X EgX = ]，其中 f ( ) x 和 是任意 函数。 g x( ) 设随机变量 和X Y 的联合概率密度函数是 ，定义其 p xy XY (, ) ij 阶联合矩为： [ ] (, ) i j ij E X X x y p x y dxdy XY ∞ ∫−∞ (B-17) X 和 的 Y 相 关 (correlation) 定义为 E[XY] ， 协方差 （ covariance ）定义为 5/13
Cov[XY]兰E(X-4Y-4,。注意若X和Y当中有一个是零均值，则它们的协方差 和相关值相等。X和Y的相关系数(correlation coefficien)由其协方差和标准差定义为 p兰Cov[XY]/(o,o,)。若X和Y的协方差为零，或等效地说是若其相关系数为零，则称 它们不相关(mcorrelated)。注意，对于两个不相关的随机变量（即 Cov[XY门兰E灯Y]-4r4=0),若其均值不为零，则相关函数也不为零(E[XY]≠0). 对于随机变量X1,X。,其协方差矩阵(covariance matrix)卫定义为一个n×n的矩阵。 第j个元素是E,=Cov[X,]。∑对角线上的第i个元素是X,的方差：三。=Var[X,】 考虑两个独立随机变量X和Y。令Z=X+Y就定义一个概率空间(2,6，P(》上新随 机变量。用特征函数可以证明，Z的分布是X和Y的分布的卷积：P2()=Pr(x)*P,(y), 等效于2()=(w)4(w)。根据这个分布可以导出E可Z=EX灯]+EY门、 VarZ=VarX门+VarY]。因此，独立随机变量之和的均值为均值的和，和的方差为方 差的和。 研究通信系统的时侯经常出现的一个分布是高斯分布。随机变量X的高斯分布由其均 值4和方差o定义： Pr(x)=- (B-18) 高斯分布也称正态分布，记为N(4x,C).注意高斯分布的拖尾（即x远离4x时Px(:)的 值)是指数下降的。高斯分布的累积分布函数P,(x)=P(X≤x)无闭式解，可用高斯Q函 数表示： )=pX≤x)=1-Q-4 (B-19 其中的高斯Q函数定义为： 0=云e (B-20) 它是均值为零、方差为1的高斯随机变量X~N(0,)大于x的概率：Q(x)=p(X≥x). 高斯Q函数与互补误差函数的关系为：Q(x)=0.5cf心(x/√②。这些函数一般可用标准的 计算机数学程序包计算。 613
6/13 Cov[ ] [( )( )] XY X Y E − − μ X μY 。注意若 和Y 当中有一个是零均值，则它们的协方差 和相关值相等。 和 的相关系数(correlation coefficient)由其协方差和标准差定义为 X X Y ρ Cov[ ] XY ( ) σ σX Y 。若 和Y 的协方差为零，或等效地说是若其相关系数为零，则称 它 们 不相关 （ uncorrelated ）。 注 意 ， 对 于 两 个 不 相 关 的 随 机 变 量 （ 即 X Cov[ ] [ ] 0 XY XY E − μ μX Y = ），若其均值不为零，则相关函数也不为零（E[ XY ] ≠ 0）。 对于随机变量 1, , X " Xn ，其协方差矩阵（covariance matrix） 定义为一个 的矩阵， 第ij 个元素是 Σ n n × Cov[ ] Σij = Xi j Y 。 对角线上的第 ∑ i 个元素是 Xi 的方差： Var[ ] Σii = Xi 。 考虑两个独立随机变量 X 和Y 。令 Z = X +Y 就定义一个概率空间( , , ( )) Ω ⋅ ε p 上新随 机变量。用特征函数可以证明，Z 的分布是 和 的分布的卷积： ， 等效于 X Y () () () Z XY pz px py = ∗ () () () Z XY φ v v = φ φ v 。根据这个分布可以导出 EEE [] [ ] [] Z = + X Y 、 Var[Z] Var[ ] Var[ ] = + X Y 。因此，独立随机变量之和的均值为均值的和，和的方差为方 差的和。 研究通信系统的时候经常出现的一个分布是高斯分布。随机变量 的高斯分布由其均 值 X μ X 和方差 2 σ X 定义： 2 2 X 1 [( ) / 2 ] ( ) 2 X x X px e− −μ σ = ) πσ X (B-18) 高斯分布也称正态分布，记为 2 ( , N μ X X σ 。注意高斯分布的拖尾（即 x 远离 μ X 时 的 值）是指数下降的。高斯分布的累积分布函数 ( ) X p x () ( ) P x pX x X = ≤ 无闭式解，可用高斯 Q 函 数表示： () ( ) 1 X X X x P x pX x Q μ σ ⎛ ⎞ − = ≤ =− ⎜ ⎝ ⎠⎟ (B-19) 其中的高斯 Q 函数定义为： 2 1 / 2 ( ) 2 y x Q x e dy π ∞ − = ∫ (B-20) 它是均值为零、方差为 1 的高斯随机变量 X N ~ (0,1)大于 x 的概率： 。 高斯 Q 函数与互补误差函数的关系为： Qx pX x () ( ) = ≥ Qx x ( ) 0.5erfc 2 = ( ) 。这些函数一般可用标准的 计算机数学程序包计算
令X=(X,“,X)表示联合高斯随机变量组成的向量，它们的联合分布为： P%x(3,.,X)= 2r阿p[-05K-4r(代-】B2n 其中4=EX了=(EX],.,X)是X的均值，Σ是X的nxn协方差矩阵，即 Σ=Cov[XY]。根据(B-21)可以证明，对于联合高斯随机变量X和Y,若CovY]=0 则P(化，)=Px(x)P,()。也就是说，高斯随机变量如果不相关就是独立的。 一个复随机变量Z是复高斯的，如果Z=X+Y,其中X和Y是实联合高斯随机变量。 Z的分布即由X和Y的联合分布给定，即式(B-21)中矢量为(X,Y)。类似地，复随机矢量 Z=(亿，.，乙x)=(X+X,.,Xw+jYx)是复高斯的，如果X.,Xw,X,.,是联合 高斯的实随机变量，Z的分布由X,X,Y,.,Y,的联合分布给定，即式B-21)中矢量为 (X,.,Xw,I,.,y)。 通信系统模型中经常出现高斯分布的原因是中心极限定理(central limit theorem,CLT)。 这个定理给出了大量独立同分布随机变量之和的极限分布。设X,是独立同分布的联合随机 变量，令yn=∑X,、Zn=(亿n-4)/o。中心极限定理指出，随着n趋向无穷，Zn的 分布收敛于均值为0、方差为1的高斯分布，即1immP2.(x)=N(0,)。因此，任何随 机变量，若它等于大最独立同分布随机变量之和，则它的分布近似于高斯分布。例如无线接 收机中的噪声是由各种硬件产生的无用信号组成的，大量的独立同分布成分使高斯分布模型 能准确地表示这种噪声。 通信系统中常见的另外两种分布是均匀分布和二项分布。均匀分布随机变量X的概率 密度函数在x∈a,b]时为Px(x)=/b-a),x取其他值时为零。随机相位0的模型一般 是[0,2π]内的均匀分布，记为日~U[0,2π]。二项分布常出现在编码分析中。令X, (i=1,.,n)是取值于0或1的离散随机变量，假设X,为独立同分布，且p(X,=1)=p、 p(X,=0)=1-P。令Y=∑X,则Y是取值为整数k=0,L2,.,n的离散随机变量。Y 的分布就是二项分布，为： 7013
7/13 令 X = ( X X 1, , " n ) 表示联合高斯随机变量组成的向量，它们的联合分布为： [ ] ( )( 1 1 , 1 1 (, , ) exp 0.5 (2 ) det n T XX n n p xx μ π − μ ) = −⎡ − − ⎤ ⎣ ⎦ X X Σ X Σ " " X ) (B-21) 其中 [ ] [ ], , [ ] ( 1 是 X 的均值， 是 X 的 T T μ X = = EX E E X X " n Σ n n × 协方差矩阵，即 Cov[ ] Σij = Xi j Y 。根据(B-21)可以证明，对于联合高斯随机变量 和Y ，若 则 。也就是说，高斯随机变量如果不相关就是独立的。 X Cov[ ] 0 XY = (, ) () () XY X Y p xy p xp y = 一个复随机变量 Z 是复高斯的，如果 Z＝X jY + ，其中 X 和Y 是实联合高斯随机变量。 Z 的分布即由 X 和Y 的联合分布给定，即式(B-21)中矢量为( , X Y) 。类似地，复随机矢量 Z = =+ + (, , ) , , Z1 1 " " Z X jY X jY N ( 1 N N ) 是复高斯的，如果 1 1 , , , , X " " XY Y N N 是联合 高斯的实随机变量，Z 的分布由 1 1 , , , , X " " XY Y N N 的联合分布给定，即式(B-21)中矢量为 ( ) X XY Y 1 1 , , , , " " N N 。 通信系统模型中经常出现高斯分布的原因是中心极限定理（central limit theorem，CLT）。 这个定理给出了大量独立同分布随机变量之和的极限分布。设 Xi 是独立同分布的联合随机 变量，令 1 、 n n i i Y X= = ∑ ( ) n n Z Y n nY = − μ σ Y 。中心极限定理指出，随着 趋向无穷， n Zn 的 分布收敛于均值为 0、方差为 1 的高斯分布，即lim ( ) (0,1) n n Z →∞ px N= 。因此，任何随 机变量，若它等于大量独立同分布随机变量之和，则它的分布近似于高斯分布。例如无线接 收机中的噪声是由各种硬件产生的无用信号组成的，大量的独立同分布成分使高斯分布模型 能准确地表示这种噪声。 通信系统中常见的另外两种分布是均匀分布和二项分布。均匀分布随机变量 的概率 密度函数在 X x∈[,] a b 时为 pX ( ) x b = − 1 ( a) ， x 取其他值时为零。随机相位θ 的模型一般 是 [0,2 ] π 内的均匀分布，记为θ ~ 0,2 U [ π ] 。二项分布常出现在编码分析中。令 Xi （ ）是取值于 i =1, , " n 0 或 1 的离散随机变量，假设 Xi 为独立同分布，且 、 。令 ，则 是取值为整数 ( 1) i pX p = = ( 0) 1 i pX p = =− 1 n i i Y X = = ∑ Y k = 0,1,2, , " n 的离散随机变量。Y 的分布就是二项分布，为：
w=-因r0-pr (B-22) 其中 日 B-23) B.3随机过程 随机过程X(0定义在概率空间(,p)》之上它是从样本空间2到实函数集 {x(),x(),.}的映射，x,()是X()的实现。X()在时刻1,4，.，n的采样值是定义在 这个概率空间上的联合随机变量。因而这些采样的联合分布函数为 Px6K6X(,x,)=p(X)≤x,X化)≤x,X()≤x).随机过程X)）的特 性由任意抽样时刻，4.，}的采样值的联合分布Pwau,(氏o)完全确定。 随机过程X()是平稳(stationar.)的，若对于任意的T,任意的m,以及任意的采样时刻 {o,.,1n},有 pX()≤x,X(4)s,.,X(.)≤x) =p(X(+T)≤xo,X4+T)≤x,X(0n+T)≤x) 直观来说，如果时移并不影响随机过程的概率特性，它就是平稳的。随机过程的平稳性一般 难以证明，因为它要求检验所有可能的时移下，所有可能采样的联合分布。一般通过产生随 机过程的源的特性来推断是否具有平稳性。 随机过程的均值(mam)定义为E[X(】。由于平稳过程的均值独立于时移，所以它 一定是常数：[X=E[Xu-T)]=E[X(O]=4x·随机过程的自相关函数 (autocorrelation)定义为Ax(L,1+t)=E[X(I)X(t+t】,也称为X(t)的二阶矩(second moment）。由于平稳过程的自相关函数独立于时移，所以 Ax,1+x)=E可X()X1+x刃=可X(O)X(x川=Ar()。因此，平稳过程的自相关函数只 与样值X()和X(1+t)的采样时间差π有关，与绝对时间1无关。自相关函数反映随机过 程在不同时间的采样之间的相关性。 定义同一概率空间上的两个随机过程X()和Y()有如下的联合分布函数： 813
8/13 n k ( ) (1 ) k n pY k p p k − ⎛ ⎞ == − ⎜ ⎟ ⎝ ⎠ (B-22) 其中 ! !( )! n n k knk ⎛ ⎞ ⎜ ⎟ = ⎝ ⎠ − (B-23) B.3 随机过程 随机过程 X t( ) 定义在概率空间 ( , Ω ε , ( )) p ⋅ 之上。它是从样本空间 到实函数集 的映射， Ω 1 2 { ( ), ( ), } xt xt " ( ) i x t 是 的实现。 在时刻 的采样值是定义在 这个概率空间上的联合随机变量。因而这些采样的联合分布函数为 。随机过程 的特 性由任意抽样时刻 的采样值的联合分布 完全确定。 X t( ) X t( ) 0 1 , , n tt t " ( ) 0 1 ( ) ( ),., ( ) 0 0 0 1 1 ( ,., ) ( ) , ( ) , , ( ) Xt Xt Xtn P x x pXt x Xt x Xt x n =≤≤ ≤ " n n X t( ) 0 1 {, ,}n tt t " 0 1 ( ) ( ), , ( ) 0 (, , ) Xt Xt Xtn P x " " n x 随机过程 是平稳(stationary)的，若对于任意的T ，任意的 n，以及任意的采样时刻 ，有 X t( ) 0 1 {, ,}n tt t " 0 0 11 0 01 1 ( () , () , , () ) ( ( ) , ( ) , , ( ) ) n n n n pXt x Xt x Xt x p Xt T x Xt T x Xt T x ≤≤ ≤ = +≤ +≤ +≤ " " 直观来说，如果时移并不影响随机过程的概率特性，它就是平稳的。随机过程的平稳性一般 难以证明，因为它要求检验所有可能的时移下，所有可能采样的联合分布。一般通过产生随 机过程的源的特性来推断是否具有平稳性。 随机过程的均值（mean）定义为 E[ ( )] X t 。由于平稳过程的均值独立于时移，所以它 一定是常数： [ ( )] [ ( )] [ (0)] EE E Xt Xt T X = −= = μ X 。随机过程的 自相关函数 （autocorrelation）定义为 ( , ) [ ( ) ( )] A tt XtXt X += + τ E τ ，也称为 的二阶矩（second moment ）。 由 于 平 稳 过 程 的 自 相 关 函 数 独 立 于 时 移 ， 所 以 X t( ) ( , ) [ ( ) ( )] [ (0) ( )] ( ) A tt XtXt X X A X X += + = = τ E E τ τ τ ) 。因此，平稳过程的自相关函数只 与样值 X t( ) 和 X t( +τ 的采样时间差τ 有关，与绝对时间t 无关。自相关函数反映随机过 程在不同时间的采样之间的相关性。 定义同一概率空间上的两个随机过程 X t( ) 和 有如下的联合分布函数： Y t( )
(B-24) =pX(6)≤xo,X()≤xn,Y(6)≤%，Y()≤yn) 其中{，ln}和{化，}是任意的采样时刻。X()和Y()是独立(independent)的，若 对这些采样时刻有： Px6x4hx,w6(X)≤xn,X()≤xn,Y(6)≤o,Ya)≤y） =px()sxX()sx) (B-25) p6y(Y(6)≤%，Y)≤yn) 随机过程X()和Y)的互相关函数定义为 A(L,1+r)=E[X()Yu+r】 若对任意的1和r,有E[Xu-)Y1+r-)=E「X(O)]E「Y(1+t)门，则这两个过程是 不相关的。若X()和Y()都是平稳过程，则互相关函数只与x有关： An(，1+)=EX(t-)Y(+t-0】=E可X(O)Y(r兰An(). 许多分析只涉及一阶矩和二阶矩，而广义平稳(wide-sense statonary,WSS)便是一种 只涉及一二阶矩的平稳概念，并且也容易验证。若一个随机过程的均值为常数、自相关只与 采样的时间差有关，即若EX(】=4r、Ax(亿，1+t)=E可X(0Xu+x川=Ax(),则此过 程为广义平稳的。平稳过程是广义平稳的，但广义平稳过程不一定是平稳的。广义平稳过程 的自相关函数是r的偶函数，即Ax(r)=X()X(I+t】=[X(u+t)X()]=Ax(-t), 并且Ax(r)在π=0的最大，即4x(c≤Ar(O)=E可X()】。和平稳过程一样，若X()和 Y()均为广义平稳，则它们的互相关函数与时移无关，只与这两个过程的时间差有关： A(,1+r)=EX(0)Y(r】=A(x) 广义平稳过程的功率谱密度(power spectral density,PSD)定义为自相关函数关于t的 付氏变换： Sxf)=∫Ar(r)e2rdr (B-26) 对功率谱密度做反变换可也得到自相关函数： 9/13
01 0 ( ) ( ),., ( ) ( )., ( ) 0 0 0 0 0 0 ( ,., ,., ) ( ( ) ,., ( ) , ( ) ,., ( ) ) Xt Xt Xt Yt Yt n m n m n n m m P x x y y p Xt x Xt x Yt y Yt y ′ ′ =≤ ≤≤ ≤ ′ ′ (B-24) 其中 和 是任意的采样时刻。 和 是独立(independent)的，若 对这些采样时刻有： 0 1 { , ,., }n tt t 0 1 { , ,., }n tt t ′′ ′ X t( ) Y t( ) ( ) 01 0 0 1 0 ( ) ( ),., ( ) ( )., ( ) 0 0 0 0 ( ) ( ),., ( ) 0 0 ( )., ( ) 0 0 ( ) ,., ( ) , ( ) ,., ( ) ( ( ) ,., ( ) ) ( ( ) ,., ( ) ) n m n m Xt Xt Xt Yt Yt n n m m Xt Xt Xt n n Yt Yt m m p X t x X t x Y t y Y p X txX t x p Yt y Yt y ′ ′ ′ ′ ≤ ≤≤ ′ ′ = ≤≤ i ′ ′ ≤ ≤ t ≤ y (B-25) 随机过程 和 的互相关函数定义为 X t( ) Y t( ) ( , ) [ ( ) ( )] A tt X tYt XY +τ = + E τ 若对任意的t 和τ ，有 [X t tYt t X Y t ( )( ) 0 − +− = + τ ] ⎡ ( )⎤⎡ ⎤ ( τ ) ⎣ ⎦⎣ ⎦ E E E ，则这两个过程是 不相关的。若 X t( ) 和 Y t( ) 都是平稳过程，则互相关函数只与 τ 有关： ( , ) [ ( ) ( )] [ (0) ( )] ( ) A tt X t tYt t X Y A XY XY + = τ E E − +− = τ ττ 。 许多分析只涉及一阶矩和二阶矩，而广义平稳（wide-sense stationary，WSS）便是一种 只涉及一二阶矩的平稳概念，并且也容易验证。若一个随机过程的均值为常数、自相关只与 采样的时间差有关，即若 [ ( )] E X t = μ X 、 ( , ) [ ( ) ( )] ( ) A tt XtXt A X X +τ = += E τ τ ，则此过 程为广义平稳的。平稳过程是广义平稳的，但广义平稳过程不一定是平稳的。广义平稳过程 的自相关函数是τ 的偶函数，即 ( ) [ ( ) ( )] [ ( ) ( )] ( ) A XtXt Xt Xt A X X τ = E E += + = − τ τ τ ， 并且 ( ) AX τ 在τ = 0的最大，即 2 ( ) (0) [ ( )] AX X τ ≤ = A X E t 。和平稳过程一样，若 和 均为广义平稳，则它们的互相关函数与时移无关，只与这两个过程的时间差有关： X t( ) Y t( ) ( , ) [ (0) ( )] ( ) A tt X Y A XY XY += = τ E τ τ 。 广义平稳过程的功率谱密度（power spectral density，PSD）定义为自相关函数关于τ 的 付氏变换： 2 ( ) () j f X X Sf A e d π τ τ τ ∞ − −∞ = ∫ (B-26) 对功率谱密度做反变换可也得到自相关函数： 9/13
A(r)=[S,(erdf (B-27 叫功率谱密度是因为它的积分就是随机过程X()的平均功率：由(B-2)可得 EIX-()]=Ax(0)=[sx()df (B-28) 同样由(B-26)可得Sx(O)=Ax(r)dr.由于Ax(x)是实偶函数，所以由B-26)可知Sx( 也是偶函数，即S,(f)=Sx(-f)。白噪声(white noise)定义为一个零均值的广义平稳随 机过程，其功率谱密度对所有颜率都是常数。即白噪声过程X()有E可X(仞=0和 Sx()=N,/2,常数N。称为白噪声的单边功率谱密度。通过付氏反变换可得白噪声的自 相关函数为Ar(x)=(N。/2)6(t)。从某种意义来说，白躁声是所有噪声中最随机的，它经 过一个瞬时就变得不相关了。 经常要对随机过程进行滤波或者调制，广义平稳性会使相关的问题便于分析。功率谱密 度为Sx(∫)的广义平稳过程通过线性时不变系统H(∫)的输出也是广义平稳的，其功率谱 密度为H(f)Sx().若将此X(0与载波cos(2πf1+相乘，其中日~U[0.2π]，则 相乘的结果X)cos(2πf1+0)也是广义平稳的，其功率谱密度为 0.25[Sx(f-f)+Sx(f+f】. 将一个均值为零、功率谱密度为N。/2的白高斯噪声过程通过一个中心频率为∫、带宽 2B的理想带通滤波器，其输出是一个窄带噪声过程)。可将这个窄带过程表示为复基带 形式n)=Re{n,()e2,其中m,)=n,)+jmo)为复低通高斯过程。n,()和no) 为实低通高斯过程。可以证明，n,()和n,()相互独立，它们每一个的均值都是零，功率 谱密度都是是原噪声过程的两倍，为N。 随机过程的平稳性和广义平稳性是涉及概率空间的特性，我们也经常关心涉及时间平均 的特性，这个特性用一些不同的遍历性(ergodic)来描述。随机过程X()的时间平均均值 定义为： 候=-立上X0咖 (B-29) 10/13
2 () ( ) j f AX X S f e df π τ τ ∞ −∞ = ∫ (B-27) 叫功率谱密度是因为它的积分就是随机过程 的平均功率：由 X t( ) (B-27)可得 2 [ ( )] (0) ( ) X X X t A S fd ∞ −∞ = = ∫ E f d (B-28) 同样由(B-26)可得 (0) ( ) X X S A τ τ ∞ −∞ = ∫ 。由于 ( ) AX τ 是实偶函数，所以由(B-26)可知 也是偶函数，即 。白噪声（white noise）定义为一个零均值的广义平稳随 机过程，其功率谱密度对所有频率都是常数。即白噪声过程 ( ) X S f () ( ) X X Sf S f = − X ( )t 有 E[ ( )] 0 X t = 和 0 () 2 X Sf N = ，常数 称为白噪声的单边功率谱密度。通过付氏反变换可得白噪声的自 相关函数为 N0 0 ( ) ( / 2) ( ) A N X τ = δ τ 。从某种意义来说，白噪声是所有噪声中最随机的，它经 过一个瞬时就变得不相关了。 经常要对随机过程进行滤波或者调制，广义平稳性会使相关的问题便于分析。功率谱密 度为 的广义平稳过程通过线性时不变系统 的输出也是广义平稳的，其功率谱 密度为 ( ) X S f H f ( ) 2 () () Hf S f X 。若将此 与载波 X t( ) cos(2 ) c π f t +θ 相乘，其中θ ~ 0.2 U [ π ] ，则 相乘的结果 ( )cos(2 ) X t ft π c +θ 也是广义平稳的，其功率谱密度为 0.25[ ( ) ( )] Sff Sf f X cX −+ + c 。 将一个均值为零、功率谱密度为 0 N 2的白高斯噪声过程通过一个中心频率为 c f 、带宽 的理想带通滤波器，其输出是一个窄带噪声过程 。可将这个窄带过程表示为复基带 形式 2B n t( ) 2 ( ) Re{ ( ) }c j f t l nt n te π = ，其中 () () () lI Q n t n t jn t = + 为复低通高斯过程。 和 为实低通高斯过程。可以证明， 和 相互独立，它们每一个的均值都是零，功率 谱密度都是是原噪声过程的两倍，为 。 ( ) I n t ( ) Qn t ( ) I n t ( ) Qn t N0 随机过程的平稳性和广义平稳性是涉及概率空间的特性，我们也经常关心涉及时间平均 的特性，这个特性用一些不同的遍历性（ergodic）来描述。随机过程 X ( )t 的时间平均均值 定义为： ( ) ta 1 lim 2 T X T T X t dt T μ →∞ − = ∫ (B-29) 10/13