第3章信道模型和信道容量3.1基本要求通过本章学习，了解信道的模型和分类，掌握信道容量的定义、无噪信道、对称信道的信道容量的计算，了解准对称信道信道容量的计算、一般离散无记忆信道（DMC）达到信道容量的充要条件，掌握DMC扩展信道的信道容量计算，了解加性高斯噪声信道的信道容量的结论，掌握香农信道容量公式。3.2学习要点3.2.1信道的分类信道是信息传输的通道。研究信道的自的，主要是为了描述和分析各种不同类型信道的特性，度量其信息的极限传输能力。信息理论中常用的信道分类方法如下。（1）根据信道输入/输出信号在时间和幅值上的取值是离散或连续来划分，可分为4类如表3.1所示。表3.1信道的分类时间离散、幅值离散信道简称离散信道（discretechannel）或数字信道（digitalchannel）时间离散信道时间离散、幅值连续信道信道简称连续信道（continuouschannel）时间连续、幅值离散信道时间连续信道时间连续、幅值连续信道简称波形信道（waveformchannel）或模拟信道（analogchannel）（2）根据信道的记忆特性划分，可分为2类：无记忆信道：信道当前的输出只与当前的输入有关有记忆信道：信道当前的输出不但与当前的输入有关，还与当前时刻以前的输入有关。（3）根据信道的输入/输出关系是确定关系还是统计依存关系划分，可分为2类：无噪声信道：信道的输入/输出关系是确定关系。有噪声信道：信道的输入/输出关系是统计依存关系。3.2.2信道的数学模型3.2.2.1离散无记忆信道（DMC）的数学模型离散无记忆信道（DMC）的数学模型如图3.1所示，记为（X，Pnx，Y）。70
70 第 3 章 信道模型和信道容量 3.1 基本要求 通过本章学习，了解信道的模型和分类，掌握信道容量的定义、无噪信道、对称信道的 信道容量的计算，了解准对称信道信道容量的计算、一般离散无记忆信道（DMC）达到信 道容量的充要条件，掌握 DMC 扩展信道的信道容量计算，了解加性高斯噪声信道的信道容 量的结论，掌握香农信道容量公式。 3.2 学习要点 3.2.1 信道的分类 信道是信息传输的通道。研究信道的目的，主要是为了描述和分析各种不同类型信道的 特性，度量其信息的极限传输能力。信息理论中常用的信道分类方法如下。 （1）根据信道输入/输出信号在时间和幅值上的取值是离散或连续来划分，可分为 4 类, 如表 3.1 所示。 表 3.1 信道的分类 信道 时间离散信道 时间离散、幅值离散信道 简称离散信道（discrete channel）或数字信道（digital channel） 时间离散、幅值连续信道 简称连续信道（continuous channel） 时间连续信道 时间连续、幅值离散信道 时间连续、幅值连续信道 简称波形信道（waveform channel）或模拟信道（analog channel） （2）根据信道的记忆特性划分，可分为 2 类： 无记忆信道：信道当前的输出只与当前的输入有关。 有记忆信道：信道当前的输出不但与当前的输入有关，还与当前时刻以前的输入有关。 （3）根据信道的输入/输出关系是确定关系还是统计依存关系划分，可分为 2 类： 无噪声信道：信道的输入/输出关系是确定关系。 有噪声信道：信道的输入/输出关系是统计依存关系。 3.2.2 信道的数学模型 3.2.2.1 离散无记忆信道（DMC）的数学模型 离散无记忆信道（DMC）的数学模型如图 3.1 所示，记为 | { , ,} X P Y Y X
PrixXLDMC(a,a2.,a,)(b,b2,,b.)噪声干扰图3.1离散无记忆信道（DMC）模型信道的输入X取值于集合A={a,az,,a,），输出Y取值于集合B=(b,b2,b}。(3.1)Pyx ={P(b, la,)[i=1,2,..,r, j=1,2,..,s)为分析计算方便，常常把所有转移概率排成矩阵：bib,bs.[P(b,la) P(b,la)... P(b,la)a(3.2)P(b la,) P(b,la,) ....P(b, a,)a[Pyx ] -...:.....P(bla,)P(b,la,).. P(b,la,)Ja,转移矩阵中各行s个转移概率自身是完备的：2P(b, la) -1, -1,..,(3.3)j=l3.2.2.2扩展信道的数学模型图3.2所示的是N次扩展信道的模型，其输入和输出均为N元随机变量序列。输入为X=X,X,…X，各X,均取值于输入符号集合A={a,2a,）；输出为=YY...Yw，各Y,均取值于输出符号集合B={b,b2,b}。X、Y的取值集合分别为AN和BN，AN或BN中一个符号就是取值于A或B的N元符号串：X:AN=(α,α2,*",a,)an=(anam"an),anam,,anA=(a,a2,,a,)Y:BN=(β,Ba,βw)B, =(b,b,...b,),b,b,,,bi,eB=(b,b2,.,b,)N次扩展信道的转移概率集合为Pr ={P(β,lα,)|h=1,2,.-,rN;1=1,2,..,sN)(3.4)N次扩展信道的数学模型可记为(X,Pn,Y)。71
71 信道的输入 X 取值于集合 1 2 {, , , } A aa a r ，输出Y 取值于集合 1 2 {, , , } B s bb b 。 | { ( | ) | 1,2, , ; 1,2, , } P Pb a i r j s YX j i （3.1） 为分析计算方便，常常把所有转移概率排成矩阵： 1 2 11 21 1 1 12 22 2 2 | 1 2 (|) (|) (|) (| ) (| ) (| ) [ ] (| ) (| ) (| ) s s s Y X r r sr r bb b Pb a Pb a Pb a a Pb a Pb a Pb a a P Pb a Pb a Pb a a （3.2） 转移矩阵中各行 s 个转移概率自身是完备的： 1 ( | ) 1 , 1, 2, , s j i j Pb a i r （3.3） 3.2.2.2 扩展信道的数学模型 图 3.2 所示的是 N 次扩展信道的模型，其输入和输出均为 N 元随机变量序列。 输入为 X XX X 1 2 N ，各 Xk 均取值于输入符号集合 1 2 {, , , } A aa a r ；输出为 Y YY Y 1 2 N ，各Yk 均取值于输出符号集合 1 2 {, , , } B s bb b 。 X 、Y 的取值集合分别为 N A 和 N B ， N A 或 N B 中一个符号就是取值于 A 或 B 的 N 元 符号串： 12 1 2 12 1 2 1 2 1 2 1 2 1 2 : {, , , } ( ); , , , { , , , } : {, , , } ( ); , , , { , , , } N N N N N N N r h hh h h h h r N s l ll l l l l s X A aa a a a a A a a a Y B bb b b b b B b b b N 次扩展信道的转移概率集合为 | { ( | ) | 1,2, , ; 1,2, , } N N P P h rl s Y X l h （3.4） N 次扩展信道的数学模型可记为 | {, ,} X P Y Y X 。 图 3.1 离散无记忆信道（DMC）模型 X Y 噪声干扰 DMC 1 2 {, , , }r aa a 1 2 {, , , }s bb b PY X|
P(β,Iar)X=X,X,-XY--Y,Y...YN离散信道X [a,a2,",a,]Y,[b,b?,.,b,]X [a,a,,a,]Y:[B,β,,β,]噪声干扰图3.2离散信道模型信道是DMC的充要条件是P(β,lα,)= P(b,b, .b, anam .aw)=IP(b, lan)(3.5)kml3.2.2.3连续信道的数学模型最基本的连续信道是单维连续信道，它的输入X、输出Y以及噪声Z都是取值于整个实域R的一维连续型随机变量，其模型如图3.3所示。Jrr(y/x)XY连续信道RRIZ图3.3单维连续信道模型连续信道的统计特性由转移概率密度函数fylx(lx)描述，满足如下约束条件：[ Jrux(y/x)dy=1(3.6)R单维连续信道的数学模型记为(X,fryix(y|x),Y)。如果信道的输入和输出都是多维连续随机变量序列，可采用多维连续信道模型来描述。多维连续信道的输入和输出分别为多维随机变量序列X和Y，转移概率密度函数为()。多维连续信道的数学模型记为(,J(x),)。假设连续信道的N维输入为X=X,X,X，N维输出为Y=YY,·Y，若转移概率密度函数满足72
72 信道是 DMC 的充要条件是 12 1 2 1 (|) ( | ) (| ) N N kk N l h ll l h h h l h k P Pbb b a a a Pb a （3.5） 3.2.2.3 连续信道的数学模型 最基本的连续信道是单维连续信道，它的输入 X 、输出Y 以及噪声 Z 都是取值于整个 实域 R 的一维连续型随机变量，其模型如图 3.3 所示。 图 3.3 单维连续信道模型 连续信道的统计特性由转移概率密度函数 | (|) Y X f y x 描述，满足如下约束条件： | (|) 1 Y X R f y x dy （3.6） 单维连续信道的数学模型记为 | { , ( | ), } X Y X f yxY 。 如果信道的输入和输出都是多维连续随机变量序列，可采用多维连续信道模型来描述。 多维连续信道的输入和输出分别为多维随机变量序列 X 和 Y ，转移概率密度函数为 | (|) Y X f y x 。多维连续信道的数学模型记为 | { , ( | ), } X Y X f yxY 。 假设连续信道的 N 维输入为 X XX X 1 2 N ， N 维输出为Y YY Y 1 2 N ，若转移概 率密度函数满足 图 3.2 离散信道模型 X Y 连续信道 R | (|) Y X f y x R Z X XX X 1 2 N Y YY Y 1 2 N 噪声干扰 离散信道 1 2 :[ , , , ] Xk r aa a 1 2 :[ , , , ] Y bb b k s 1 2 :[ , , , ] Nr X 1 2 :[ , , , ] Ns Y (|) P l h
Jnr()= Jm(2 /xx)=x (/x)(3.7)k=l则称此信道为连续无记忆信道。3.2.3信道的疑义度、散布度和平均互信息3.2.3.1信道的平均互信息对于DMC，从输出Y中所获得的关于输入X的平均信息量，就是信道的平均互信息量I(X;Y)，I(X;Y)与各类摘之间的关系为：I(X;Y)= H(X)- H(X |Y)(3.8)= H(Y)- H(YIX)I(X;Y)的概率表达式如下：P(b, la,)I(X;Y) =ZZP(a,)P(b, la,)log(3.9)i=l j=lZ P(a,)P(b, la,)于是，I(X;Y)就成了信道输入随机变量X的概率矢量Px=(P(a,)),和信道转移概率矢量Pyix=(P(b,la,))i,的函数，可以记为I(PxPyx）。I(Px,Pyix）的凸状性由以下定理给出：如果信道给定（即Pyix给定），那么I(Px，Pyx）是输入概率Px的上凸函数。如果信源给定（即Px给定），那么I(Px，Pyx）是转移概率Pyix的下凸函数。3.2.3.2信道的疑义度观察I(XY)=HX)-H(XIY），对于有噪信道，输入X的平均信息H(X)不可能全部送达到输出，一部分信息在传输过程中损失了，损失的部分就是H(XIY)。H(X|Y)既代表收到输出Y后对输入X还存有的疑义，又代表信道在传输过程中的信息损失。因此，H(XIY)又称为信道的疑义度或损失炳。损失摘为零的信道称为无损信道。3.2.3.3信道的散布度73
73 | | 12 12 | 1 (|) ( | ) ( | ) k k N YX YX N N YX k k k f y x f yy y xx x f y x （3.7） 则称此信道为连续无记忆信道。 3.2.3 信道的疑义度、散布度和平均互信息 3.2.3.1 信道的平均互信息 对于 DMC，从输出Y 中所获得的关于输入 X 的平均信息量，就是信道的平均互信息量 I(;) X Y ， I(;) X Y 与各类熵之间的关系为： ( ) ( | ) ( ; ) ( ) ( | ) H Y H Y X I X Y H X H X Y （3.8） I(;) X Y 的概率表达式如下： 1 1 1 (|) ( ; ) ( ) ( | )log ()( | ) r s j i i ji r i j i ji i Pb a I XY Pa Pb a Pa Pb a （3.9） 于是， I(;) X Y 就成了信道输入随机变量 X 的概率矢量 { ( )} P Pa X ii 和信道转移概率 矢量 | , { ( | )} P Pb a YX j i i j 的函数，可以记为 | (, ) X YX IP P 。 | (, ) X YX IP P 的凸状性由以下定理给出： 如果信道给定（即 PY|X 给定），那么 | (, ) X YX IP P 是输入概率 PX 的上凸函数。 如果信源给定（即 PX 给定），那么 | (, ) X YX IP P 是转移概率 PY|X 的下凸函数。 3.2.3.2 信道的疑义度 观察 I(;) ( ) ( |) XY HX HX Y ，对于有噪信道，输入 X 的平均信息 H X( ) 不可能 全部送达到输出，一部分信息在传输过程中损失了，损失的部分就是 HXY ( |) 。 HXY ( |) 既代表收到输出Y 后对输入 X 还存有的疑义，又代表信道在传输过程中的信 息损失。因此， HXY ( |) 又称为信道的疑义度或损失熵。 损失熵为零的信道称为无损信道。 3.2.3.3 信道的散布度
再观察I(X;Y)=H(Y)-H(YIX)，可变换为H(Y)=I(X;Y)+H(YIX），式中H（Y）代表输出Y中含有的全部信息，其中既包含从输入端送来的有用信息IX：Y），也包含由噪声引入的无用信息H(Y|X）。H(Y|X）叫做信道的散布度或噪声炳，表明信道因噪声干扰所呈现的无序性程度，噪声炳为零的信道称为确定信道。3.2.4信道容量3.2.4.1信道容量的定义每个信道都存在一个最大的信息率，这个最大的信息率定义为该信道的信道容量，记为C，即:C = max R = max I(X;Y)(3.10)Pr最佳输入（概率）分布Px：使得给定信道的I(X;Y）达到最大值C的输入分布。研究信道的核心问题就是求信道容量和对应的最佳输入分布。3.2.4.2特殊信道的信道容量1）无损信道损失熵为0的信道称为无损信道，其转移矩阵每列只有一个非零元素。信道容量为：(3.11)C = max I(X;Y) = max H(X)= H(X)lp(a,)-/ = logr2）确定信道噪声熵为0的信道称为确定信道，转移矩阵每行只有一个转移概率为1，其余均为0。信道容量为：C = max (X;Y)=max H(I)= H(I)lp(b)-/: = log s(3.12)PxPx3）无损确定信道损失摘和噪声摘均为0的信道称为无损确定信道，此时r=S，转移概率矩阵为单位阵：[10.01..00[Pyx ] -(3.13)::[o0... ]当输入等概率分布时，信道达到信道容量，而且至少能够找到一种输入分布，使输出Y达到等概分布。74
74 再观察 I( ;) () ( | ) XY HY HY X ，可变换为 HY I XY HY X () ( ;) ( | ) ，式中 H Y( )代表输出Y 中含有的全部信息，其中既包含从输入端送来的有用信息 I(;) X Y ，也包 含由噪声引入的无用信息 H(Y | X ) 。 H(Y | X ) 叫做信道的散布度或噪声熵，表明信道因噪声干扰所呈现的无序性程度，噪 声熵为零的信道称为确定信道。 3.2.4 信道容量 3.2.4.1 信道容量的定义 每个信道都存在一个最大的信息率，这个最大的信息率定义为该信道的信道容量，记为 C ，即： C max R max I(X;Y) PX PX （3.10） 最佳输入（概率）分布 * PX ：使得给定信道的 I(X;Y) 达到最大值 C 的输入分布。研究 信道的核心问题就是求信道容量和对应的最佳输入分布。 3.2.4.2 特殊信道的信道容量 1）无损信道 损失熵为 0 的信道称为无损信道，其转移矩阵每列只有一个非零元素。 信道容量为： C I X Y H X H X r P a r P P i X X max ( ; ) max ( ) ( ) log ( ) 1 （3.11） 2）确定信道 噪声熵为 0 的信道称为确定信道，转移矩阵每行只有一个转移概率为 1，其余均为 0。 信道容量为： C I X Y H Y H Y s P b s P P j X X max ( ; ) max ( ) ( ) log ( ) 1 （3.12） 3）无损确定信道 损失熵和噪声熵均为 0 的信道称为无损确定信道，此时 r s ，转移概率矩阵为单位阵： | 10 0 01 0 [ ] 00 1 PY X （3.13） 当输入等概率分布时，信道达到信道容量，而且至少能够找到一种输入分布，使输出 Y 达到等概分布
C = max I(X;Y)= max H(X)= H(X)p(a,)=/ = log r = log s(3.14)X4）离散对称信道按对称性限制条件的不同，对称信道可细分为几种不同形式：离散输入对称信道、离散对称信道、离散准对称信道。离散输入对称信道的信道容量：定义：当信道r×s转移矩阵[Pyx]每一行s个元素，都由同一组元素（p.P2,"，p}的不同排列组成，则称[Pyx1为行排列阵，此信道称为输入对称信道。信道容量：当输出概率P,等概时，(3.15)C = max(H(Y))- H(p", p2,.", p,)4但一般来说，变动Px未必一定能使P达到等概分布。离散输出对称信道：定义：当信道r×s转移矩阵[Px]每一列r个元素，都由同一组元素(qi,q2，",q的不同排列组成，则称[Pyx]为列排列阵，此信道称为输出对称信道。离散对称信道：定义：当信道转移矩阵[Pyx]既是行排列阵又是列排列阵，此信道称为对称信道。信道容量：对于对称DMC，当输入X等概时，输出Y也等概分布，达到信道容量：(3.16)C=logs-H(pi,p2,..,p')离散准对称信道：定义：若信道转移矩阵[Pyix]的列可被划分成若干个互不相交的子集，且每个子集所组成的子阵是行列排列阵，则称此类信道为离散准对称信道。信道容量：当输入等概时达到信道容量。把准对称DMC的[Pyix]分块成n个行列排列子阵（Q，Q），信道容量计算公式如下。 og(M)- (, ., )C=-2((3.17)75
75 max ( ; ) max ( ) ( ) log log ( )1 i X X Pa r P P C IXY HX HX r s （3.14） 4）离散对称信道 按对称性限制条件的不同，对称信道可细分为几种不同形式：离散输入对称信道、离散 对称信道、离散准对称信道。 离散输入对称信道的信道容量： 定义：当信道 r s 转移矩阵 | [ ] PY X 每一行 s 个元素，都由同一组元素 1 2 {, , , }s p p p 的 不同排列组成，则称 | [ ] PY X 为行排列阵，此信道称为输入对称信道。 信道容量：当输出概率 PY 等概时， max{ ( )} ( , , , ) 1 2 X s P C HY H p p p （3.15） 但一般来说，变动 PX 未必一定能使 PY 达到等概分布。 离散输出对称信道： 定义：当信道 r s 转移矩阵 | [ ] PY X 每一列 r 个元素，都由同一组元素 1 2 {, , , }r qq q 的 不同排列组成，则称 | [ ] PY X 为列排列阵，此信道称为输出对称信道。 离散对称信道： 定义：当信道转移矩阵 | [ ] PY X 既是行排列阵又是列排列阵，此信道称为对称信道。 信道容量：对于对称 DMC，当输入 X 等概时，输出 Y 也等概分布，达到信道容量： 1 2 log ( , , , ) C s Hp p ps （3.16） 离散准对称信道： 定义：若信道转移矩阵 | [ ] PY X 的列可被划分成若干个互不相交的子集，且每个子集所组 成的子阵是行列排列阵，则称此类信道为离散准对称信道。 信道容量：当输入等概时达到信道容量。把准对称 DMC 的 | [ ] PY X 分块成 n 个行列排列 子阵 1 {, } Q Q n ，信道容量计算公式如下。 1 2 1 log ( , , , ) n k k k s k M M C s Hp p p r r （3.17）
其中r：转移矩阵[Pyix]的行数Sk：子阵Q的列数；M：子阵Q,的任一列元素之和；(pl,p,,p’}：转移矩阵[Pyx]任一行元素3.2.4.3一般DMC达到信道容量的充要条件对于一般DMC(X,Pyx,Y)，其平均互信息量I(X;Y)在输入分布为P=P(a),P（a),,P（a.))时取最大值的充要条件是当P(a,)>0时(3.18)I(a;)lp= =C,当P(a,)=0时(3.19)I(a;Y)lp- ≤C,其中，I(a;Y)为偏互信息，C是信道容量。3.2.4.4信道容量的迭代算法设DMC的转移概率矢量为Pyix=(P(b,la,)i,，记P=(P(a,),是任意给定的一组初始输入分布，其所有分量P°（a.）均不为零。按下式不断对输入分布进行迭代、更新：β.(P")pnl(a)= P"(ak)(3.20)p"(a)β,(P)i=1其中P(b, Ia.)ZP(b,la)log(3.21)β(P")=exp[1(x=ax;Y)]leP=P=exp/J=lZ p"(a,)P(b, la)1=1则由此所得的I(Px;Pyx）序列收敛于信道容量C。3.2.4.5扩展信道的信道容量扩展信道的平均互信息量的概率表达式为76
76 其中 r ：转移矩阵 | [ ] PY X 的行数； k s ：子阵Qk 的列数； Mk ：子阵Qk 的任一列元素之和； 1 2 {, , , }s p p p ：转移矩阵 | [ ] PY X 任一行元素； 3.2.4.3 一般 DMC 达到信道容量的充要条件 对于一般 DMC | { , ,} X P Y Y X ，其平均互信息量 I(;) X Y 在输入分布为 ** * * 1 2 { ( ), ( ), , ( )} P Pa Pa Pa X r 时取最大值的充要条件是 (;) * X X i P P I aY C ， 当 * () 0 P ai 时 （3.18） (;) * X X i P P I aY C ， 当 * () 0 P ai 时 （3.19） 其中， (;) i I a Y 为偏互信息，C 是信道容量。 3.2.4.4 信道容量的迭代算法 设 DMC 的转移概率矢量为 | , { ( | )} P Pb a YX j i i j ，记 0 0 { ( )} P Pa X ii 是任意给定的一组 初始输入分布，其所有分量 0 ( ) P ai 均不为零。按下式不断对输入分布进行迭代、更新： 1 1 ( ) () () ()( ) n n n k X k k r n n iiX i P P a Pa Pa P （3.20） 其中 1 1 (|) ( ) exp ( ; ) exp ( | )log ()( | ) n X X s n j k kX k j k P P r j n i ji i Pb a P I x a Y Pb a P a Pb a （3.21） 则由此所得的 | (; ) n X YX IP P 序列收敛于信道容量C 。 3.2.4.5 扩展信道的信道容量 扩展信道的平均互信息量的概率表达式为
P(αrβ)I(X;Y)=I(Xn;Yn)- P(αnβ,)log P(α)P(β,)h=1/-l(3.22)AP(β,/α,)Z P(αn)P(β, αn)1ogP(β,)三台平均互信息量与各类摘之间的恒等式：I(X,Y)= H(X)- H(XY)(3.23)=H(Y)-H(Y IX)以上两式与单符号信道情形完全相同。若信道无记忆，则有1(X;)≤(X;Y)(3.24)k=l若信源无记忆，则有(D)≥2(X:r)(3.25)若信道和信源均无记忆，则有?I(X;)=ZI(X;Y)= NI(X;Y)(3.26)k=lN次扩展信道的信道容量为THCN = max I(X;Y)= max I(X;Y)=)Emax I(X:Y) ==NC(3.27)PrPeTPk=lk=lk=3.2.5信道的组合3.2.5.1串联信道图3.4是两个信道组成的串联信道，9,和Q,分别是两个信道的转移概率矩阵。X信道1Y信道ⅡI20.Q,图3.4串联信道记串联信道中三个随机变量X、Y以及Z的取值符号集分别为Ax={a,αz",a,}Ay =(b,b,,...,b、A, =(ci,c,..,c) .77
77 1 1 1 1 ( ) ( ; ) ( ; ) ( )log ( )( ) (| ) ( ) ( | )log ( ) N N N N r s N N h l h l h l h l r s l h h lh h l l P IXY IX Y P P P P P P P （3.22） 平均互信息量与各类熵之间的恒等式： (;) () ( |) () ( | ) I XY HX HX Y HY HY X （3.23） 以上两式与单符号信道情形完全相同。 若信道无记忆，则有 1 (;) ( ; ) N k k k I XY IX Y （3.24） 若信源无记忆，则有 1 (;) ( ; ) N k k k I XY IX Y （3.25） 若信道和信源均无记忆，则有 1 (;) ( ; ) (;) N k k k I X Y I X Y NI X Y （3.26） N 次扩展信道的信道容量为 11 1 max ( ; ) max ( ; ) max ( ; ) X X X NN N N kk kk k PP P kk k C I X Y I X Y I X Y C NC （3.27） 3.2.5 信道的组合 3.2.5.1 串联信道 图 3.4 是两个信道组成的串联信道，Q1和Q2 分别是两个信道的转移概率矩阵。 记串联信道中三个随机变量 X 、Y 以及 Z 的取值符号集分别为 1 2 {, , , } A aa a X r 、 1 2 {, , , } A bb b Y s 、 1 2 {, , ,} A cc c Z t 。 图 3.4 串联信道 X 信道 I Y Q1 信道 II Z Q2
串联信道总的转移概率矩阵是各单元信道的转移概率矩阵之积。设N个单元信道的转移概率矩阵分别为Q,2Qn，则整个串联信道的转移概率矩阵为Q=00..Qn(3.28)10k=若信源XYZ组成马尔可夫链，则有(3.29)I(X;Z)≤I(X;Y)等号成立的充要条件是P(a,Ib,c)=P(a,Ib)=P(a,c）。(3.30)I(X:Z)≤I(Y:Z)等号成立的充要条件是P(clab,)=P(cla)。以上结论也可表述为信息不增性原理：通过信道的信息不会增加。或称为数据处理定理：数据经过处理之后，不会使信息增加。3.2.5.2独立并联信道独立并联信道如图3.5所示。N维输入X的各分量分别信道2X送入N个独立信道，各独立信道的输出组成N维输出Y。信道NY，只与X，有关，即等效信道是无记忆的：I(X;)≤I(X;Y)(3.31)k=图3.5独立并联信道所以，独立并联信道的信道容量为C= max I(X,)= max EI(X;Y)=)EC(3.32)Fk=lk=l即独立并联信道的信道容量为各组成信道的信道容量之和。3.2.6信道绝对剩余度(3.33)信道绝对剩余度=C-I(X;Y)C- I(X;)x100% =I(X;Y)信道相对剩余度=9×100%(3.34)cC剩余度小，说明信源与信道匹配程度高，信道的信息传递能力得到较充分利用：剩余度78
78 串联信道总的转移概率矩阵是各单元信道的转移概率矩阵之积。设 N 个单元信道的转 移概率矩阵分别为 1 2 QQ Q , N ，则整个串联信道的转移概率矩阵为 1 2 1 Q QQ Q Q N N k k （3.28） 若信源 XYZ 组成马尔可夫链，则有 I(;) (;) XZ IXY （3.29） 等号成立的充要条件是 (| ) (|) (|) P a bc P a b P a c i jk i j i k 。 I( ; ) (; ) X Z IYZ （3.30） 等号成立的充要条件是 (| ) (|) P c ab P c a k ij k i 。 以上结论也可表述为信息不增性原理：通过信道的信息不会增加。或称为数据处理定理： 数据经过处理之后，不会使信息增加。 3.2.5.2 独立并联信道 独立并联信道如图 3.5 所示。N 维输入 X 的各分量分别 送入 N 个独立信道，各独立信道的输出组成 N 维输出Y 。 Yk 只与 Xk 有关，即等效信道是无记忆的： 1 (;) ( ; ) N k k k I XY IX Y （3.31） 所以，独立并联信道的信道容量为 1 1 max ( ; ) max ( ; ) X N N kk k P k k C IXY IX Y C （3.32） 即独立并联信道的信道容量为各组成信道的信道容量之和。 3.2.6 信道绝对剩余度 信道绝对剩余度 C IXY (;) （3.33） 信道相对剩余度 (;) (;) 100% 1 100% C IXY IXY C C （3.34） 剩余度小，说明信源与信道匹配程度高，信道的信息传递能力得到较充分利用；剩余度 图 3.5 独立并联信道 Y X1 Y1 信道1 X2 Y2 信道2 XN YN 信道N X
为零，说明信源与信道（信息）完全匹配，信道的信息传递能力得到充分利用。一般来说，实际信源的概率分布Px未必就是信道的最佳输入分布P，所以I(X;Y）≤C，剩余度不为零。要求信源与信道达到信息的完全匹配是不现实的，只要信道剩余度较小就可以了。3.2.7连续信道的信道容量3.2.7.1连续信道信道容量的计算方法连续信道的平均互信息量与离散情形下的I(X；Y）类似：I(X;Y)= h(Y)-h(Y X)(3.35)= h(X)- h(X IY)而连续信道的信道容量定义为该信道的I(X,Y)在约束条件b(X)下关于fx(x)的最大值：C = max(I(X;,Y);b(X)) = max(h(Y)- h(Y / X);b(X))(3.36)fr(x)LyX若最大值不存在，可取其最小上界：(3.37)C= sup(I(X;Y);b(X))= sup(h(Y)-h(Y/X),b(X))r(x)fx(x)实际应用中，信道输入信号的平均功率E（X）总是限定在一定范围之内，因此对信道输入信号的限制条件可描述为b(X): E(X°)≤Ps(3.38)3.2.7.2加性高斯噪声信道的信道容量求解一般连续信道的信道容量非常困难，只有对一些特殊的连续信道，如加性高斯噪声信道，才能推出简明的信道容量表达式。加性噪声信道的转移概率密度函数Jux )-(-L(= J()= J(-n)(3.39)fx(x)fx(x)I(X;Y)= h(Y)-h(Z)(3.40)C(P)= max(h(Y); E(X)≤ Ps} - h(Z)(3.41)fx(x)或79
79 为零，说明信源与信道（信息）完全匹配，信道的信息传递能力得到充分利用。 一般来说，实际信源的概率分布 PX 未必就是信道的最佳输入分布 * PX ，所以 I(;) XY C ，剩余度不为零。要求信源与信道达到信息的完全匹配是不现实的，只要信道 剩余度较小就可以了。 3.2.7 连续信道的信道容量 3.2.7.1 连续信道信道容量的计算方法 连续信道的平均互信息量与离散情形下的 I(;) X Y 类似： ( ;) () ( | ) () ( |) I X Y hY hY X hX hX Y （3.35） 而连续信道的信道容量定义为该信道的 I(;) X Y 在约束条件 b X( ) 下关于 ( ) Xf x 的最 大值： () () max{ ( ; ); ( )} max{ ( ) ( | ); ( )} X X fx fx C I X Y b X hY hY X b X （3.36） 若最大值不存在，可取其最小上界： () () sup{ ( ; ); ( )} sup{ ( ) ( | ); ( )} X X fx fx C I X Y b X hY hY X b X （3.37） 实际应用中，信道输入信号的平均功率 2 E X( ) 总是限定在一定范围之内，因此对信道 输入信号的限制条件可描述为 2 ( ): ( ) S bX EX P （3.38） 3.2.7.2 加性高斯噪声信道的信道容量 求解一般连续信道的信道容量非常困难，只有对一些特殊的连续信道，如加性高斯噪声 信道，才能推出简明的信道容量表达式。 加性噪声信道的转移概率密度函数 ( ) ( ) ( ) ( ) ( ) ( ) ( , ) ( | ) | f z f y x f x f x f z f x f x y f y x Z Z X X Z X XY Y X （3.39） I( ;) () () X Y hY hZ （3.40） 2 ( ) ( ) max{ ( ); ( ) } ( ) X S S f x C P hY E X P hZ （3.41） 或