《信息理论与编码》课程教学课件（讲稿）第3章 信道模型和信道容量 3.5 信道容量 3.6 扩展信道及其信道容量 3.7 信道的组合 3.8 信源与信道的匹配 3.9 连续信道及其信道容量 3.10 波形信道及其信道容量

3.5t信道容量C信息传输系统的衡量指（1）数量（速度）指标：信息（传输）率R，即信道中平均每个符号传递的信息量；（2）质量指标：平均差错率P，即对信道输出符号进行译码的平均错误概率。愿望：信道传输信息时速度快、错误少，即R尽量大而P。尽量小。信息率能大到什么程度？这就是信道容量问题

信息传输系统的衡量指标： 3.5 信道容量C （1）数量（速度）指标：信息（传输）率R，即信道中平均 每个符号传递的信息量； （2）质量指标：平均差错率Pe，即对信道输出符号进行译码 的平均错误概率。 愿望：信道传输信息时速度快、错误少，即R尽量大而Pe尽 量小。 信息率能大到什么程度？这就是信道容量问题

3.5.1信道容量的定义YXDMC(a,a,.,a,)(bi,b2,",b.)噪声信息率R，就是信道的平均互信息量：R=I(X;Y)= H(X)-H(XIY)=H(Y)-H(YIX) bit/符号bit/秒信息传输速率R，：R ==I(X;Y)信道容量C：信道的最大的信息率，即C = max R = max I(X;Y) bit/符号PxPx信道容量也可以定义为信道的最大的信息速率，记为C,：C, = max R, = max}=I(X;Y) bit/秒PxPxlt

3.5.1 信道容量的定义 信息率R，就是信道的平均互信息量： R  I(X;Y)  H(X)  H(X | Y) H(Y)  H(Y | X) bit/符号 信息传输速率Rt ： ( ; ) 1 I X Y t Rt  bit/秒 信道容量C ：信道的最大的信息率，即 C max R max I(X;Y) PX PX   bit/符号 信道容量也可以定义为信道的最大的信息速率，记为Ct ：         ( ; ) 1 max max I X Y t C R X PX t P t bit/秒 X Y 噪声 DMC 1 2 { , , , } a a ar 1 2 { , , , } b b bs

关于信道容量的几点注释C = max R= max I(X;Y) bit/符号PXPX(1）信道容量C是信道信息率的上限，定量描述了信道（信息的）最大通过能力；(2)使得给定信道的I(X;Y)达到最大值(即信道容量）的输入概率分布，称为最佳输入(概率)分布，记为 Px;(3)信道的I(X;Y)与输入概率分布Px和转移概率分布Pyx两者有关，但信道容量是信道的固有参数，只与信道转移概率Pyx有关

关于信道容量的几点注释 (1) 信道容量C 是信道信息率的上限，定量描述了 信道（信息的）最大通过能力； (3) 信道的I(X;Y) 与输入概率分布PX和转移概率分 布PY|X两者有关，但信道容量是信道的固有参数， 只与信道转移概率PY|X有关。 (2) 使得给定信道的I(X;Y) 达到最大值(即信道容量) 的输入概率分布，称为最佳输入(概率)分布，记 为 PX * ； C max R max I(X;Y) PX PX   bit/符号

3.5.2离散无噪信道的信道容量无噪信道：无损信道、确定信道以及无损确定信道的统称（1）无损信道：损失摘为零的信道1/4baB0003/40[1/43/4b20001/52/52/5r=3时,[Pyx]=b31/50000012/5b4a2B22/5bs每列只有一个非零元素。转移矩阵特征：1b67Bas令 [Px]=[P P2 3].....则1/7bs-200002/73p,/4p, /4B,bs-1a,0006P2/52p2/54/7[Pxr] =2 p2/500000P3

3.5.2 离散无噪信道的信道容量 无噪信道：无损信道、确定信道以及无损确定信道的统称。 （1）无损信道：损失熵为零的信道。 14 3 4 b2 a1 b1 1 a3 2 7 4 7 bs ar bs1 17 bs2 2 5 2 5 b5 a2 b4 15 b3 b6 B1 B2 B3 B r | 1 4 3 4 0 0 0 0 [ ] 0 0 1 5 2 5 2 5 0 0 0 0 0 0 1 PY X            r = 3 时, [ ] P p p p X   1 2 3  1 1 222 3 4 3 4 0 0 0 0 [ ] 0 0 5 2 5 2 5 0 0 0 0 0 0 XY p p P p p p p            转移矩阵特征：每列只有一个非零元素。 令 则

00003p, /4p./4000P2 /52 p2 /5[Px] =2 p2 /500000P3JA22311[P,]P3P2Pipi= P2P2福5545XA0[11000000111[Pxir ] =1000001 后验概率矩阵特征：每列只有一个元素为1，其余均为0，各列后验概率均组成确定性概率分布

1 1 2 2 2 3 1 3 1 2 2 [ ] 4 4 5 5 5 P p p p p p p Y        | 1 1 0 0 0 0 [ ] 0 0 1 1 1 0 0 0 0 0 0 1 PX Y            1 1 222 3 4 3 4 0 0 0 0 [ ] 0 0 5 2 5 2 5 0 0 0 0 0 0 XY p p P p p p p            后验概率矩阵特征：每列只有一个元素为1，其余均为 0，各列后验概率均组成确定性概率分布

后验概率矩阵特征：每列只有一000011个元素为1，其余均为0，各列后001011[Pxly ] =00000验概率均组成确定性概率分布。1nH(XIY =b,) = H[P(a Ib,),P(a2 Ib,),..-, P(a, Ib,)]=0 ; j=1,2,"",S损失熵： H(XIY)=ZP(b,)H(XIY=b,)=0j=1无损信道C = max I(X; Y) = max(H(X)- H(X IY)) = max H(X)PxPxPx的信道容量：C = H(X) lp(a,)=1/r= log r

| 1 1 0 0 0 0 [ ] 0 0 1 1 1 0 0 0 0 0 0 1 PX Y            后验概率矩阵特征：每列只有一 个元素为1，其余均为0，各列后 验概率均组成确定性概率分布。 1 2 ( | ) [ ( | ), ( | ), , ( | )] 0 ; 1,2, , H X Y b H P a b P a b P a b j s     j j j r j 损失熵： 1 ( | ) ( ) 0 ( | ) s j j X Y H X j H P b Y b      无损信道 的信道容 量： C max I(X;Y) max{H(X ) H(X |Y)} max H(X ) PX PX PX     C H X r P a r i  ( ) | ( )1/  log

（2）确定信道：噪声腐为0的信道[101qh0当s=2时，1a201[Pyix ] =1a.01b.a4ALO11asH(YIX)= 0....1I(X;Y)=H(Y)-H(YIX) = H(Y)AabC = max I(X;Y) = max H(Y)1RPxPx至少能够找到一种输入分布使输出的取值符号达到等概率分布，甚至有多个或无穷多个输入分布满足条件。C = max I(X;Y) = max H(Y) = H(Y)=logsP(b,)=1/sPxPx

(2)确定信道：噪声熵为0的信道 b2 1 b1 a a5 a2 a4 ar1 ar ar2 bs A1 A2 A s a3 1 1 1 1 1 1 1 1 H(Y | X )  0 max ( ; ) max ( ) P P X X C I X Y H Y   I(X;Y)  H(Y)  H(Y | X)  H(Y) 当s=2时，                  1 1 1 0 0 0 0 0 1 1 [ ] PY|X 至少能够找到一种输入分布使输出的取值符号达到等概率分 布，甚至有多个或无穷多个输入分布满足条件。 max ( ; ) max ( ) ( ) log ( ) 1 j X X P b s P P C I X Y H Y H Y s     

3）无损确定信道：损失摘和噪声摘均为0的信道0bai转移概率矩阵[Pyix ] =h为单位阵：00则令[Px]=[P]bpr11P2...a,H(YIX)=0[Pxy]=[PxyH(X |Y)=0PrI(X;Y)=H(X)=H(Y)p,][P,]=[P]P2C = max I(X;Y) = max H(X) = H(XlogrP(a,)=1/rPxPx

(3)无损确定信道：损失熵和噪声熵均为0的信道 2 b 1 b 1 a 1 s b r a 2 a 1 1 | 1 0 0 0 1 0 [ ] 0 0 1 PY X              转移概率矩阵 为单位阵： 1 2 0 0 0 0 [ ] 0 0 XY r p p P p                [ ] P p p p Y r   1 2  | 1 0 0 0 1 0 [ ] 0 0 1 PX Y              [ ] P p p p X r   1 2  ( | ) 0 ( | ) 0 H Y X H X Y   I X Y H X H Y ( ; ) ( ) ( )   max ( ; ) max ( ) ( ) log ( ) 1 i X X P a r P P C I X Y H X H X r      令 则

3.5.3离散对称信道（1）几种对称信道的定义定义l：信道rXs转移矩阵[Pyx]每一行s个元素，都由同一组元素(pi,p2,,的不同排列组成，则称为行排列阵，此类信道称为离散输入对称信道0.10.30.20.4例：[Pyix]=0.10.20.30.4

3.5.3 离散对称信道 （1）几种对称信道的定义 定义1：信道r×s转移矩阵[PY|X]每一行s个元素，都由同一组 元素 的不同排列组成，则称为行排列阵，此类 信道称为离散输入对称信道。 1 2 { , , , }s p p p    | 0.1 0.2 0.3 0.4 [ ] 0.2 0.3 0.4 0.1 PY X        例：

[0.10.20.40.3例：[Pyjx]=0.30.10.20.4i=1,2,..,rH(Y Ia,)= H(p",p2,..", p')H(Y|X) =ZP(a,)H(Y|a,)= H(Y |a,)P(a,) = H(pi, P2, *, P)i=1i=lC = max I(X;Y)Px将平均互信息量的最大值= max(H(Y)- H(Y I X))Px问题转换成输出摘的最大= max(H(Y)) -H(p", p2,..", p')值问题。Px

| 0.1 0.2 0.3 0.4 [ ] 0.2 0.3 0.4 0.1 PY X        例： 1 2 ( | ) ( , , , ) 1,2, , H Y a H p p p i r i s      1 2 1 1 ( | ) ( ) ( | ) ( | ) ( ) ( , , , ) r r i i i i s i i H Y X P a H Y a H Y a P a H p p p         1 2 max ( ; ) max{ ( ) ( | )} max{ ( )} ( , , , ) X X X P P s P C I X Y H Y H Y X H Y H p p p         将平均互信息量的最大值 问题转换成输出熵的最大 值问题