1第3章基本概念1.离散无记忆信道的数学模型（1）离散无记忆信道（DMC）：信道的输入和输出都是取值于离散集合的随机变量序列，并且信道当前的输出只与信道当前的输入有关。（2）DMC的数学模型记为（X,Pylx,Y)，Prx是转移概率集合：Pyx ={P(b, |a,)[i=1,2,..,r,j =1,2,..,s)2.与信道有关的概率的计算问题对于r个输入符号和s个输出符号的DMC，会涉及如下类型的概率：r个输入概率：P(a);i=1,2,,rs个输出概率：P(b,);j=1,2,srxs个输出概率：P(a,b,);i=1,2,,r;j=1,2,,srxs个转移概率：P(b,la);i=1,2,..,r;j=1,2,.,srxs个后验概率：P(alb,);i=1,2,,r;j=1,2,,s概率的矩阵表示：[Px]=[P(a) P(a). P(a,)][P,]=[P(b) P(b, . P(b,)]bsb,b,...[P(a,b)P(a,b,)P(a,b,)/ aP(az,b)P(az,b,)P(a,b,)az[Px] =:...：...P(a,b)P(a,b,)P(a,b,)J a,brb.b.[P(a, [b)P(a, |b,)P(a,/b,)/aP(a,Ib) P(a, lb,) ... P(a,Ib,)a[Pxy] =:::目.P(a, [b)P(a,Ib,)..Pa,lb)a,[Px]、[P]和[Pyx]之间存在如下关系：[P ]=[Px][Pyx][P,]} =[Px]'[Px]}[Px]、[P,]和[Pxv]之间的关系：[Px” =[Px][P,]3.信道的疑义度、散布度和平均互信息对于DMC(X,Pyx，Y)，平均互信息量I(X;Y)与各类之间的关系为：I(X,Y) = H(X)-H(X |Y)= H(Y)- H(YIX)（1）信道的疑义度或损失焰H(XIY)：1
1 1 第 3 章基本概念 1. 离散无记忆信道的数学模型 （1）离散无记忆信道（DMC）：信道的输入和输出都是取值于离散集合的随机变量序 列，并且信道当前的输出只与信道当前的输入有关。 （2）DMC 的数学模型记为 | { , ,} XP Y Y X ， PY X| 是转移概率集合： | { ( | ) | 1, 2, , ; 1, 2, , } P Pb a i r j s Y X = j i = = 2. 与信道有关的概率的计算问题 对于 r 个输入符号和 s 个输出符号的 DMC，会涉及如下类型的概率： r 个输入概率： ( ) ; 1, 2, , Pa i r i = s 个输出概率： ( ) ; 1, 2, , Pb j s j = r s × 个输出概率： ( , ) ; 1,2, , ; 1,2, , Pa b i r j s i j = = r s × 个转移概率： ( | ) ; 1,2, , ; 1,2, , Pb a i r j s j i = = r s × 个后验概率： ( | ) ; 1,2, , ; 1,2, , Pa b i r j s i j = = 概率的矩阵表示： [ ] [ ] 1 2 1 2 [ ] () () () [ ] () () () X r Y s P Pa Pa Pa P Pb Pb Pb = = 1 2 11 12 1 1 21 22 2 2 1 2 (,) (, ) (,) (,) (,) (,) [ ] (,) (,) (,) s s s XY r r r s r bb b Pa b Pa b Pa b a Pa b Pa b Pa b a P Pa b Pa b Pa b a = 1 2 11 12 1 1 21 22 2 2 | 1 2 (|) (|) (|) ( |) ( |) ( |) [ ] ( |) ( |) ( |) s s s X Y r r r s r bb b Pa b Pa b Pa b a Pa b Pa b Pa b a P Pa b Pa b Pa b a = [ ] PX 、[ ] PY 和[ ] PY|X 之间存在如下关系： | [ ] [ ][ ] P PP Y X YX = | [ ] [ ][ ] T TT P PP Y YX X = [ ] PX 、[ ] PY 和 | [ ] PX Y 之间的关系： | [ ] [ ][ ] T T P PP X XY Y = 3. 信道的疑义度、散布度和平均互信息 对于 DMC | { , ,} XP Y Y X ，平均互信息量 IXY (;) 与各类熵之间的关系为： ( ) ( | ) ( ; ) ( ) ( | ) H Y H Y X I X Y H X H X Y = − = − （1）信道的疑义度或损失熵 HXY ( |) ：
21H(X/Y)= P(b,)Z P(a, Ib,)logP(b,)H(XIY=- b,)P(ab,)i-lH(X[b,)= H(X[Y =b) =-Z P(a, [b,)1og P(a, [b,)= H[P(a /b,), P(a, /b,),.., P(a, Ib,))（2）信道的散布度或噪声H(YIX)：1= P(a,)H(Y|X=a,)H(1X)= P(a)≥ P(b, a)10g (b,la)=Zi=lj=1H(Y|a,)= H(Y|X =a,) =-Z P(b, [a,)logP(b, la,)i-l=H[P(b /a,), P(b2 /a),..,P(b, la,))（3）信道的平均互信息：P(a,b,)I(X;Y) = P(a,b,)logP(a,)P(b,)台台P(b, la)P(a,)P(b, la,)logI(X:Y) = (=l jslZP(a,)P(b, a,)-定理3.1：如果信道给定（即Pyix给定），那么I(Px，Pyx）是输入概率Px的上凸函数。定理3.2：如果信源给定（即P给定），那么I(Px，Pyx）是转移概率Px的下凸函数。4.信道容量C：C = max R = max I(X;Y)bit/符号PxPy5.离散无噪信道本书所说的无噪信道是无损信道、确定信道以及无损确定信道的统称。（1）无损信道：损失摘为0的信道。C= max I(X;Y)= max H(X)= H(X)|p(a)-/r=logr（2）确定信道：噪声焰为0的信道。C = max I(X;Y) = max H(Y) = H(Y)=logsP(h)=1/sPx（3）无损确定信道：损失摘和噪声摘均为0的信道。C= max I(X;Y)= max H(X)= H(X)p(a)-y = logrPxP6.离散对称信道（1）离散对称信道输入等概率分布时，输出也等概率分布。(2）对称DMC的信道容量：当输入等概时达到信道容量C= logs-H(p", p2,.., p,)bit/符号7.离散准对称信道离散准对称信道的最佳输入分布仍为等概率分布，但此时输出不等概，准对称DMC的信道容量计算公式：MM.C=-H(pi,P2,.",p)bit/符号S8.一般DMC达到信道容量的充要条件：当P(a)>0时I(a,;Y)l=C,2
2 2 1 1 1 1 ( | ) ( ) ( | )log ()( | ) (|) s r s j ij j j j i j i j H X Y Pb Pa b Pb H X Y b = = Pa b = = ∑ ∑ = ∑ = 1 1 2 ( | ) ( | ) ( | )log ( | ) [ ( | ), ( | ), , ( | )] r j j ij ij i j j rj H X b H X Y b Pa b Pa b HPa b Pa b Pa b = = = = − = ∑ （2）信道的散布度或噪声熵 H(Y | X ) ： 1 1 1 1 ( | ) ( ) ( | )log ()(| ) (|) r s r i ji i i i j i j i HY X Pa Pb a Pa HY X a = = Pb a = = ∑ ∑ = ∑ = 1 1 2 ( | ) ( | ) ( | )log ( | ) [ ( | ), ( | ), , ( | )] s i i ji ji j i i si HY a HY X a Pb a Pb a HPb a Pb a Pb a = = = = − = ∑ （3）信道的平均互信息： 1 1 (, ) ( ; ) ( , )log ()( ) r s i j i j i j i j Pa b I XY Pa b = = Pa Pb = ∑∑ 1 1 1 (|) ( ; ) ( ) ( | )log ()( | ) r s j i i ji r i j i ji i Pb a I XY Pa Pb a Pa Pb a = = = = ∑∑ ∑ 定理 3.1：如果信道给定（即 PY|X 给定），那么 | (, ) X YX IP P 是输入概率 PX 的上凸函数。 定理 3.2：如果信源给定（即 PX 给定），那么 | (, ) X YX IP P 是转移概率 PY|X 的下凸函数。 4. 信道容量C ： C max R max I(X;Y) PX PX = = bit /符号 5. 离散无噪信道 本书所说的无噪信道是无损信道、确定信道以及无损确定信道的统称。 （1）无损信道：损失熵为 0 的信道。 C I X Y H X H X r P a r P P i X X max ( ; ) max ( ) ( ) log ( ) 1 = = = = = （2）确定信道：噪声熵为 0 的信道。 C I X Y H Y H Y s P b s P P j X X max ( ; ) max ( ) ( ) log ( ) 1 = = = = = （3）无损确定信道：损失熵和噪声熵均为 0 的信道。 max ( ; ) max ( ) ( ) log ( )1 i X X Pa r P P C IXY HX HX r = = = = = 6. 离散对称信道 (1) 离散对称信道输入等概率分布时，输出也等概率分布。 (2) 对称 DMC 的信道容量：当输入等概时达到信道容量 1 2 log ( , , , ) C s Hp p ps = − ′′ ′ bit /符号 7. 离散准对称信道 离散准对称信道的最佳输入分布仍为等概率分布，但此时输出不等概，准对称 DMC 的 信道容量计算公式： 1 2 1 log ( , , , ) n k k k s k M M C s Hp p p = r r = − − ′′ ′ ∑ bit /符号 8. 一般 DMC 达到信道容量的充要条件： (;) * X X i P P IaY C = = ， 当 * () 0 P ai > 时
3当P(α)=0时I(a,;Y)p,- ≤C,9.扩展信道及其信道容量（1）根据DMC的定义不难推证，信道是DMC的充要条件是P(B,lαan)=P(b,b,-.-b, Ianam-*-an)=IIP(b, lan)(2）扩展信道的平均互信息量和信道容量I(X;Y)≤EI(X;Y)信道无记忆时合I(X;Y)≥I(X;Y)信源无记忆时kII(X:Y)=EI(Xy)信源和信道均无记忆时离散无记忆信道的N次扩展信道的信道容量为CN = NC10.信道的组合（1）串联信道的转移矩阵：Q=Q0,Qn=110（2）信息不增性原理或数据处理定理：对于马尔可夫链XYZ，有I(X;Z)≤I(X;Y)I(X;Z)≤I(Y;Z)（3）独立并联信道的信道容量：NC=max I(X;Y)= max ZI(X;Y)-CCP台k=l11.信道的剩余度：信道绝对剩余度=C-I(X:Y)信道相对剩余度=[1- 1(X;)]x100%c12.加性噪声信道：输入X与干扰Z无关，且Y=X+Zfrux(ylx)= fz(a)= f2(y-x)h(Y |X)= h(Z)13.加性高斯噪声信道的信道容量Ps1log1+C(Ps)=2PN14.一般加性噪声信道的信道容量的界：10g/1+P/Ps+ PN1-log≤C(P)≤-2PN)2P1其中12h(Z)P. =2元e15.带限、加性高斯白噪声信道的信道容量：3
3 3 (;) * X X i P P IaY C = ≤ ， 当 * () 0 P ai = 时 9. 扩展信道及其信道容量 (1) 根据 DMC 的定义不难推证，信道是 DMC 的充要条件是 1 2 1 2 1 (|) ( | ) (| ) N N k k N l h ll l hh h l h k P Pbb b a a a Pb a b a = = = ∏ (2) 扩展信道的平均互信息量和信道容量 信道无记忆时 1 (;) ( ; ) N k k k IXY IX Y = ≤ ∑ 信源无记忆时 1 (;) ( ; ) N k k k IXY IX Y = ≥ ∑ 信源和信道均无记忆时 1 (;) ( ; ) N k k k IXY IX Y = = ∑ 离散无记忆信道的 N 次扩展信道的信道容量为 N C NC = 10. 信道的组合 （1）串联信道的转移矩阵： 1 2 1 Q QQ Q Q= = = ∏ N N k k （2）信息不增性原理或数据处理定理：对于马尔可夫链 XYZ ，有 IXZ IXY (;) (;) ≤ I X Z IYZ ( ; ) (; ) ≤ （3）独立并联信道的信道容量： 1 1 max ( ; ) max ( ; ) X N N kk k P k k C IXY IX Y C = = = = ∑ ∑= 11. 信道的剩余度： 信道绝对剩余度 = − C IXY (;) 信道相对剩余度 (;) 1 100% IXY C =− × 12. 加性噪声信道：输入 X 与干扰 Z 无关，且 Y = X + Z | ( | ) () ( ) Y X Z Z f yx f z f y x = = − hY X hZ (| ) () = 13. 加性高斯噪声信道的信道容量： 1 ( ) log 1 2 S S N P C P P = + 14. 一般加性噪声信道的信道容量的界： 1 1 log 1 ( ) log 2 2 S S N S N e P P P C P P P + + ≤ ≤ 其中 1 2( ) 2 h Z P e e π e = 15. 带限、加性高斯白噪声信道的信道容量：
41PsC(Ps)= Blog1+bit/sN.B上式就是有名的香农信道容量公式。4
4 4 0 ( ) log 1 S S P CP B N B = + bit s/ 上式就是有名的香农信道容量公式