《信息论与编码基础》课程教学资源（教案讲义）第三章 广义信道

发音 语音编码 纠错编码 调制 狭义信 广义信道| 噪声 接收 信源译码 纠错译码 解调 语音通信系统 无线信道:长波超长波、中波、短波电离层反射、 微波无线电接力、人造卫星中继、散射 狭义信道有线信道:架空明线、电缆、光缆 存贮信道 广义信道 收发信机 扒N(t)) 也(R(t) 0 2

噪声 发音 语音编码 纠错编码 调制 信 道 接收 信源译码 纠错译码 解调 语音通信系统 广义信道 狭义信道 收发信机 有线信道：架空明线、电缆、光缆 无线信道：长波超长波、中波、短波电离层反射、 微波无线电接力、人造卫星中继、散射 存贮信道

∈X={1,a2 y∈Y=bh,b2,,b,l 基本信道 P(b;/n;) ∑P(b1)=1 1 1 Y1「b,b,b P(x ( P P(b P(ylx)=P(b;ai) ∑P(a;) ∑P(ba) ∑P(b,)=1 的a1)P(b2a1)…P(b,a)「1R2 p=P2)P2) P(b,a2)|4P21P2 22 P(ya, )P(b2la, ). P(bsa) LPr P2 ∑P(b/n)=1

( ) 1 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 1 2 2 1 2 2 2 1 1 1 2 1 1 2 1 2 2 2 2 1 1 2 1 1 =             =             =  =  s j j i r r r s s s r r s r s s P b a P P P P P P P P P P b a P b a P b a P b a P b a P b a P b a P b a P b a P                基本信道 [ , , , ] i 1 2 r x  X = a a  a [ , , , ] j 1 2 s y Y = b b  b P(y∣x) ( ) 1 ( ) 1  = = s j j i j i P b a or P b a  = =       =      r i i i r P a P a a a a P x X 1 1 2 ( ) 1 ( ) , , ( )   = =       =      s i j j s P b P b b b b P y Y 1 1 2 ( ) 1 ( ) , , ( )  ( ) ( ) x P bj ai P y = = = s j j i P b a 1 ( ) 1

X=(X1X2…XN)∈X Y1Y2…Y) 扩展信道 X=xEX=,2,,ap()=y∈Y=历,b,,b P(x)=p(1y2…yNx1x2…xx) =∏py1x;) 1 =(11 B1=(b1b1…b1) 2 B2=(b2b1…b1) P(ylx)=P(B, lak) BN=(bb 11 兀1 元 ∑丌h=1 h=1 DMC M 其中,丌k=P(Bak)=ⅡP(bnak)

  = = = = =                = N i hi k i DMC k h h k s h k h r r r s s s P P b a N N N N N N N 1 1 1 2 2 2 1 2 2 1 1 1 1 2 ( ) ( ) , 1              其中，        扩展信道 N X = (X1X2 X N ) X N Y = (Y1Y2 YN )Y [ , , , ] i i 1 2 r X = x  X = a a  a [ , , , ] j j 1 2 s Y = y Y = b b  b p( y x)   ( ) ( ) ( ) 1 1 2 1 2 i i N i DMS N N p y x p y x p y y y x x x = =  =     ( ) ( ) ( ) 2 2 1 1 1 1 1 1 r r r r a a a a a a a a a N     = = =    ( ) ( ) ( ) 2 2 1 1 1 1 1 1 s s s s b b b b b b b b b N     = = =    ( ) ( ) x P h k P y =  

全损信道 信源 加密 信道 解密 信宿 密钥源 非法用户 保密通信系统框图

信源 加密 密钥源 信道 解密 信宿 保密通信系统框图 X Y’ Y 非法用户 全损信道

H(XY X)=H(X)-H(x)=∑m H(X I Y I(X; r)=H(Y)-H(Y X)=2P(xy)log P(ylr) 信道疑义度 HOY IX 损失熵 P() 噪声熵 X)=B(X)+B(D-H(X=∑ r)P() H(X)(信源熵) H(Y)(信宿熵) I(X;Y) H(X)=∑p(x1)logp(x) H(Y)=∑p(y)gp(y) H(X1)=∑∑m(xy)gp(x1) H(YX)=∑ p(xi; )log P(yixi) 特殊信道总结 信道名称信道特征信息传输情况 H(X I Y=H(X) 全损信道P(xy)=P(x)P() I(X;Y)=0 无损无噪|P(x|y=0r1H(XY)=HY|X=0 信道 H Py x)=0 or I(X; Y)=H(X)=H(Y) 无损信道Px|y)=0or1 H(X|Y)=0 I(: Y=H(X) 无噪信道P(y1x)=0or1 H(Y|X)=0 I(X Y=HY

    = = = = = = = − = − = − = − r i s j i j j i r i s j i j i j j s j j i r i i H Y X p x y p y x H X Y p x y p x y H Y p y p y H X p x p x 1 1 1 1 1 1 ( ) ( )log ( ) ( ) ( )log ( ) ( ) ( )log ( ) ( ) ( )log ( ) 特殊信道总结 信道名称 信道特征 信息传输情况 全损信道 P(xy)=P(x)P(y) H(X︱Y)=H(X) I(X；Y)=0 无损无噪 信道 P(x︱y)=0 or 1 且 P(y︱x)=0 or 1 H(X︱Y)= H(Y︱X)=0 I(X；Y)=H(X)=H(Y) 无损信道 P(x︱y)=0 or 1 H(X︱Y)= 0 I(X；Y)=H(X) 无噪信道 P(y︱x)=0 or 1 H(Y︱X)=0 I(X；Y)=H(Y)    = + − = = − = = − = XY XY XY P x P y P xy I X Y H X H Y H XY P xy P y P y x I X Y H Y H Y X P xy P x P x y I X Y H X H X Y P xy ( ) ( ) ( ) ( ; ) ( ) ( ) ( ) ( )log ( ) ( ) ( ; ) ( ) ( ) ( )log ( ) ( ) ( ; ) ( ) ( ) ( )log H(X)（信源熵） H(Y) （信宿熵） H(Y∣X) H(X∣Y) I(X;Y) H(XY) 信道疑义度 损失熵 噪声熵 散布度

定理3-1:对于固定信道,平均互信息I(X;Y 是信源概率分布p(x)的∩型凸函 数 定理3-2:对于固定信源分布,平均互信息 I(X;Y)是信道传递概率p(yx)的∪型凸函 数 定理3-3:设离散信道的输入序列X= (X1X2…XN)通过信道传输,接收到的随机序 列为Y-(YY2…YN),而信道的转移概率为 ply x 1)若信道是无记忆的,则有:nxn)s∑(x,x) 2)若信源是无记忆的,则有:(x,)≥∑(x;r) 3)若信源与信道都是无记忆的,则有: I(X;Y)=∑I(X;H)

定理 3-1：对于固定信道，平均互信息 I(X;Y) 是信源概率分布 p(x)的∩型凸函 数。 定理 3-2：对于固定信源分布，平均互信息 I(X;Y)是信道传递概率 p(y|x)的∪型凸函 数。 定理 3-3：设离散信道的输入序列 X＝ (X1X2…XN)通过信道传输，接收到的随机序 列为 Y=( Y1Y2…YN)，而信道的转移概率为 p(y∣x)。 1） 若信道是无记忆的，则有：  =  N i Xi Yi I X Y I 1 ( ; ) ( ; ) 2） 若信源是无记忆的，则有：  =  N i Xi Yi I X Y I 1 ( ; ) ( ; ) 3） 若信源与信道都是无记忆的，则有：  = = N i Xi Yi I X Y I 1 ( ; ) ( ; )

例:(信道举例) o b2 1/2 5→0b3 b2 例:(对称信道识别) P 161 6 3121 6633 0 3366 0.70.20.1 P3 P4 =0.50.5 0.20.10.7

例：（信道举例） 例：（对称信道识别）   = 31 31 61 61 61 61 31 31 P1   = 21 61 31 31 21 61 61 31 21 P2   = 31 61 31 61 61 61 31 31 P3   = 0.2 0.1 0.7 0.7 0.2 0.1 P4   = 0 1 0.5 0.5 1 0 P5 a1 a2 ar b 1 b 2 b r a 1 a 2 b 1 b 2 b 5 b 3 b 4 a 1 a 2a3 b 1b 2

定义:若一个离散无记忆信道的信道矩阵中 每一行都是由同一集合{p1p2p3}的诸 元素不同排列组成,并且每一列也都是由集 {q1'q2..qr2}的诸元素不同排列组成,则 此信道为离散对称信道 定义:若输入符号和输出符号个数相同,等于 r,且信道矩阵为: P P P P ppp 则此信道称为强对称信道或均匀信道 定义:若信道输出集Y可划分成几个子集, 而每个子集所对应的信道转移概率矩阵P 中的列所组成的子阵具有下列性质: 每一行都是第一行的置换; 2.每一列都是第一列的置换; 则称该信道为准对称信道

定义：若一个离散无记忆信道的信道矩阵中 每一行都是由同一集合{p1 ’p2’… ps ’}的诸 元素不同排列组成，并且每一列也都是由集 合{q1 ’q2’… qr ’}的诸元素不同排列组成，则 此信道为离散对称信道。 定义：若输入符号和输出符号个数相同，等于 r，且信道矩阵为：                               − − − − − − − − − − − − − − − − p r p r p r p r p p r p r p r p r p p r p r p r p r p p 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1          则此信道称为强对称信道或均匀信道。 定义：若信道输出集 Y 可划分成几个子集， 而每个子集所对应的信道转移概率矩阵 P 中的列所组成的子阵具有下列性质： 1． 每一行都是第一行的置换； 2． 每一列都是第一列的置换； 则称该信道为准对称信道

定理3-4:(平均功率受限下的信源最大熵定理) 若一个信源输入信号的平均功率被限 定为P,则当其输出信号幅度的概率密度分 布是高斯分布时,信源具有最大熵,为: h(x)=log 2reP 2 对于N维随机序列信源,若N维随机序列 的相关矩阵R被限定,则N维随机序列为 正态分布时信源熵最大,为: h(X)=logR+logie 2

定理 3-4：（平均功率受限下的信源最大熵定理） 若一个信源输入信号的平均功率被限 定为 P，则当其输出信号幅度的概率密度分 布是高斯分布时，信源具有最大熵，为： h X log 2eP 2 1 ( ) = 对于 N 维随机序列信源，若 N 维随机序列 的相关矩阵 R 被限定，则 N 维随机序列为 正态分布时信源熵最大，为： e N h X R log 2 2 log 2 1 ( ) = + 

c clit(s) 0 B/Na 信道容量与带宽关系图 d 30 MQAM 不 况 区 04680nt6 信道利用率与信号功率关系图

信道容量与带宽关系图 信道利用率与信号功率关系图