第十二章信息理论 121离散信源的熵 >熵的定义: 设:信源X能发出n个不同的消息x,x2 则定义熵为信源的平均信息量H(X): H(X)=E[(x)]=-2P(x,)10g2 P(x,) 式中,I(x)=-log2P(x)(b) 1(x)表示消息x含有的信息量 ■熵H(X)可以理解为信源的平均不确定度
1 第十二章 信息理论 12.1 离散信源的熵 ➢ 熵的定义： 设：信源 X 能发出n个不同的消息x1 , x2 , …, xi , …, xn， 则定义熵为信源的平均信息量H(X)： 式中，I (xi ) = - log2 P(xi ) (b) ◼ I (xi )表示消息xi含有的信息量 ◼ 熵H(X)可以理解为信源的平均不确定度。 = = = − n i i i i H X E I x P x P x 1 2 ( ) [ ( )] ( )log ( )
>二进制信源的熵 设:信源仅有“0”和“1两种消息。 发送“1”的概率P(1)=a, 1.0 则发送“0”的概率PO)=1-a 信源的熵等于 0.5 H(a)=-P(1)log2P(1)-P(0)log2P(0) a, a-(I-a)log2 (1-a) 00.250.50.75 ■若一个消息是一个码元,则熵H(a)的单位:比特/码元 H(a)~a曲线 口当a=1/2时,此信源的熵最大;这时的两个消息是等概 率出现的,其不确定度最大。 口当a≠1/2时,一个消息比另一个消息更可能出现,因此 不确定度减小 口若a或B等于0,则不确定度为0
2 ➢ 二进制信源的熵 ◼ 设： 信源仅有“0”和“1”两种消息。 发送“1”的概率P(1) = ， 则 发送“0”的概率P(0) = 1 - = 信源的熵等于 ◼ 若一个消息是一个码元，则熵H()的单位：比特/ 码元 ◼ H()～ 曲线 当 = 1/2时，此信源的熵最大；这时的两个消息是等概 率出现的，其不确定度最大。 当 1/2时，一个消息比另一个消息更可能出现，因此 不确定度减小。 若 或 等于0，则不确定度为0。 log (1 )log (1 ) ( ) (1)log (1) (0)log (0) 2 2 2 2 = − − − − H = −P P − P P
n进制信源的熵 设:信源有n种可能出现的消息,并用P表示第个消息的 出现概率, 则由熵的定义可以写出此信源的熵M=∑Pbg2P i=1 ■熵的最大值: 令上式对P的导数等于0,求H的最大值。 由于P=1-(B+P2+…+P1+…+Pn1) 故当P变时,可仅使P随之变化,并保持其他P为常数 于是得到【Hd (Pk log 2 Pk-Pn log 2 Pn) dP 利用求导数公式 du log gae 上式变为=-1b2e-g2P+P p ogre+ log 2 Pn 或H=k g
3 ➢ n 进制信源的熵 ◼ 设：信源有n种可能出现的消息，并用Pi表示第i个消息的 出现概率， 则由熵的定义可以写出此信源的熵 ◼ 熵的最大值： 令上式对Pk的导数等于0，求H的最大值。 由于 故当Pk变时，可仅使Pn随之变化，并保持其他Pi为常数。 于是得到 利用求导数公式 上式变为 或 1 ( ) Pn = − P1 + P2 ++ Pi ++ Pn−1 = = − n i H Pi Pi 1 2 log ( log log ) k 2 k n 2 n k k P P P P dP d dP dH = − − dx du e u u dx d a a log 1 log = n n k n k k k e P P e P P P P dP dH 2 2 2 2 log log 1 log log 1 = − − + + k n k P P dP dH 2 = log
dH 等于0,就可以求出H的最大值。 当Pk=Pn,上式等于0。由于P是任意一个消息的出现概 率,所以有 将上式代入|H=∑Pbg2P 得到H的最大值:H=kog2n
4 令 等于0，就可以求出H的最大值。 当Pk = Pn，上式等于0。由于Pk是任意一个消息的出现概 率，所以有 将上式代入 得到H的最大值： k n k P P dP dH 2 = log n P P Pn 1 1 = 2 = = = H = log 2 n = = − n i H Pi Pi 1 2 log
12,2离散信道模型 二进制无记忆编码信道的模型 P(0/0) P(1/0) 发送端 接收端 P(0/1) P(I/1) >信道的特性:由下列信道转移概率矩阵所完全确定 [(/x]= 「P(y/x)P(2/x) /x2)P(y2/x2 式中,P(/x)一发送x,收到y的条件概率 信道输入和输出概率关系 若输入概率矩阵为[(X=[x)P(x 则由MP/ 可以计算出[P)=P)PU 5
5 12.2 离散信道模型 ➢ 二进制无记忆编码信道的模型 ➢ 信道的特性：由下列信道转移概率矩阵所完全确定 式中，P(yj /xi ) － 发送 xi ，收到 yj 的条件概率。 ➢ 信道输入和输出概率关系 若输入概率矩阵为 则由 可以计算出 1 1 P(1 / 0) P(0 / 1) 0 0 P(0 / 0) P(1 / 1) 发送端 接收端 = ( / ) ( / ) ( / ) ( / ) ( / ) 1 2 2 2 1 1 2 1 P y x P y x P y x P y x P Y X ( ) ( ) ( ) 1 2 P X = P x P x ( ) ( ) ( ) 1 2 P Y = P y P y P(Y) = P(X) P(Y / X)
>输入输出的联合概率矩阵P(X,Y 将[P(写成对角线形式: [(x=[P(x)0 0P(x2) 并与 P(y1/x1)P(y2/x1) [Pxx)2P(/x、w 相乘,得到联合概率矩阵P(X,Y: P(x1) 0P( /x) P(2/x) P(X,Y)=P(X)P(/X)=0 P(x2)P(y1/x2) P(x1)P( /x1) P(x)P(2/x1)P(x,,D) P(x,,y2) P(x2)P(/x2)P(x2)P(y2/x2)LP(x2,y1)P(x2,y2) 式中, P(x,y)=Px)P(/x)-发送x,收到y的联合概率
6 ➢ 输入输出的联合概率矩阵P(X, Y) 将[P(X)]写成对角线形式： 并与 相乘，得到联合概率矩阵P(X, Y)： 式中， － 发送 xi 收到 yj 的联合概率 = 0 ( ) ( ) 0 ( ) 2 1 P x P x P X = ( / ) ( / ) ( / ) ( / ) ( / ) 1 2 2 2 1 1 2 1 P y x P y x P y x P y x P Y X = = = = ( , ) ( , ) ( , ) ( , ) ( ) ( / ) ( ) ( / ) ( ) ( / ) ( ) ( / ) ( / ) ( / ) ( / ) ( / ) 0 ( ) ( ) 0 ( , ) ( ) ( / ) 2 1 2 2 1 1 1 2 2 1 2 2 2 2 1 1 1 1 2 1 1 2 2 2 1 1 2 1 2 1 P x y P x y P x y P x y P x P y x P x P y x P x P y x P x P y x P y x P y x P y x P y x P x P x P X Y P X P Y X ( , ) ( ) ( / ) i j i j i P x y = P x P y x
>例1:设有一个二进制信道,如图所示, 其转移矩阵为: 0.7 070.3 0.3 [P(Y/X= 发送端 接收端 040.6 0.4 0.6 若信道输入的概率为 P(x1)=0.5和P(x2)=0.5 试求输出概率矩阵P(和联合概率矩阵P(X,Y)。 「解]输出概率矩阵 0.70.3 P(Y)=[050.5 =[0.55045 0.40.6 联合概率矩阵: [(x,)]= 0.50070.310.350.15 00.5040.60.20.3 7
7 ➢ 例1：设有一个二进制信道，如图所示， 其转移矩阵为： 若信道输入的概率为 试求输出概率矩阵P(Y)和联合概率矩阵P(X, Y)。 [解] 输出概率矩阵: 联合概率矩阵: 0.3 0.4 x1 y1 x2 y2 0.7 0.6 发送端 接收端 = 0.4 0.6 0.7 0.3 P(Y / X ) P(x1 ) = 0.5 和 P(x2 ) = 0.5 0.55 0.45 0.4 0.6 0.7 0.3 ( ) 0.5 0.5 = P Y = = = 0.2 0.3 0.35 0.15 0.4 0.6 0.7 0.3 0 0.5 0.5 0 P(X,Y)
123联合熵和条件熵 设:一信道有n个可能输入和m个可能输出, 则可用输入概率P(x),输出概率P(y),转移概率P(/x)和联合 概率Pxy)定义下列不同的熵函数: =∑x)e:PCx)-信源的平均不确定度 H(Y)=∑P()og2P(y) 接收码元的平均不确定度 i=1 7B(/=∑∑P(x1y2(y/x)一给定发送X后接收码元的 平均不确定度; (x/)=-∑∑(x,y)g:Px/y)收到一个码元后发送码元 i=1j=1 的平均不确定度; H(x,)=∑∑Px,y)e2Px,y)一整个通信系统的平均不确 定度。 联合熵公式:X,Y)=H(X)+hxD)=/X)+HX
8 12.3 联合熵和条件熵 设：一信道有n个可能输入和m个可能输出， 则可用输入概率P(xi )，输出概率P(yj )，转移概率P(yj /xi )和联合 概率P(xi , yj )定义下列不同的熵函数： ➢ － 信源的平均不确定度； ➢ － 接收码元的平均不确定度； ➢ －给定发送X后接收码元的 平均不确定度； ➢ －收到一个码元后发送码元 的平均不确定度； ➢ －整个通信系统的平均不确 定度。 ➢ 联合熵公式： = = − n i i i H X P x P x 1 2 ( ) ( )log ( ) = = − m i j j H Y P y P y 1 2 ( ) ( )log ( ) = = = − n i m j i j j i H Y X P x y P y x 1 1 2 ( / ) ( , )log ( / ) = = = − n i m j i j i j H X Y P x y P x y 1 1 2 ( / ) ( , )log ( / ) = = = − n i m j i j i j H X Y P x y P x y 1 1 2 ( , ) ( , )log ( , ) H(X,Y) = H(X /Y) + H(Y) H(X,Y) = H(Y / X ) + H(X )
124无噪声信道容量 >互信息量I(X,Y) 定义:在收到发送码元后,此发送码元的平均不确定度 的下降量 (X; Y=H(X-H(X/Y 式中,H(X)一信源的平均不确定度; H(Y/Y一收到一个码元后发送码元的平均不确定度 上式可以改写为 X,Y)=H(Y)=H(/A) 性质:(X)≥0 >信道容量C 定义:互信息量的最大值 C=m(X,Y)(b/码元) 性质:C仅是信道转移概率的函数; C是一个码元能够传输的最大平均信息量
9 12.4 无噪声信道容量 ➢ 互信息量 I (X; Y) ◼ 定义：在收到发送码元后，此发送码元的平均不确定度 的下降量 式中， H(X) － 信源的平均不确定度； H(X / Y) － 收到一个码元后发送码元的平均不确定度 上式可以改写为 ◼ 性质： ➢ 信道容量C ◼ 定义：互信息量的最大值 （b/码元） ◼ 性质：C 仅是信道转移概率的函数； C是一个码元能够传输的最大平均信息量。 I(X;Y) = H(X ) − H(X /Y) I(X;Y) = H(Y) − H(Y / X ) I(X;Y) 0 C = maxI(X;Y)
>例2:试求下图中的无噪声离散信道的容量。 解】由式 I(X;Y)=H(X)-H(X/Y) J2 及式 x H(X/Y)=∑∑Px,y)og2P(x/y) y i=l j= 无噪声离散信道 可知,对于无噪声信道, 当i≠时,P(xpy)=0,P(x1/y)=0; 当i=j时,P(x/y)=1 因此,H(X/Y=0,I(X;Y)=H(X 若信源中所有码元是等概率的,则信源的熵H(X)最大。 因此, C=max[/(X; r)=2-log2 n=log2n 10
10 ➢ 例2：试求下图中的无噪声离散信道的容量。 【解】 由式 及式 可知，对于无噪声信道， 当 i j 时， P(xi , yj ) = 0, P(xi / yj ) = 0; 当 i = j 时，P(xi / yj ) = 1。 因此，H(X / Y) = 0，I(X; Y) = H(X) 若信源中所有码元是等概率的，则信源的熵H(X)最大。 因此， x1 x2 xn y1 y2 yn 1 1 1 无噪声离散信道 I(X;Y) = H(X ) − H(X /Y) = = = − n i m j i j i j H X Y P x y P x y 1 1 2 ( / ) ( , )log ( / ) n n n C I X Y n i 2 1 2 log log 1 = max ( ; ) = = =