《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 2.5 联合熵和条件熵 2.6 平均互信息量及其性质 2.7 离散无记忆信源的扩展

2.5联合和条件·联合：联合自信息量的统计平均。条件熵：条件自信息量的统计平均·各类之间的关系：与各类自信息量之间的关系对应

2.5 联合熵和条件熵 • 联合熵：联合自信息量的统计平均。 • 条件熵：条件自信息量的统计平均 • 各类熵之间的关系：与各类自信息量之间的关 系对应

2.5.1联合熵设联合概率空间为[XY,P]=[(xk,y,),P(xk.y,)Ik =1,2,...,K; j =1,2,",J]联合符号（x，y）的先验不确定性称为联合自信息量：I(y)= log P(x,y)k=1,2,Kj=12,,J统计平均联合222P(xx,y,/)log P(xx,y)H(XY) =k=l j=l-EP(xoy,)logP(xy))k,j熵H(XY)白的物理意义：信源XY的平均不确定性

2.5.1 联合熵 [XY,P ] [(x , y ), P(x , y ) | k 1,2, ,K; j 1,2, , J ] XY  k j k j     设联合概率空间为 1 ( log , ) ) ( , k k j j I x x y P y  联合符号 ( , ) x y k j 的先验不确定性称为联合自信息量 : k K j J   1 , 2 , , ; 1 , 2 , , H XY ( ) 统计平均 联 合 熵 熵 H XY ( )的物理意义:信源 XY 的平均不确定性。 1 1 1 ( , lo ( ) g , ) K J k j j k k P x j P x y   y    , ( , )log ( , ) k j j  P x y k P x y k j

2.5.2条件熵设联合概率空间为[XY,P]=[(xk,y,),P(xk,y)/k =1,2,..",K; j =1,2,.",J]条件自信息量：1I(x y) = 1og P(x1y)k=1,2,K;j=l,2,,J统计平均KJH(XIY) =P(xt,y,)l(x 1y,)k=1 j=l条件熵22J1P(xx.y) log P(xx 1 y)k=l j=1-EP(xx,y,)log P( I y)k,j

2.5.2 条件熵 [XY,P ] [(x , y ), P(x , y ) | k 1,2, ,K; j 1,2, , J ] XY  k j k j     设联合概率空间为 1 ( log | ) ) ( | k k j j I x x y P y  条件自信息量 : k K j J   1 , 2 , , ; 1 , 2 , , H X Y ( | ) 统计平均 条 件 熵 1 1 ( , ) ( | ) k j k j K J k j P x y I y x      , ( , )log ( | ) k j j  P x y k P x y k j 1 1 1 ( , lo ( ) g | ) K J k j j k k P x j P x y   y   

条件熵（续一）K1H(X|Y)=P(xk.y) 1og P(x 1 y)福P(y)P(x 1 y,) og P(x, 1y)i=1P(y)[≥ P(x y,)1ogP(x /y)k=1P(y,)H(XIY = y,)ZH(XIY=y,)=)P(x y,)log式中P(x/y,)k-l解释：：HXIY=y）是另一种条件熵，它只对X求了统计平均，而未对下有关求统计平均，代表在给定条件的（平均）不确定性

条件熵(续一) H X Y ( | ) 1 1 1 ( , lo ( ) g | ) K J k j j k k P x j P x y   y    1 1 1 log ( ( ) ) | | ( ) j k j j J k j k K P P y P x y   x y    1 1 1 ( | )log ( | ) ( ) K k j k k j j J j P x y P y x y P             1 ( ) ( | ) J j j P y H X Y y j     式中 1 ( | ) 1 ( | ) lo ( | ) g K j k j k k j P x y P H X y Y y  x    解释: 是另一种条件熵，它只对 求了统计平 均, 而未对 求统计平均，代表在给定条件 下有关 的（平均）不确定性。 ( | ) H X Y y  j X Y Y y  j X

条件熵（续二）1H(XIY) =Z= P(y,)H(X|Y = y)P(xk,y,)logP(x/y)k=l j=l1H(X1Y=,)=2P(x 1)1og P(x1y)k=lH(IX) =含 P(y,)1og P(y,1x)ZP(x)H(YIX= x))k=l j=l/H(YIX =x)=P(y, x)10g P(y,1x)

条件熵(续二) H X Y ( | ) 1 1 1 ( , )lo ( | ) g K J j k k k j P x j P x y   y    1 ( ) ( | ) J j j j P y H X Y y     1 1 ( | ) ( | )log ( | ) K j k j k k j H X Y y P x y  P x y    H Y X ( | ) 1 1 1 ( , )lo ( | ) g K J j k j k j P y k P x y   x    1 ( ) ( | ) K k k k P x H Y X x     1 1 ( | ) ( | )log ( | ) J k j k j j k H Y X x P y x  P y x   

2.5.3各类熵之间的关系I(xx,y,)= I(x)+I(y, / x)= I(y,)+ I(x Iy))EP(x.y)= P(x)H(XY)=EP(xxy,)I(xx,y)k,j-EP(x,y,)(x)+EP(xy,)1(y,/x)k.j=I(x)EP(xsy) +H(YIX)K-E[I(x)P(x))+H(YIX) = H(X)+H(Y IX)摘的强可加性同理H(XY)=H(Y)+H(XIY)总之H(XY)=H(X)+H(YIX)=H(Y)+H(X|Y推广H(XX, ... X)=H(X)+H(X, I X)+H(X, X)X)+...+H(Xn I X ...Xn--)

2.5.3 各类熵之间的关系 ( , ) ( ) ( | ) ( ) ( | ) k j k j k j k j I x y I y x   I x   I y I y x , ( ) ( , ) ( , ) k j k j k j H XY P x y I x y  同理 H XY H Y H X Y ( ) ( ) ( | )   总之 H XY H X H Y X H Y H X Y ( ) ( ) ( | ) ( ) ( | )     熵的强可加性 , , ( , ) ( ) ( , ) ( | ) k j k k j j k k j k j     P x y I x P x y I y x ( ) ( | ) ( , ) k j j k k I x H P x y Y X            ( ) ( | ) k ( ) k k    I x H X P x Y   H X H Y X ( ) ( | ) ( , ) ( ) k j k j P x y P x  推广 1 2 1 2 1 3 1 2 1 1 ( ) ( ) ( | ) ( | ) ( | ) H X X X H X H X X H X X X H X X X N N N      

各类之间的关系（续）当X与Y相互独立，则P(x, 1y)=P(x)P(y, Ix)= P(y,)P(x,y )= P(x)P(y,)于是I(x ly )=(x)I(y, /x)= I(y))I(,y,)=I(x)+I()因此，火之间的关系简化：H(XY)=H(X)H(YX)=H(YH(XY)=H(X)+H(Y)摘的可加性推广：(X,X2…XW)统计独立时，有H(XX, ...X)=H(X)+H(X2)+...+H(X)

各类熵之间的关系(续) 于是 H X Y H X H Y X H Y ( | ) ( ) ( | ) ( )   因此，熵之间的关系简化： H XY H X H Y ( ) ( ) ( )   熵的可加性 推广： 1 2 1 2 ( ) ( ) ( ) ( ) H X X X H X H X H X N N     当 X 与 Y 相互独立，则 ( ) | ) ( ( | ) ( ) ( , ) ( ) ( ) P x y P x k j k P y x P j k j P x y P x k j k P yj   y  ( | ) ( ) ( | ) ( ) k j k j k j I x y I x I y x I y   ( , ) ( ) ( ) k j k j I x y I x I y   { , , , } X X X 1 2 N 统计独立时，有

2.6平均互信息量及其性质1、平均互信息量的定义P(xk,y,)k=1,2,..Kj=1,2,,J1(x;y)=log 互信息量：P(x)P(y,)统计平均平均互信息量1(X;Y)=-22P(xx,y,)(x;y)k=l j=lP(x,y,)2ZP P(xy,)1og P(x)P(y)k=l j=l

2.6 平均互信息量及其性质 ( , ) ( ; ) log 1 , 2 , , ; 1 , 2 , , ( ) ( ) k j k j k j P x y I x y k K j J P x P y 互信息量：    1 1 ( ; ) ( , ) ( ; ) K J k j k j k j I X Y P x y I x y      统计平均 平 均 互 信 息 量 1、平均互信息量的定义 1 1 ( , ) ( , )log ( ) ( ) K J k j k j k j k j P x y P x y   P x P y  

2、平均互信息量的物理解释YX信源观察过程(x/k=1,...,K)(y,lj=l,..,J)I(x, Iy,)P(y, Ix)I(xx)H(XIY)I(y, Ixx)H(X)I(x:y,)= I(x)-I(x 1y,)从Y中获得的关于X的信息IX,Y)X的先验(平均)不确定性一X的后验（平均）不确定性H(X)H(XIY)=

2、平均互信息量的物理解释 { | 1, , } j y j J  信源 观察过程 X Y { | 1, , } k x k K  ( | ) ( | ) j k j k P y x I y x ( | ) k j I x y ( ) k I x   H X H X Y ( ) ( | ) H X( ) H X Y ( | ) ( ; ) ( ) ( | ) k j k k j I x y I x I x y   从 中获得的关于 的信息 ＝ 的先验(平均)不确定性－ 的后验(平均)不确定性 Y X X I X Y ( ; ) X

3、公式推导KJP(xk,y,)I(X;Y)=EEP(x,y,)logI(X,Y)=H(X)-H(XIY)P(x)P(y,k=l j=l推导：H(X) =-E P(xx)log P(x)=EZP(xx,y) log P(x)=-E P(xx,y,)log P(x)kkk,jI(X,Y)=H(X)-H(XIY)=-EP(xk,y,)log P(xk)--EP(xy,)logP(xly)k.P(xk,y,)P(xt1y)P(y)EP(x,y,)logEP(xy,)logP(x) P(y)P(x)P(y,)k,jk,j

3、公式推导 I X Y H X H X Y ( ; ) ( ) ( | )   1 1 ( , ) ( ; ) ( , )log ( ) ( ) K J k j k j k j k j P x y I X Y P x y   P x P y   ? I X( ) ;Y   H X( ) H X Y ( | ) , ( ) log ( ) log ( ) ( , )log ( ) ( ) ( , ) k k j k k k j k k k k j j H X P x P x P P x P x y x y P x                推导: , , ( , )log ( ) ( , )log ( | ) k j k k j k j k j k j P x y P x P x y P x y            , ( | ) ( ) ( , )log ( ) ( ) k j j k j k j k j P x y P y P x y P x P y           , ( , ) ( , )log ( ) ( ) k j k j k j k j P x y P x y P x P y          