《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 2.4 离散熵

2.4离散熵·的定义·的物理意义·熵的性质

1 2.4 离散熵 • 熵的定义 • 熵的物理意义 • 熵的性质

1 熵的定义[X,P]=[x,Pk/k=1 ,2,:,K]XDMS2p.=1(Xi,X2,...,Xk)k=-1Ix）：x的（先验）不确定性，也称为x的自信息量。I(x)= log=-logPkk=1,2,...,KPk统计平均熵 pilog = =-Z pe log PkpI(x)=)H(X) =Pkkk=lk=1熵H(X）的物理意义：信源X的平均不确定性

2 1 熵的定义 DMS X 1 2 { , , , }K x x x [ , ] [ , | 1 , 2 , , ] X P x p k K X k k   1 1 K k k p    1 ( ) log log k k k I x p p    k  1,2,  ,K I(xk):xk的(先验)不确定性，也称为xk的自信息量。 H X( ) 统计平均 熵 熵H(X)的物理意义:信源X的平均不确定性。 k k log k   p p 1 ( ) K k k k p I x   1 1 log K k k k p  p  

关于的几点说明炳公式 H(X)=≥pelog=-pelog Pkpk=l1）熵公式中，H（X）只是一个记号，代表X的熵，不能把X看作函数的自变量。(2)熵函数的自变量是先验概率：pk,k=l,2,.…：K，是K-1元函数。H(pi, P2,...,Pk) = -Zp, log pk（3）炳的单位与自信息量的单位相同，与炳公式中所用对数的底有关。(4）Pk=0，规定“01og0=0”。因为：lim x log x = 03-0

3 关于熵的几点说明 熵公式 1 1 ( ) log log K k k k k k k H X p p p  p      (1)熵公式中，H(X)只是一个记号，代表X的 熵，不能把X 看作函数的自变量。 (2)熵函数的自变量是先验概率：pk,k=1, 2, . , K，是K-1元函数。 1 2 ( , , , ) log K k k k H p p p p p   (3)熵的单位与自信息量的单位相同，与熵公 式中所用对数的底有关。 (4) pk=0，规定“0log0=0”。因为： lim log 0 0   x x x

2熵的性质焰公式 H(X)=pe log二=-Zpx log PkPkk-1k(1)对称性: H(pi,P2,"*, Pk)= H(Pm(1), Pm(2),*, Pm(K))其中(m(1),m(2)，.,m(K))是(1,2,..．,K)的任意置换（2）可扩展性：加入零概率事件不会改变。H(pi, P2,.., Pk) = H(pi,***, P,0, pi+1 ,***, Pk)- 0log0=0i=1,2,....,K-1

4 2 熵的性质 1 2 (1) (2) ( ) ( , , , ) ( , , , ) (1)对称性： H p p p H p p p K m m m K  1 2 1 1 ( , , , ) ( , , ,0, , , ) 1 , 2 , , 1 H p p p H p p p p K i i K i K     其中{m(1),m(2),.,m(K)}是{1, 2, . , K}的任意置换。 (2)可扩展性：加入零概率事件不会改变熵。 0log 0 0  熵公式 1 1 ( ) log log K k k k k k k H X p p p  p     

熵公式 H(X)=pe log二=-px log pkPkk-1k（3）非负性：H(pl,P2,..., Pk) = H(P)≥0确定性概率分布：P={1,0,,0)H(P)=0

5 1 2 ( , , , ) ( ) 0 H p p p H P K   确定性概率分布： P s {1,0, ,0} H P( ) 0 s  （3）非负性： 熵公式 1 1 ( ) log log K k k k k k k H X p p p  p     

（4）强可加性：H(piq..., Piq.,..., Pkqk1*.., Pkqk.)K= H(p, 2.., Pk)+ZprH(qk,qu)k=lKW0≤pk≤1 k=1,2,...,K=1Pkk=lF0≤q≤1 j=l,2,",J=1 k=l, 2,,Kqki

6 1 11 1 1 1 1 2 1 1 ( , , , , , ) ( , , , ) ( , , ) J K K K KJ K K k k kJ k H p q p q p q p q H p p p p H q q    1 1 0 1 1 , 2 , , 1 0 1 1 , 2 , , 1 1 , 2 , , K k k k J kj kj j p k K p q j J q k K              （4）强可加性：

“强可加性”证明炳公式 H(X)=pe log二=-Zp, log PkPkk=1k定义新函数：L(x)=-xlog x则: L(xy)=-xylog(xy)=-xylogx-xy log y= yL(x)+xL(y)于是:H(pq, Piqj., Pkk*, Pkqk)(P4n)-[aL(P)+,L(m)]k=l=k=l i=12[(+((4)k≥4μ=1= H(pi, P2, .*, Pk)+EprH(qk1,**,qh))j=lk=lk=1,2,,K7

7 “强可加性”证明 1 1 1 , 2 , , J kj j q k K     1 1 1 1 ( ) ( ) K K J k k kj k k J kj j j L p p L q q                       定义新函数： L x x x ( ) log   则： L xy xy xy y x y ( ) log(      ) x x log  y y L y log L(x) x ( ) 1 1 1 1 ( ) [ ( ) ( )] K J K J K Kj kj k k kj k j k j L p q q L p p L q          于是： 1 11 1 1 1 ( , , , , , ) H p q p q p q p q J K K K KJ 1 11 1 1 1 1 2 1 1 ( , , , , , ) ( , , , ) ( , , ) J K K K KJ K K k k kJ k H p q p q p q p q H p p p p H q q    1 1 1 1 ( ) [ ( ) ( )] K J K J K Kj kj k k kj k j k j L p q q L p p L q          熵公式 1 1 ( ) log log K k k k k k k H X p p p  p     

（5）可加性：H(pqi,...,Piqj,..-, Pkqi.",Pkq)= H(p1, P2,.*, Pk)+ H(q1,q2 ***,q,)Zp=l0≤pk≤1 k=1,2,...,Kk=lJ≥q,=10≤q,≤1 j=1, 2,..,?j=l“可加性”是“强可加性”的特殊情况，在强可加性”中,,=…=q=q,,j=l,,J就可得出可加性

8 1 1 1 1 1 2 1 2 ( , , , , , ) ( , , , ) ( , , ) J K K J K J H p q p q p q p q   H p p p H q q q 1 1 0 1 1 , 2 , , 1 0 1 1 , 2 , , 1 K k k k J j j j p k K p q j J q             “可加性”是“强可加性”的特殊情况，在 “强可加性”中，令： q q q q j J j j Kj j , 1, , 1  2     就可得出可加性。 （5）可加性：

“可加性”证明强可加性：H(pq,...,Piq,,Pkq***,Pkk)= H(P, 2, , k)+ p,H(qk,qu)k=An-0≤p≤1 k=1, 2,..,K0≤q≤1 j=1,2,..,Jqh=1 k=1 , 2,.,Ki=l令q,=q2,=.=q=q,,j=1,J则H(pqi,.,qj....,Pkq...Pkq.)= H(p, ..., pk)+ ZprH(q,.,q))K= H(p, ..., Pk)+H(q,.,q))Zpkk=l= H(pi, P2, .., Pk)+H(qi,*--,q,)

9 “可加性”证明 1 11 1 1 1 1 2 1 1 ( , , , , , ) ( , , , ) ( , , ) J K K K KJ K K k k kJ k H p q p q p q p q H p p p p H q q    1 1 0 1 1 , 2 , , 0 1 1 , 2 1 , , 1 1 , 2 , , k J kj K k k kj j p k K q j J q k K p              令 q q q q j J j j Kj j , 1, , 1  2     则 1 1 1 1 1 2 1 1 ( , , , , , ) ( , , , ) ( , , ) J K K J K K k k H q J H p q p q p q p q H p p p p q    强可加性： 1 1 2 1 ( , , , ) ( , , ) K K k k H p p p H q qJ p     1 2 1 ( , , , ) ( , , )   H p p pK H q qJ

（6）渐化性：H(pi,P2,Ps -:, Pk)pip2= H(p +P2, P3 --Pk)+(p + p2)Hp+p2pi+p2Zp,=1 p +p, >00≤pk≤1 k=1, 2....,Kk=l说明：概率分布越均匀，熵越大。证明方法：利用摘公式，将右式展开再合并。10

10 1 1 2 3 2 1 2 1 2 1 2 1 2 3 ( , , ) ) ( , , , , ) ( K K p p p p H H p p p H p p p p p p p p p            1 2 1 0 1 1 , 2 , , 1 0 K k k k p k K p p p         证明方法：利用熵公式，将右式展开再合并。 说明：概率分布越均匀，熵越大。 （6）渐化性：