的离散分布p=(P1…,pn…)中,具有最大熵的分布为p,且 P 其中λ满足条件 这个最大熵为u20-hC 证明对于任意λ≠0,只要∑e<m,相对熵不等式 0≤h(p,p') In P Pi SB+∑px-hC 就是 (p)=∑Php1≤-hC 所以 H(p)=∑Ce-lnCe]=-hC≥H) 例10.5(数学期望和方差都固定时的最大熵) 在均值为μ,方差为02,且取值为x4(k=1.2,…)的离散分布中,分布p (x2-a)2 PA ,C=( 的熵最大,此最大嫡为+(-a)2 hC,其中α,βB满足 (x-a)2 (=0,1,2),p xe ∑e")=D∑e"1∑xej (证明类似) 1.2分布密度的熵与相对熵 定义1o.6对于概率分布密度,我们可以仿效前面的思想,把分布密度p(x)的熵(其 实是微分熵)定义为 H(p)=-p(x)hn p( 而把分布密度p(x)对分布密度q(x)的相对熵定义为 ,)=p(r)In P 这个定义可以推广到多维密度p(x1,…x)与q(x1,…,x)266 的离散分布 p ( , , , ) = p1 L pn L 中, 具有最大熵的分布为p * , 且 å - - - = = i x x i i i p Ce ,(C ( e ) ) * l0 l0 1 , 其中l0满足条件 å < ¥ - i xi e l0 , å < ¥ - i x i i x e l0 , i i x i i i x e x e 0 0 l l m - - å = å , 这个最大熵为 ml０ - ln C . 证明 对于任意 l ¹ 0 , 只要 å < ¥ - i xi e l , 相对熵不等式 0 £ h（p,p * ） å - = i x i i Ce i p p l ln = å + å - i i i i pi ln pi l p x ln C 就是 H(p)= p p C i i i - å ln £ lm - ln . 所以 H(p * ) = -å = - ³ - - Ce Ce C i xi ln[ ] ln 0 0 0 l m l l H(p). 例１０．５ （数学期望和方差都固定时的最大熵） 在均值为μ，方差为σ 2 ，且取值为 k x (k = 1,2,L)的离散分布中，分布 p * : 1 ( ) ( ) * , ( ) 2 2 2 2 - - - - - = = å k x x k k k p Ce C e b a b a 的熵最大, 此最大熵为 ln C ( ) 2 2 2 - + - b s m a , 其中a, b 满足 ( ) ,( 0,1,2) 2 2 ( ) å < ¥ = - - x e l k x l k k b a , å - - k xk e 2 2 ( ) b a m , 2 2 ( ) å - - = k x k k x e b a å = - - 2 ( ) 2 ( ) 2 2 k x k e b a s [ ] 2 2 ( ) å - - k x k e b a [ ] 2 2 ( ) 2 å - - k x k k x e b a å - - - k x k k x e 2 ( ) ( ) 2 2 b a . (证明类似). １.２ 分布密度的熵与相对熵 定义１０.６ 对于概率分布密度, 我们可以仿效前面的思想, 把分布密度 p(x) 的熵 (其 实是微分熵)定义为 H ò ( p) = - p( x)ln p(x)dx . 而把分布密度 p(x)对分布密度 q(x)的相对熵定义为 ò = dx q x p x h p q p x ( ) ( ) ( , ) ( )ln . 这个定义可以推广到多维密度 ( , , ) 1 d p x L x 与 ( , , ) 1 d q x L x :