()=Jmx…x)h列(x1…工) dx1…dx,) Mpq)-mx…x)h“在 gx 同样也有相对熵是非负的.从而由熵的定义,再利用相对熵非负性质可推得下述结论 例10.7(半直线上均值已知时的最大熵分布密度) 在[0,∞)上具有同均值μ的密度中,指数分布EP1的熵最大这个最大熵为1+logH 例10.8(均值与方差已知的分布密度的最大熵) 在均值为,方差为σ2的分布密度中,正态分布的熵最大 例1o.9(均值向量与(协)方差矩阵已知的有联合密度的最大熵) 在均值向量为μ,方差矩阵为Σ的多维密度中, Gauss分布N(μ,Σ)的熵最大.请读者自 己写出这个最大熵的表达式 例10.10(有限区间上的最大上密度) 有限区间[a,b]上取值的分布密度中,均匀分布的熵最大.此最大熵为m(b-a) 例10.10也可以推广到多维情形 在取值于混合概率向量的分布密度中,关于某个概率向量的平均相对熵 给定条件下,求具最大相对熵的密度) 令样本空间为 ={x=(x1…,x4):0<x1<1,(≤d),x1+…+x4=1 Ω中的点可以解释为概率向量,而取值于Ω的连续型随机变量的分布密度可以解释为”广义 的混合分布”.给定z=(1,…,4)∈Ω,把Ω中的点看成概率向量,就有相对熵h(二,x), 它是取值于Ω的x函数.对于一个取值g的分布密度p(x)=p(x2…,xa)定义对于这个分布 密度的平均相对熵 u( )=he,x)p(x)dx 我们要在平均相对熵μ(-)相等的分布密度p(x)中,选取一个p(x),使其熵 p(x)hp(x)dx达到最大 为此我们断言:如下的 Gibbs型分布密度 p(x)=(=)e-i(()= C(/e (2: \n4oP-1.xd-) 其中 -()h(x)dx) λ(-)满足 ()=C()=、x)))dx, 就是我们要的具有最大熵的密度·证明如下:对于任意一个满足以(=)=h(=,x)p(x)d 的分布密度p(x).由相对熵不等式 267267 H ò = d d d d dx dx q x x p x x p p x x L L L L 1 1 1 1 ( , , ) ( , , ) ( ) ( , , ) ln ), ò = d d d d dx dx q x x p x x h p q p x x L L L L 1 1 1 1 ( , , ) ( , , ) ( , ) ( , , )ln . 同样也有相对熵是非负的． 从而由熵的定义, 再利用相对熵非负性质可推得下述结论: 例１０．７ (半直线上均值已知时的最大熵分布密度) 在［0，¥）上具有同均值m 的密度中, 指数分布 m Exp 1 的熵最大.这个最大熵为1+ log m . 例１０．８ (均值与方差已知的分布密度的最大熵) 在均值为 m ，方差为 2 s 的分布密度中, 正态分布的熵最大. 例１０．９ (均值向量与(协)方差矩阵已知的有联合密度的最大熵) 在均值向量为m ，方差矩阵为S 的多维密度中, Gauss 分布 N(m,S) 的熵最大. 请读者自 己写出这个最大熵的表达式. 例１０．１０ (有限区间上的最大上密度) 在有限区间[a,b]上取值的分布密度中, 均匀分布的熵最大. 此最大熵为ln( b - a) . 例１０．１０也可以推广到多维情形. 例１０．１１ (在取值于混合概率向量的分布密度中, 关于某个概率向量的平均相对熵 给定条件下, 求具最大相对熵的密度) 令样本空间为 W = { x = ( , , ) : 0 1,( ), 1} x1 L xd < xi < i £ d x1 +L+ xd = . W 中的点可以解释为概率向量, 而取值于W 的连续型随机变量的分布密度可以解释为 ”广义 的混合分布”. 给定 z = (z1 ,L,zd )Î W , 把 W 中的点看成概率向量, 就有相对熵 h(z, x) , 它是取值于 W 的 x函数. 对于一个取值W 的分布密度 p( x ) ( , , ) x d p x L x D = 定义对于这个分布 密度的平均相对熵: m( z ) h(z, x)p( x)d x ò = D ． 我们要在平均相对熵 m(z) 相等的 分布密度 p(x) 中 , 选 取 一 个 ( ) * p x ， 使 其 熵 ò - p ( x)ln p (x)d x * * 达到最大. 为此我们断言：如下的 Gibbs 型分布密度 ( ) ( ) * p x = C z (z)h( z,x ) e -l (= C(z) ) ( ) ( ) 1 ( ) ln i 1 d i i z z d z z z z z e x x l l l L - å , 其中 ( ) ( , ) 1 ( ) ( ) - - ò C z = e d x l z h z x , l(z)满足 z C z h z x e d x (z)h(z,x) ( ) ( ) ( , ) l m - ò = ， 就是我们要的具有最大熵的密度 . 证明如下: 对于任意一个满足 m( z ) h(z, x)p( x)d x ò = D 的分布密度 p(x) ．由相对熵不等式