离散型概率分布的随机试验,熵的定义为: H=∑pbg2P (115) 连续型概率此定理既可化为条件极值问 题证明之,也可以利用凸函 数性质来证明,请大家自己 熵具有二去完成 定理13若实验仅有有限结果S,.,其发生的概率分别为 1,Pn,则当 Pn=-时,此实验具有最大熵。离散型概率分布的随机试验，熵的定义为 ：  （11.5） = = − N i i i H p p 1 2 log 连续型概率分布的随机试验，熵的定义为 :  （11.6） + − H( p) = − p(x)log p(x)dx 2 熵具有哪些有趣的性质 定理11.3 若实验仅有有限结果S1 ,…,Sn，其发生的概率分别为 P1 ,…,Pn，则当 时，此实验具有最大熵。 n p pn 1 1 = = = 此定理既可化为条件极值问 题证明之，也可以利用凸函 数性质来证明，请大家自己 去完成