1.4.1离散信娠的孀 6香农熵:平均信息量 E{(x)=∑P(x)bgP(x)△H( H(x) 6香农熵的性质 B香农熵是非负的,即H(x)≥0 香农熵具有上凸性,即H(x)是P(x)的上凸函数。 ⊕离散信源的最大香农熵 ∑ 1 log 2021年2月19日 102021年2月19日 10 1.4.1离散信源的熵 香农熵：平均信息量 香农熵的性质 香农熵是非负的，即H(x)  0 香农熵具有上凸性，即H(x)是P(x)的上凸函数。 离散信源的最大香农熵 { ( )} ( )log ( ) ( ) ~ 1 I E I x P x P x H x k j i  j j = = = − ⎯ → N N N H N i max log 1 log 1 1 = − = = P H(x)