信源的概率分布与的关系 令熵的大小与信源的概率模型有着密切的关系。 今最大离散熵定理:当与信源对应的字符集中的 各个字符为等概率分布时,熵具有极大值 logzmo m为字符集中字符个数。 H(x)=∑P1*logP信源的概率分布与熵的关系 ❖ 熵的大小与信源的概率模型有着密切的关系。 ❖ 最大离散熵定理：当与信源对应的字符集中的 各个字符为等概率分布时，熵具有极大值 log2m。m为字符集中字符个数。 = = −  m j pj pj H x 1 ( ) log