信息量和熵 熵是事件不确定程度的度量，不确定程度越大，熵就越 大。对于一个概率密度为(x)的连续型分布熵的定义为： HIp()=["p(x)lg p(x)dx 信息的概念是与事件发生的概率相联系的，出现小概率 事件所包含的信息量大，因此可定义信息量： I=-lgpi 如果事件发生后的概率不等于1，即它是不确定的，则信 息量可表示为： I=g(gilp) 式中：是事件发生后的概率。 2309:1723:09:17 信息量和熵 熵是事件不确定程度的度量，不确定程度越大，熵就越 大。对于一个概率密度为p(x)的连续型分布熵的定义为：   − H[ p(x)] = p(x)lg p(x)dx 信息的概念是与事件发生的概率相联系的，出现小概率 事件所包含的信息量大，因此可定义信息量： I = -lgpi 如果事件发生后的概率不等于1，即它是不确定的，则信 息量可表示为： I =lg(qi /pi ) 式中 qi 是事件发生后的概率