信息量和熵 熵是事件不确定程度的度量,不确定程度越大,熵就越 大。对于一个概率密度为p(x)的连续型分布熵的定义为: HIP()]= p(x)lg p(x)dx 信息的概念是与事件发生的概率相联系的,出现小概率 事件所包含的信息量大,因此可定义信息量: 如果事件发生后的概率不等于1,即它是不确定的,则信 息量可表示为: 1=g(a/p: 式中q是事件发生后的概率。 00:27:3900:27:39 信息量和熵 熵是事件不确定程度的度量，不确定程度越大，熵就越 大。对于一个概率密度为p(x)的连续型分布熵的定义为：   − H[ p(x)] = p(x)lg p(x)dx 信息的概念是与事件发生的概率相联系的，出现小概率 事件所包含的信息量大，因此可定义信息量： I = -lgpi 如果事件发生后的概率不等于1，即它是不确定的，则信 息量可表示为： I =lg(qi /pi ) 式中 qi 是事件发生后的概率