统计编码理论(信息量和) 香农信息论把一个随机事件(字符a1)所携带的信息量定义为: I(al)=log2 (1/p)=-log2 p (bit) 其中p为事件发生(字符出现)的概率 令I(a1)即随机变量X取值为a1时所携带的信息量,也是编码a1所 需要的位数 令各个随机事件组成的序列的信息量也是一个随机变量,所以要研 究它的统计特性。其数学期望为: H(x)=∑n*1(a1)=∑P*logP 称HQ为一阶信息熵或者简称为熵( Entropy)统计编码理论（信息量和熵） ❖ 香农信息论把一个随机事件（字符a1）所携带的信息量定义为： I(a1) = log2 (1/p) = -log2 p (bit) 其中p为事件发生（字符出现）的概率 ❖ I(a1)即随机变量X取值为a1时所携带的信息量，也是编码a1所 需要的位数 ❖ 各个随机事件组成的序列的信息量也是一个随机变量，所以要研 究它的统计特性。其数学期望为： ❖ 称H(X)为一阶信息熵或者简称为熵(Entropy)   = = =  = −  m j m j j aj pj pj H x p I 1 1 ( ) ( ) log