第二节离散信源的信息熵 根据上述条件可以从数学上证明这种函数形式是 对数函数,即: /(1)=log P(a,) (a)有两个含义: 1、当事件发生前,表示该事件发生的不确定性; 2、当事件发生后,标是该事件所提供的信息量 自信息量的单位取决于对数所取的底,若以2 为底,单位为比特,以e为底,单位为奈特,以 0为底,单位为哈特,通常取比特为单位第二节 离散信源的信息熵 根据上述条件可以从数学上证明这种函数形式是 对数函数，即： 1 ( ) log ( ) i i I a P a = ( )i I a 有两个含义： 1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，标是该事件所提供的信息量． 自信息量的单位取决于对数所取的底，若以2 为底，单位为比特，以e为底，单位为奈特，以 10为底，单位为哈特,通常取比特为单位