1.3,1离散信源的信息量 6单一符号的信息量 l123,∈{x}j=1,…概率为Px) Hartley定义 I(x,)=log g P(x,) P(x,) (x)≥0,当P(x)=1时,(x)=0 单位: 对数以2为底,单位为比特(bin) 对数以e为底,单位为奈特(nt) 对数以10为底,单位为哈特菜( Hartley) 2021年2月19日2021年2月19日 6 1.3.1 离散信源的信息量 单一符号的信息量 u1 u2 u3…uN，ui{xj }, j =1,…,k, 概率为P(xj ) Hartley定义 单位： • 对数以2为底，单位为比特 (bit) • 对数以e为底，单位为奈特 (nit) • 对数以10为底，单位为哈特莱 (Hartley) ( ) 0, ( ) 1 , ( ) 0 log ( ) ( ) 1 ( ) log  = = = = − i i i i i i I x P x I x P x P x I x 当 时