1.4信息及其度量 冬平均信息量 离散信源有n个符号，X1,2,.,X,出现的概率为 P(X1),P(X2),.,P(Xn) H(x)=-立p(x)logp(x) (bit/符号) 信源的熵(Entropy) 消息等概P(x)P(2)P(x) n H(x)具有最大值 Hmaxlog.n=log.n (bit/符号) 21 1.4 信息及其度量 ❖ 平均信息量 离散信源有n个符号，x1，x2，.，xn，出现的概率为 P(x1 )，P(x2 )，.，P(xn ) H(ｘ)＝－ (bit/符号） 信源的熵 （Entropy） 消息等概 P(x1)=P(x2)=.=P(xn)= H（x）具有最大值 Hmax= （bit/符号） ( )log ( ) 2 1 i n i i  p x p x = n 1 n n n n i 2 2 1 log log 1  = =