平均信息量 离散信源有n个符号,x1,x2,…,xn,出 14现的概率为P(x1),P(x2),…,P(xn) H(x)=2p(x, )log, p(x, )(bit/G) 信息及其度量 信源的熵( Entropy) 消息等概P(x1)=P(x2)=.=P(xn)= H(x)具有最大值 Hnax=∑log2n=log,n(bit/符号)18 1.4 信 息 及 其 度 量  平均信息量 离散信源有n个符号，x1，x2，…，xn，出 现的概率为P（x1），P（x2），…，P（xn） H（ｘ）＝－ (bit/符号） 信源的熵 （Entropy） 消息等概 P（x1）=P（x2）=…=P（xn）= H（x）具有最大值 Hmax= （bit/符号） ( )log ( ) 2 1 i n i i  p x p x = n 1 n n n n i 2 2 1 log log 1  = =