量的统计平均值,即平均信息量为 H(x)=P(,)[-log2 P(x,)+ P(x2)[-log2 P(x2)]+.+P(n)[-log2 P(x, ) ∑P(x,)log2P(x)(bi/符号) (1.3-5 由于H同热力学中的熵形式一样,故通常又称它为信息源的熵,其单位为 bit/符号。显然,当信源中每个符号等概独立出现时,式(13-5)即成为式(13-3), 此时信源的熵有最大值。 例1.3-2一离散信源由0,1,2,3四个符号组成,它们出现的概率分别为 3/8,1/4,14,1/8,且每个符号的出现都是独立的。试求某消息 201020130213001203210100321010023102002010312032100120210的信息量。 解此消息中,0出现23次,1出现14次,2出现13次,3出现7次,共 有57个符号,故该消息的信息量 =23log28/3+14log24+13log24+7log28=108(bin) 每个符号的算术平均信息量为 I108 符号数57 1.89(bit/符号) 若用熵的概念来计算,由式(1.3-5)得 =1.906(bi/符号) 则该消息的信息量 I=57×1.906=10864(bi) 可见,两种算法的结果有一定误差,但当消息很长时,用熵的概念来计算比 较方便。而且随着消息序列长度的增加,两种计算误差将趋于零。量的统计平均值，即平均信息量为 ( )log ( ) ( / (1.3 5) ( ) ( )[ log ( )] ( )[ log ( )] ( )[ log ( )] 2 1 1 2 1 2 2 2 2 = − − = − + − + + − ∑= P x P x bit 符号） H x P x P x P x P x P x P x i n i i L n n 由于 H 同热力学中的熵形式一样，故通常又称它为信息源的熵，其单位为 bit / 符号。显然，当信源中每个符号等概独立出现时，式(1.3-5)即成为式(1.3-3)， 此时信源的熵有最大值。 例 1.3-2 一离散信源由 0，1，2，3 四个符号组成，它们出现的概率分别为 3/8，1/ 4，1/ 4，1/ 8 ，且每个符号的出现都是独 立的。试求某消息 201020130213001203210100321010023102002010312032100120210 的信息量。 解 此消息中，0 出现 23 次，1 出现 14 次，2 出现 13 次，3 出现 7 次，共 有 57 个符号，故该消息的信息量 23log 8 / 3 14log 4 13log 4 7 log 8 108 ( ) 2 2 2 2 I = + + + = bit 每个符号的算术平均信息量为 符号） 符号数 1.89 ( / 57 108 bit I I = = 若用熵的概念来计算，由式（1.3-5）得 1.906 （ /符号） 8 1 log 8 1 4 1 log 4 1 4 1 log 4 1 8 3 log 8 3 2 2 2 2 bit H = = − − − − 则该消息的信息量 可见，两种算法的结果有一定误差，但当消息很长时，用熵的概念来计算比 较方便。而且随着消息序列长度的增加，两种计算误差将趋于零。 I = 57 ×1.906= 108.64 (bit)