第十二章信息理论 121离散信源的熵 >熵的定义: 设:信源X能发出n个不同的消息x,x2 则定义熵为信源的平均信息量H(X): H(X)=E[(x)]=-2P(x,)10g2 P(x,) 式中,I(x)=-log2P(x)(b) 1(x)表示消息x含有的信息量 ■熵H(X)可以理解为信源的平均不确定度。1 第十二章 信息理论 12.1 离散信源的熵 ➢ 熵的定义： 设：信源 X 能发出n个不同的消息x1 , x2 , …, xi , …, xn， 则定义熵为信源的平均信息量H(X)： 式中，I (xi ) = - log2 P(xi ) (b) ◼ I (xi )表示消息xi含有的信息量 ◼ 熵H(X)可以理解为信源的平均不确定度。 = = = − n i i i i H X E I x P x P x 1 2 ( ) [ ( )] ( )log ( )