定义2-2:信源输出各消息的自信息量I(a) 的数学期望为信源的平均自信息量, Ep: H(X)=E((a, =-Ep(a: )log p(a 又称为信源ⅹ的信息熵或熵。 定义2-3:联合集XY上每对元素x的自 信息量的概率加权平均值定义为联合熵 H(XY)=∑∑p(xy)/(xy) 或H(XY=∑p(xy)ogp(xy) 定义2-3:联合集ⅹY上条件自信息量的概 率加权平均值定义为条件熵 H(X)=∑p(x)(yx) 或H(xX)=∑p(xy)logp(yx)定义 2-2：信源输出各消息的自信息量 I(ai) 的数学期望为信源的平均自信息量， 即： ( ) [ ( )] ( )log ( ) 1 i q i H X E I ai  p ai p a = = = − 又称为信源 X 的信息熵或熵。 定义 2-3：联合集 XY 上每对元素 xiyj的自 信息量的概率加权平均值定义为联合熵。   = − = XY i j i j i j i j i j H XY p x y p x y H XY p x y I x y ( ) ( )log ( ) ( ) ( ) ( ) 或 定义 2-3：联合集 XY 上条件自信息量的概 率加权平均值定义为条件熵。   = − = XY i j j i XY H Y X p x y p y x H Y X p xy I y x ( ) ( )log ( ) ( ) ( ) ( ) 或