定义32设X={x=12…,,x出现的概率 为以(x)20且∑以(x)=1。Y={=12…,m},y出 的概率为p()≥0且∑m)=1,则联合事件集 Xy=y=12…nj=12…;m,令xy的概率 为p(xy)≥0,此时∑∑xy)=1。集X和γ的联合熵 定义为 H(X)=H(X,y)=∑∑(xy)kog2p(xy) 集相对于事件的条件熵定义为 H(Xy)=2P(x, v)log2 p(x, y,) 集相对于集的条件熵定义为 H(xy)=2py, ) H(ry)=-2Ep(y, )p(x, v,)log, p(x, py 2(x• 定义 3.2 设 ， 出现的概率 为 。 ， 出现 的概率为 ，则联合事件集 ，令 的概率 为 ，此时 。集X和Y的联合熵 定义为 集相对于事件的条件熵定义为 集相对于集的条件熵定义为 X = xi i =1,2,  ,n i x =  = n i i i p x p x 1 ( ) 0,且 ( ) 1 Y = y j j =1,2,  ,m j y =  = m j j j p y p y 1 ( ) 0,且 ( ) 1 XY = xi y j i =1,2,  ,n; j =1,2,  ,m i j x y p(xi y j )  0 = = = n i m j i j p x y 1 1 ( ) 1 = = = = − n i m j i j i j H XY H X Y p x y p x y 1 1 2 ( ) ( , ) ( )log ( ) ( ) ( )log ( ) 1 2 i j n i j i j H X y  p x y p x y = = − ( ) ( ) ( ) ( ) ( )log ( ) 1 1 2 1 i j m j n i j i j m j j j H X Y  p y H X y  p y p x y p x y = = = = = −