23各种熵之间的关系 H(XY=HQX)+H(Y/X)=H(Y)+HCXN),若X与Y统计独立, 则 H(XY=H(+HY I(XY=HO-HO/Y H(XY)为Y出现后,仍然存在的关于X的不确定性。 由I(XY)的对称性,有IXY)=HY)-H(YX 由IcY)定义及关系式: pQX/Y/pQ)=p(xiY)/(P(i)p(Y)可得 I(XY=H(X)+HOY-HOY 2001 Copyright SCUT DT&P Labs2001 Copyright SCUT DT&P Labs 12 2.3 各种熵之间的关系 ◼ H(XY) = H(X)+H(Y/X) = H(Y)+H(X/Y), 若X与Y统计独立， 则 H(XY) = H(X)+H(Y) ◼ I(X,Y)＝ H(X) － H(X/Y) H(X/Y)为Y出现后，仍然存在的关于X的不确定性。 由I(X,Y)的对称性，有I(X,Y)＝ H(Y)－ H(Y/X)。 由I(X,Y)定义及关系式： p(Xi/Yj)/p(Xi) = p(XiYj)/(p(Xi)p(Yj)),可得， I(X,Y)＝ H(X)＋H(Y)－ H(XY)