2.2两离散信源其它平均统计量 设有两离散信源X、Y 联合熵(定义):H(xY)=-∑∑pxiY) og p(XiY n条件熵(定义):H(XNY=-∑∑ p(XiYi) log p(Xi/y]) Y出现后,Ⅹ仍存在的平均“不确定性 同理可定义HY/X。 ■平均互信息量(定义): I(Y)=∑∑ p(XiYI)I(xi,Yj) =∑∑pY)log(p(Xi/Y/p(Xi) (∝XY):Y的岀现能够消除关于Ⅹ的平均“不确定性 2001 Copyright SCUT DT&P Labs2001 Copyright SCUT DT&P Labs 11 2.2 两离散信源其它平均统计量 设有两离散信源 X、Y ◼ 联合熵（定义）：H(XY) = －∑i∑j p(XiYj)log p(XiYj) ◼ 条件熵（定义）：H(X/Y) =－ ∑i∑j p(XiYj)log p(Xi/Yj) Y出现后，X仍存在的平均“不确定性” 。 同理可定义H(Y/X)。 ◼ 平均互信息量（定义）： I(X,Y)= ∑i∑j p(XiYj)I(Xi,Yj) = ∑i∑j p(XiYj) log(p(Xi/Yj)/p(Xi)) I(X,Y)：Y的出现能够消除关于X的平均“不确定性”