《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 习题课2/2

2.9任意三个离散随机变量X、Y和Z,求证: H(XYZ)-H(XY)≤H(XZ)-H(X)证明: ： H(XYZ)=H(XY)+H(ZIXY)H(XZ)= H(X)+H(Z /X)所以，求证不等式等价于求证H(ZIXY)≤ H(Z|X)：条件多的熵不大于条件少的熵上式成立，原式得证

2.9 任意三个离散随机变量 X、Y 和 Z， 求证： H XYZ H XY H XZ H X ( ) ( ) ( ) ( )  。 证明：∵ H XYZ H XY H Z XY ( ) ( ) ( | )   H XZ H X H Z X ( ) ( ) ( | )   所以，求证不等式等价于求证 H Z XY H Z X ( | ) ( | )  ∵条件多的熵不大于条件少的熵， 上式成立，原式得证

2.12任意三个离散随机变量X、Y和Z，求证：H(XYZ) = H(XZ)+ H(Y IX)-I(Z;YIX)证明：利用性质证明，从右向左推导如下。H(XZ)+ H(Y/X)-I(Z;YIX)= H(XZ)+ H(Y IX)-[H(Y|X)- H(Y|XZ))= H(XZ)+ H(Y/XZ)证毕。= H(XYZ)

2.12 任意三个离散随机变量 X 、 Y 和 Z ，求证： H XYZ H XZ H Y X I Z Y X ( ) ( ) ( | ) ( ; | )    证明： 利用性质证明，从右向左推导如下。 H XZ H Y X I Z Y X ( ) ( | ) ( ; | )       H XZ H Y X H Y X H Y XZ ( ) ( | ) [ ( ) ( )]   H XZ H Y XZ ( ) ( | )  H XYZ ( ) 证毕

2.13有一离散无记忆信源，其输出为Xε{0,1,2)，相应的概率为P(0)=1/4，P(1)=1/4，P(2)=1/2，设计两个独立试验去观察它，其结果分别为Yε{0,1)，Y2E{0,1),已知条件概率如表题2.13-1 所列。表题 2.13-1条件概率 P(YIX)和P(Y,IX)P(Y, I X)YYP(y, I X)010100010100X1V1X122011/21/2

2.13 有一离散无记忆信源，其输出为 X {0,1, 2}，相应的概 率为P(0) 1/ 4  ，P(1) 1/ 4  ，P(2) 1/ 2  ，设计两个独立试验去 观察它，其结果分别为 1 Y {0,1}， 2 Y {0,1} ,已知条件概率如 表题 2.13-1 所列。 表题 2.13-1 条件概率PY | X  1 和PY | X  2 PY | X  1 Y PY | X  2 Y 0 1 0 1 X 0 1 0 X 0 1 0 1 0 1 1 1 0 2 1/2 1/2 2 0 1

(1)求I(X；Y)和I(X；Y)，并判断哪一个试验好些；(2)求I(X；YY），并计算做Y和Y,两个试验比单独做Y或Y中的一个试验多获得多少关于X的信息；(3)求I(X;YY)和I(X;Y），并解释它们的含义

(1) 求   X Y1 I ； 和   X Y2 I ； ，并判断哪一个试 验好些； (2) 求   X Y1 Y2 I ； ，并计算做Y1 和 Y2 两个试验 比单独做 Y1 或 Y2 中的一个试验多获得 多少关于 X 的信息； (3) 求 1 2 I X Y Y ( ; ) 和 2 1 I X Y Y ( ; ) ，并解释它们的 含义

I(X;Y)=H(y)-H(Y / X)，计算 H(y)和解：（1）)H(Y / X)需要用到 P()、P(XY)和 P(Y /X),其中 P(Y /X)已知。计算 P(X):P(Y = 0)= P(Y = 0IX = 0)P(X = 0)+P( = 0IX =1)P(X =1)+ P(Y = 0/ X = 2) P(X = 2)111P(Y, = 1)= 1- P(Y, = 0) = 1/ 22224= log 2 +H(Y所以log 2 = 1 bit/symbol22

解 ：（ 1 ） IX Y  HY  HY / X  ； 1  1  1 ， 计 算   H Y1 和 HY / X  1 需要用到   P Y1 、   P XY1 和 PY / X  1 ，其中 PY / X  1 已知。 计算   P Y1 ：         1 1 1 1 0 0 | 0 ( 0) 0 | 1 ( 1) 0 | 2 ( 2) P Y P Y X P X P Y X P X P Y X P X              1 1 1 1 1 1 0 4 4 2 2 2        ； P Y P Y  1 1      1 1 0 1/ 2    所以   log 2 1 2 1 log 2 2 1 H Y1    bit/symbol

一计算 P(XY): P(XY = 00) = P(Y = 0I X = 0)P(X = 0)44 同理可得 P(XY, = 01)= P( =1I X = 0)P(X =0)=0.?P(XY, = 10) = P(Y = 0 I X = 1)P(X = 1) = 0 .41P(XY = 11) = P(Y = 1I X = 1)P(X = 1) =4411 IP(XY, = 20) = P(Y, = 0 [ X = 2)P(X = 2)42 2111P(XY, = 21)= P(Y =1I X = 2)P(X = 22 24T1所以 H(YIX)=二log1+=log1+元bit/symbol log 2 +log 2241I(X;Y) = H(Y)- H(Y|X) = 1-那么bit/symbol2￥2

计算   P XY1 ： 1 1 1 1 ( 00) ( 0 | 0) ( 0) 1 4 4 P XY P Y X P X         同理可得 1 1 1 ( 01) ( 1| 0) ( 0) 0 0 4 P XY P Y X P X         1 1 1 ( 10) ( 0 | 1) ( 1) 0 0 4 P XY P Y X P X         1 1 1 1 ( 11) ( 1| 1) ( 1) 1 4 4 P XY P Y X P X         1 1 1 1 1 ( 20) ( 0 | 2) ( 2) 2 2 4 P XY P Y X P X         1 1 1 1 1 ( 21) ( 1| 2) ( 2) 2 2 4 P XY P Y X P X         所以   2 1 log 2 4 1 log 2 4 1 log 1 4 1 log 1 4 1 | H Y1 X      bit/symbol 那么 1 1 1 1 1 ( ; ) ( ) ( ) 1 2 2 I X Y H Y H Y X      bit/symbol

I(X;Y2)=H(2)-H(Y2 / X)，已知 P(Y2IX)，计算H(2)和H(, / X)需要先求 P()，P(XY)，用类似以上的方法可得结果，列于下表。Y2P(XY2)2012001/420X11/4?201/221/21/2P(Y2)

IX;Y  HY  HY / X  2  2  2 ， 已 知 PY | X  2 ， 计 算   H Y2 和 HY / X  2 需要先求   P Y2 ，   P XY2 ，用类似以 上的方法可得结果，列于下表。 P(XY2) Y2 0 1 X 0 1/4 0 1 1/4 0 2 0 1/2 P(Y2) 1/2 1/2

可以得出H(Y2) = =bit/symbol+=log2=1g2+C-/221H(Y2|X)==log1+=log1+=log1 = 0bit/symbol-442I(X;Y) = H(Y)- H(Y,|X) =1bit/symbol第二个试验能给出较多的信息量，因此第二个试验好些

可以得出 2 1 1 ( ) log 2 log 2 1 2 2 H Y    bit/symbol 2 111 ( ) log1 log1 log1 0 442 H Y X     bit/symbol 2 2 2 I X Y H Y H Y X ( ; ) ( ) ( ) 1    bit/symbol 第二个试验能给出较多的信息量，因此第二个试验好些

(2)I(X;YY2) = H(YY2) - H(YY2|X)计算时需用到概率P(YY）、P(XYY)和 P(YYX)由于Y、Y是相互独立的试验，所以P(YY2) = P(Y)P(Y2)P(YY2 = 00) = P(YY2 = 01)得到= P(YY, = 10) = P(YY, = 11) = 1/ 4并且P(YY2|X) = P(Y|X)P(Y2|X)

（2） 1 2 1 2 1 2 I X YY H YY H YY X ( ; ) ( ) ( )   ， 计算时需用到概率 1 2 P YY ( )、 1 2 P XYY ( ) 和 1 2 P YY X ( ) 。 由于Y1 、Y2 是相互独立的试验，所以 1 2 1 2 P YY P Y P Y ( ) ( ) ( )  得到 1 2 1 2 1 2 1 2 ( 00) ( 01) ( 10) ( 11) 1/ 4         P YY P YY P YY P YY 并且 1 2 1 2 P YY X P Y X P Y X ( ) ( ) ( ) 

即P(YY, = 00|X = 0)= P(Y = 0|X = 0)P(Y, = 0|X = 0)=1.1= 1P(YY2 = 01 X = 0)= P(Y = 0|X = 0)P(Y2 =1 X = 0)=1.0= 0P(YY2 =10|X = 0)= P(Y = 1 X = 0)P(Y = 0|X = 0) = 0.1= 0同理可得其它P(YYX)，列于下表

即 1 2 1 2 ( 00 0) ( 0 0) ( 0 0) 1 1 1           P YY X P Y X P Y X 1 2 1 2 ( 01 0) ( 0 0) ( 1 0) 1 0 0           P YY X P Y X P Y X 1 2 1 2 ( 10 0) ( 1 0) ( 0 0) 0 1 0           P YY X P Y X P Y X 同理可得其它 1 2 P YY X ( ) ，列于下表