麻省理工学院 电气工程与计算机科学系 机械工程系 6.050J2.110J 信息与南 2003年春举 习题6答案 第1题：这个门电路是什么类型的？的答案 第1题都分■的答素 如果每个输入是等可能的，那么我们只无把汇集到每个输出端的输入的概率求和就可以 求出输出概率。得： PB,)=0.75 B,)=02S 讲义中的式5.0给出了输入信息量I.,它等于 =p(Awe)log: 风Ao)log: +p(A)log: =4×(0.25)l0g: 1 025 log:(4) (61) =2位 月一个方程给出了输出信息量/ =p(B)log B) +p(B,)log; =0.75lkg: (0.75) +0.25lag: 1 (025 =0.75x0.415+0.25×2 (6-2) =0.81位 隳声N用式7.14计算。因为c,是1或0，根据对数（这种情况下c。=1》或c。=0, 每个9,1og:0 项都是0。所以噪声N是0， co) 由N=0,损失L由式7.25计算
麻省理工学院 电气工程与计算机科学系 机械工程系 6.050J/2.110J 信息与熵 2003 年春季 习题 6 答案 第 1 题：这个门电路是什么类型的？的答案 第 1 题部分 a 的答案 如果每个输入是等可能的，那么我们只需把汇集到每个输出端的输入的概率求和就可以 求出输出概率。得： ( ) 0.25 ( ) 0.75 1 0 = = p B p B 讲义中的式 5.10 给出了输入信息量 Iin ，它等于 ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = ( ) 1 ( )log ( ) 1 ( )log ( ) 1 ( )log ( ) 1 ( )log 11 11 2 10 10 2 01 01 2 00 00 2 p A p A p A p A p A p A p A Iin p A ( ) ( ) 2位 log 4 0.25 1 4 0.25 log 2 2 = = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = × （6-1） 同一个方程给出了输出信息量 out I ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = ( ) 1 ( )log ( ) 1 ( )log 1 1 2 0 0 2 p B p B p B I out p B ( ) ( ) ( ) ( ) 0.81位 0.75 0.415 0.25 2 0.25 1 0.25 log 0.75 1 0.75 log2 2 = = × + × ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = （6-2） 噪声 N 用式 7.14 计算。因为 是 1 或 0，根据对数（这种情况下 ）或 ， 每个 ij c cij = 1 cij = 0 ) log (1 2 ij i j c c 项都是 0。所以噪声 N 是 0。 由 N＝0，损失 L 由式 7.25 计算
L-L-T =2-0.8112 (6-3) =1.19 当没有噪声时，共有信息M等于。 第1题都分b的答案 图6-2为有服能的“更大”门电路的方块图。 00 *0 01 10 C11 11 03 92 闲一个有取簧的“更大”门电路 以下是转移矩阵： Cue [1 0.10811 〔6-4) 00.9020 第1题都分c的答案 假设结果是1 L1由输入(01)生成的概率是 0.9 c1+ce0.9+0.2 =082 (6-5) 1.1由输入(10)生成的概率是 -= 0.2 c1+ce09+02 =0.18 (65) 因为C:等于0，所以它由输入《11)生成的概率是0. 第1题都分d的案 输入信息量！。与物面相同，即2位。注意到每个输入是等可能的，为了计算输出信息 量我们首先计算B。和B
in out L = I − I 1.19 2 0.8112 = = − （6-3） 当没有噪声时，共有信息 M 等于 I out 。 第 1 题部分 b 的答案 图 6-2 为有瑕疵的“更大”门电路的方块图。 图 6-2：一个有瑕疵的“更大”门电路 以下是转移矩阵： ⎥ （6-4） ⎦ ⎤ ⎢ ⎣ ⎡ ⎥ = ⎦ ⎤ ⎢ ⎣ ⎡ 0 0.9 0.2 0 1 0.1 0.8 1 10 11 12 13 00 01 02 03 c c c c c c c c 第 1 题部分 c 的答案 假设结果是 1... i. 1 由输入（0 1）生成的概率是 0.9 0.2 0.9 11 12 11 + = c + c c = 0.82 （6-5） ii. 1 由输入（1 0）生成的概率是 0.9 0.2 0.2 11 12 12 + = c + c c = 0.18 （6-5） iii. 因为c13 等于 0，所以它由输入（1 1）生成的概率是 0。 第 1 题部分 d 的答案 输入信息量 与前面相同，即 2 位。注意到每个输入是等可能的，为了计算输出信息 量我们首先计算 和 in I B0 B1
Bo Coe A+co4 +ca:4:+casAy =1×025+0.1×025+08×0.25+1×025 =025+0.025+0.2+025 (6-7) =0.725 民=coA+C4+Ce4+cuA =0×025+0.9×025+0.2×025+0×025 =0225+0.05 (6-8) =0275 式7.12给出输出信息量I: 1=∑风B,)log, =0.7251og: 0.725 +0.2751o8: 0.275 -0.725log +0.2751og: (6-9) 0.725 0.275 =0.85 第1愿都分e的答案 这个程序是有喉声的，也是有相的，因为输出端有输入，输入端有输出。喉声N由式 722定义 e. p风4∑enlog 1 ofo8e6o2s品》o2sos
0 00 0 01 1 02 2 03A3 B = c A + c A + c A + c 0.725 0.25 0.025 0.2 0.25 1 0.25 0.1 0.25 0.8 0.25 1 0.25 = = + + + = × + × + × + × （6-7） 1 10 0 11 1 12 2 13A3 B = c A + c A + c A + c 0.275 0.225 0.05 0 0.25 0.9 0.25 0.2 0.25 0 0.25 = = + = × + × + × + × （6-8） 式 7.12 给出输出信息量 I out ： ∑ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = j j out j p B I p B ( ) 1 ( )log2 0.85 0.275 1 0.275log 0.725 1 0.725log 0.275 1 0.275log 0.725 1 0.725log 2 2 2 2 = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ + ⎠ ⎞ ⎜ ⎝ ⎛ = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ + ⎠ ⎞ ⎜ ⎝ ⎛ = （6-9） 第 1 题部分 e 的答案 这个程序是有噪声的，也是有损的，因为输出端有输入，输入端有输出。噪声 N 由式 7.22 定义： ∑ ∑ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = j ji ji i i c N p A c 1 ( ) log2 ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ + ⎠ ⎞ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ + ⎠ ⎞ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ + ⎠ ⎞ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ + ⎠ ⎞ ⎜ ⎝ ⎛ = ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = ∑ ∑ ∑ ∑ 0 1 0 log 1 1 0.25 1log 0.2 1 0.2 log 0.8 1 0.25 0.8log 0.9 1 0.9 log 0.1 1 0.25 0.1log 0 1 0 log 1 1 0.25 1log 1 log 1 ( ) log 1 log 1 ( ) log 1 log 1 ( ) log 1 log 1 ( ) log 1 ( ) log 1 ( ) log 1 ( ) log 1 ( ) log 2 2 2 2 2 2 2 2 13 13 2 03 3 03 2 12 12 2 02 2 02 2 11 11 2 01 1 01 2 10 10 2 00 0 00 2 3 3 3 2 2 2 2 2 1 1 1 2 0 0 0 2 c c c p A c c c c p A c c c c p A c c c c p A c c p A c c p A c c p A c c p A c j j j j j j j j j j j j
=0+0.250.1log,00)+0.91log,1.1月+0.250.81og,025)+021og,5+0（610) =030 损失L定文为： L=N+I-l =0.30+2-0.81 (6-11) =1.49 共有信息M定文为： M-I-L =I-N =2-1.49 (6-12) =0.81-0.3 =0.51 第2题：仿剑桥大学的计算机能力的答案 第2题郁分■的答案 任一个给定的参加考试的学生来麻省理工的：率风M)是 M)= 10000 10000+20000 =0.33 (6-13) 第2题都分b的答案 不确定性U就是如果知道了结果，取收到的平均的信息量。它是每个事件的平均信息： U=p(M)log +p(H)log =0.33×log =033×log,(3)+0.66×l0g:1.5) (6-14) =0.91位 第2愿部分：的答案 我们先来计算概*列H|C)和风MC).我们知道一半的哈佛学生(10000名)和全 部麻有理工的学生(10000名)是合格的： 10000 p(HIC)= 10000+10000
( ) ( ) 0.30 0 0.25 0.1log2 (10) 0.9log2 (1.11) 0.25 0.8log2 (1.25) 0.2log2 (5) 0 = = + + + + + （6-10） 损失 L 定义为： in out L = N + I −I 1.49 0.30 2 0.81 = = + − （6-11） 共有信息 M 定义为： M = Iin − L 0.51 0.81 0.3 2 1.49 = = − = − = I out − N （6-12） 第 2 题：仿剑桥大学的计算机能力的答案 第 2 题部分 a 的答案 任一个给定的参加考试的学生来自麻省理工的概率 p(M ) 是 10000 20000 10000 ( ) + p M = = 0.33 （6-13） 第 2 题部分 b 的答案 不确定性 U 就是如果知道了结果，你收到的平均的信息量。它是每个事件的平均信息： ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = ( ) 1 ( )log ( ) 1 ( )log2 2 p H p H p M U p M 0.91位 0.33 log (3) 0.66 log (1.5) 0.66 1 0.66 log 0.33 1 0.33 log 2 2 2 2 = = × + × ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ + × ⎠ ⎞ ⎜ ⎝ ⎛ = × （6-14） 第 2 题部分 c 的答案 我们先来计算概率 和 。我们知道一半的哈佛学生（10000 名）和全 部麻省理工的学生（10000 名）是合格的。 p(H | C) p(M | C) 10000 10000 10000 ( | ) + p H C =
=0.5 (6-15) =风MIC) 如果我们被告知所有的学生是合格的，那么学校的不确定性就是当我门知道了学校以后 得到的平均信息量： I=p(MIC)log: P(MIC) +p(C)log: 风HIC) =0.5×lo (o) =0.5×l0g2(2)+0.5×log2(2) (6-16) =1位 第2题都分d的答案 我们还是先米计算概率武H|)和风M引)。我们知道一最的哈佛学生(10000名) 是不合格的，麻省理工没有不合格的学生(0名)。 10000 p(H)= 0+10000 =1 (6-17) 风MI)=0 (6-18) 如果我们被告知所有的学生是不合格的，都么学校的不确定性就是当我们知道了学校以 后得到的平均信息量： Im =p(MI1)log 1 风MI) +p(H)log (D 0+1xlog: (6-19) =0位 这不是一个令人吃解的器案。如果知道了学生是不合格的，我们线知道他们是来自哈佛， 面不是麻省理工， 第2题都分：的答案 在得知学生的能力后平均不确定性是： I=p(Im +p(cyme =033×0+1×0.66 (6-20) =0.66位 第2题部分í的答案 推斯程序的方块图如图63所示
( | ) 0.5 = p M C = （6-15） 如果我们被告知所有的学生是合格的，那么学校的不确定性就是当我们知道了学校以后 得到的平均信息量： ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = ( | ) 1 ( | )log ( | ) 1 ( | )log2 2 p H C p H C p M C I avfC p M C 1位 0.5 log (2) 0.5 log (2) 0.5 1 0.5 log 0.5 1 0.5 log 2 2 2 2 = = × + × ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ + × ⎠ ⎞ ⎜ ⎝ ⎛ = × （6-16） 第 2 题部分 d 的答案 我们还是先来计算概率 和 。我们知道一般的哈佛学生（10000 名） 是不合格的，麻省理工没有不合格的学生（0 名）。 p(H | I) p(M | I) 0 10000 10000 ( | ) + p H I = = 1 （6-17） p(M | I) = 0 （6-18） 如果我们被告知所有的学生是不合格的，那么学校的不确定性就是当我们知道了学校以 后得到的平均信息量： ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = ( | ) 1 ( | )log ( | ) 1 ( | )log2 2 p H I p H I p M I I p M I avgI 0位 1 1 0 1 log2 = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = + × （6-19） 这不是一个令人吃惊的答案。如果知道了学生是不合格的，我们就知道他们是来自哈佛， 而不是麻省理工。 第 2 题部分 e 的答案 在得知学生的能力后平均不确定性是： out avgI avgC I = p(I)I + p(C)I 0.66位 0.33 0 1 0.66 = = × + × （6-20） 第 2 题部分 f 的答案 推断程序的方块图如图 6-3 所示
CMIC M HC +H CHI 图63：剑桥计算机隆力考试挂断机 以下是转移矩阵 0 0.505 (6-21) 第2题部分g的答案 整个系统的转移矩库是 T0.50]「1 0.5 05 1JL00.5 (6-22) 「0.50.251 050.75」 噪声的计算如下： -4, =pH∑cog }wo四es} e信》a(w仁} doswe.5w.( =0.660.5log:(2)+0.50g:(2)）+0 =0.66位 (6-23) 损失如下： L=1-1+N =0.91-0.91+0.66 (6-24) =0.66位
图 6-3：剑桥计算机能力考试推断机 以下是转移矩阵： ⎥ （6-21） ⎦ ⎤ ⎢ ⎣ ⎡ =⎥ ⎦ ⎤ ⎢ ⎣ ⎡ 0.5 0.5 1 0 HC MC HI MI c c c c 第 2 题部分 g 的答案 整个系统的转移矩阵是： ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ =⎥ ⎦ ⎤ ⎢ ⎣ ⎡ MI MC HI HC CH CM IH IM HM MM HH MH c c c c c c c c c c c c * （6-22） ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = 0.5 0.75 0.5 0.25 0 0.5 1 0.5 * 0.5 1 0.5 0 噪声的计算如下： ∑ ∑ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = j ji ji i i c N p A c 1 ( ) log2 ( ) 0.66位 0.66 0.5log (2) 0.5log (2) 0 1 1 1log 0 1 0.33 0log 0.5 1 0.5log 0.5 1 0.66 0.5log 1 log 1 ( ) log 1 log 1 ( ) log 1 ( ) log 1 ( ) log 2 2 2 2 2 2 2 2 2 2 1 2 0 2 = = + + +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ + ⎠ ⎞ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ + ⎠ ⎞ ⎜ ⎝ ⎛ = +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = ∑ ∑ CM CM IM IM CH CH IH IH j jM j j j jH c c c p M c c c c p H c c p M c c p H c （6-23） 损失如下： L = Iin −I out+N 0.66位 0.91 0.91 0.66 = = − + （6-24）
共有信息如下： MI-N =091-065 (6-25) =0.25位
共有信息如下： M = I out − N 0 .25 位 0 .91 0 .66 == − （6-25 ）