6.441信息传输 期末考试 2003年春季 问题1(20分)：对于下面的每个命题，判断对错。如 采是对的，给出证明：如果是带的给出一个反例或者证 明另一个命题。 a)(4分)U和V'是独立随机变量。已知X=fU)为 一随机函数，且Y=U+P,则有： (X:Y)=(U,) b)(4分)？和V是独立同分布的二进制随机变量， 取值范围为0，！，W=maxU,9,则有： H(U,)2H(f,') c)(4分)对于b)题条件，有： H亿U)≥H(W) d)(4分)三个随机变量X,Y和Z间的互信息定义为： 1X::Z)=X:Y)-x:YZ)。 在三个随机变量间，这一互信总是对称的，即： I(X:Y:Z)=I(X:Z)-I(X:ZY) e)(4分)d)题中，对于任意的X,Y,Z有：
6.441 信息传输 期末考试 2003 年春季 问题 1（20 分）：对于下面的每个命题，判断对错。如 果是对的，给出证明；如果是错的给出一个反例或者证 明另一个命题。 a）（4 分）U 和 V 是独立随机变量。已知 = UfX )( 为 一随机函数，且 = )( +VUfY ，则有： = YUIYXI );();( b）（4 分）U 和V 是独立同分布的二进制随机变量， 取值范围为 ,0{ }1 ，W = VU },max{ ，则有： ≥ VWHVUH ),(),( c）（4 分）对于 b）题条件，有： ≥ WHUH )()( d）（4 分）三个随机变量 ,YX 和Z 间的互信息定义为： −= ZYXIYXIZYXI );();();;( 。 在三个随机变量间，这一互信息是对称的，即： −= YZXIZXIZYXI );();();;( e）（4 分）d）题中，对于任意的 ,, ZYX 有：
I(X:Y,Z20) 问题2(15分)：计算下列信道的信道容量： a)(4分)按下图级联2个BSC信道，y=X田Z,⊕Z2, 其中X∈0，，Z,Z是独立同分布的贝努利分布(p)。 b)(4分)在级联BSC信道间加入编码译码过程： Encoder ©)(7分)2个独立的样本X:Y=(X©Z,X⊕Z),且Z,是 独立同分布的贝努利分布(p)
ZYXI ≥ )0;;( 问题 2（15 分）：计算下列信道的信道容量： a）（4 分）按下图级联 2 个 BSC 信道， = ⊕ ⊕ ZZXY 21 ， 其中 ， 是独立同分布的贝努利分布（p）。 p p p p X Y X ∈ }1,0{ 21, ZZ b）（4 分）在级联 BSC 信道间加入编码译码过程： p p Encoder X Y p p c）（7 分）2 个独立的样本 ZXZXYX ),(: = ⊕ 1 ⊕ 2 ，且 是 独立同分布的贝努利分布（p）。 Zi
问题3(15分)：一个有K个发射天线和一个接收天线的 无线信道。第：个发射天线和接收天线间的信道增益为 H,。编码器将输入信息M∈L,2,2}映射为K雏向量 X=[X,X,,Xx了，并由天线发射。整个发射功率限制 为P,即 ∑xsP 接收机接收到的一个标量符号为： 其中W~N0,)为加性高斯噪声。H,是固定常数。注意 信道为无记忆的，且时间标号忽路了。 a)(6分)假设接收机和发射机都己知信道参数H,。 找到最优的输入分布且计算信道容量。 b)(5分)假设接收机完全已知H,但发射机未知。 选择X,为独立同分布的零均值的高斯分布（每个输入的 方差为P1K)。计算在该种输入策略下可获得的数据率。 c)(4分)比较a)和b)的性能，在发射端未知信
问题 3（15 分）：一个有K 个发射天线和一个接收天线的 无线信道。第 个发射天线和接收天线间的信道增益为 。编码器将输入信息 映射为 i Hi }2,,2,1{ nR M ∈ L K 维向量 ，并由天线发射。整个发射功率限制 为 T XXXX K ],,,[ = 21 L P ，即 [ ] PXE i ∑ i ≤ 2 接收机接收到的一个标量符号为： WXHY K i ∑ ii += =1 其中 为加性高斯噪声。 是固定常数。注意 信道为无记忆的，且时间标号忽略了。 ),0(~ 2 NW δ Hi a）（6 分）假设接收机和发射机都已知信道参数 。 找到最优的输入分布且计算信道容量。 Hi b）（5 分）假设接收机完全已知 ，但发射机未知。 选择 为独立同分布的零均值的高斯分布（每个输入的 方差为 ）。计算在该种输入策略下可获得的数据率。 Hi Xi / KP c）（4 分）比较 a）和 b）的性能，在发射端未知信
道情况下，写出信道容量损失的百分比。在高和低信噪 比情况下，做适当的近似。指出在哪种状态损失最大？ 问题4(30分)：考虑如下的并行高斯多址接入信道： y=a,U+b+W,i=l…,k 其中a,b,=1.,k是固定常数，对于发射机和接收机都是 己知的。形是独立同分布的高斯噪声，方差为2。U,上是 两个用户发送的符号，分别记为用户A和用户B。对这 种无记忆信道还是忽略时间标号。对于每个用户功率约 束条件为P和Q. 与标量多接入信道类似，容量区域C定义为速率对 (R,R)凸包的闭集，且对于某些满足功率约束条件的输 入分布PuP2,有： R,≤O Rg≤IEU R4+Rn≤1u:O a)(7分)计算用户A最大可达的数据率： C.-mgR 找到一种可达该最大值的输入分布。为了达到该最大值
道情况下，写出信道容量损失的百分比。在高和低信噪 比情况下，做适当的近似。指出在哪种状态损失最大？ 问题 4（30 分）：考虑如下的并行高斯多址接入信道： = + + iiiiii = L,,1, kiWVbUaY 其中 kiba ii = L,,1,, 是固定常数，对于发射机和接收机都是 已知的。Wi 是独立同分布的高斯噪声，方差为 。2 δ ,VU 是 两个用户发送的符号，分别记为用户 A和用户 B 。对这 种无记忆信道还是忽略时间标号。对于每个用户功率约 束条件为 [ ]≤ PUE 2 和 [ ]≤ QVE 2 。 与标量多接入信道类似，容量区域C 定义为速率对 凸包的闭集，且对于某些满足功率约束条件的输 入分布 ),( RR BA VU , pp ，有： );( );( );( VYUIRR UYVIR VYUIR BA B A ≤+ ≤ ≤ a）（7 分）计算用户 A 最大可达的数据率： A C B ,R AR CA R )( max∈ = 找到一种可达该最大值的输入分布。为了达到该最大值
是否用户B一定不能发送信息？ b)(8分)证明为了计算容量区域，只考虑输入的分 布就足够了，即心，严都是高斯随机独立输入向量（协方 差矩阵为对角阵)。也就是说，任何输入分布可达的任意 速率对(R,R)都可由独立的高斯分布达到。 c)(5分)计算最大可达和速率： C…R,+R, 且找到最优的输入分布。 提示：最优分布（使和速率最大）在每个并行信道上 只有一个用户发送。你需要以这种方式找到最优输入， 且用Lagrange乘了方法证明该输入是最优的。 d)(5分)存在全局最优输入分布吗？也就是说，是 否存在一个特殊的输入分布，在容量区域内可达所有的 速率对？举例说明。 e)(5分)假设k=2,a=b=V2,4==1,82=0。 P=10,Q=2。假设用户A采用的U,U:是方差 P=P2=p/2=5的独立同分布的高斯分布。对于所有用户 和接收机这些参数都是已知的。假设'必须独立于U, 且用户B试图干扰用户A传输（使互信息最小），则用 户B需采用何种方式？如果用户B确切地知道用户A
是否用户B 一定不能发送信息？ b）（8 分）证明为了计算容量区域，只考虑输入的分 布就足够了，即 ,VU 都是高斯随机独立输入向量（协方 差矩阵为对角阵）。也就是说，任何输入分布可达的任意 速率对 RR BA ),( 都可由独立的高斯分布达到。 c）（5 分）计算最大可达和速率： BA C B ,R AR Csum = + RR ∈ )( max 且找到最优的输入分布。 提示：最优分布（使和速率最大）在每个并行信道上 只有一个用户发送。你需要以这种方式找到最优输入， 且用 Lagrange 乘子方法证明该输入是最优的。 d）（5 分）存在全局最优输入分布吗？也就是说，是 否存在一个特殊的输入分布，在容量区域内可达所有的 速率对？举例说明。 e ）（ 5 分）假设 ,2 0,1,2 2 21 babak 12 δ ====== 。 = QP = 2,10 。假设用户 A 采用的 ,UU 21 是方差 52/ 21 == ppP = 的独立同分布的高斯分布。对于所有用户 和接收机这些参数都是已知的。假设V 必须独立于U ， 且用户 B 试图干扰用户 A 传输（使互信息最小），则用 户 B 需采用何种方式？如果用户 B 确切地知道用户 A
发送的数据和符号，解释你的答案有何变化？ 问题5(20分)：考虑两个无记忆信道(x,为，P,0x》和 (x,,P()。这两个信道是独立的，即： P(yx))=p()p:(v) 记两个信道的容量分别为C,C:· 考虑如下的编解码方式，设消息为： Me1,2.…2} 编码器： 1.在中，随机选择一个2个码字的码书C,根据 信道1可达容量的分布，每个码字的每个符号选为独立 同分布的。 2.将这些码字随机的分配给2㎡盒子，每个码字被均 匀的和独立的分到每一黑子。 3.在x中，随机选择一个2*个码字的码书C,根据 信道2的可达容量的分布，每个码字的每个符号选为独 立同分布的。 4.给译码器给出码书和盒子。 5.为了传输消息M,在C中找到在信道1中要传输 的相应码字：在信道2上发送盆子标号
发送的数据和符号，解释你的答案有何变化？ 问题 5（20 分）：考虑两个无记忆信道( )(,, ) 11111 χ xypy 和 ( )(,, 22122 χ xypy )。这两个信道是独立的，即： ( ) )()(),, 2121 222111 = xypxypxxyyP 记两个信道的容量分别为 ,CC 21 。 考虑如下的编解码方式，设消息为： }2,2,1{ nR M ∈ L 编码器： 1. 在 中，随机选择一个 个码字的码书 ，根据 信道 1 可达容量的分布，每个码字的每个符号选为独立 同分布的。 n χ1 nR 2 C1 2. 将这些码字随机的分配给 盒子，每个码字被均 匀的和独立的分到每一黑子。 Rn ′ 2 3. 在 中，随机选择一个 个码字的码书 ，根据 信道 2 的可达容量的分布，每个码字的每个符号选为独 立同分布的。 n χ 2 nR 2 C1 4. 给译码器给出码书和盒子。 5. 为了传输消息M ，在 中找到在信道 1 中要传输 的相应码字；在信道 2 上发送盒子标号。 C1
译码器接收到出，。从当，译出出序列米找到盒子 标号。然后与y联合典型的对应的盒子中找到码字文，。 如果只有一个码字则译码，否则宜布出错。 a)(10分)证明只要R<C,+C2该方法是最优的。可 以找到适当的，上面方法的译码差错概率随着的增 加趋于0， b)(10分)下面考虑如下图所示的多址接入信道， X" 用户A 边信道 MAC 用户B 输入为XY,输出为Z 假设对于特定输入分布p,(x).Pwy)的MAC,(R.R】 是可达的数据率对。 通过边信道，用户B监听用户A发送的信号X,且 帮助用户A以更高的数据率来发送。输入分布为P,的边 信道的互信息大于R,+R。设计一种采用a)的方案， 使用户A可靠的以速率R=R,+R来发送。证明用户间
译码器接收到 21, yy 。从 2 y ，译出 2 x 序列来找到盒子 标号。然后与 1 y 联合典型的对应的盒子中找到码字 1 ~x 。 如果只有一个码字则译码，否则宣布出错。 a）（10 分）证明只要 < + CCR 21 该方法是最优的。可 以找到适当的 l R ，上面方法的译码差错概率随着 的增 加趋于 0。 n b）（10 分）下面考虑如下图所示的多址接入信道， 输入为 ，输出为 ,YX Z 。 用户 A 边信道 用户 B MAC n X n Y n Z 假设对于特定输入分布 的 MAC， 是可达的数据率对。 ypxp )(),( A B ),( RR BA 通过边信道，用户 B 监听用户 A 发送的信号 n X ，且 帮助用户 A 以更高的数据率来发送。输入分布为 的边 信道的互信息大于 。设计一种采用 a）的方案， 使用户 A 可靠的以速率 A p + RR BA = + RRR BA 来发送。证明用户间
的协作可以增大容量区域。直观的解释什么信总通过了 边信道？ (提示，可以忽略边信道是因果的，且允许用户B 提前“监听”到用户A的信号。若能设计一种方法，在 因果特性的边信道中达到R=R,+。,将有意外收获。关 键是将时间轴分为多个长的时间段。)
的协作可以增大容量区域。直观的解释什么信息通过了 边信道？ （提示，可以忽略边信道是因果的，且允许用户 B 提前“监听”到用户 A 的信号。若能设计一种方法，在 因果特性的边信道中达到 = + RRR BA ，将有意外收获。关 键是将时间轴分为多个长的时间段。）