第6章信息论基础6.5信道模型和信道容量
第 6 章 信息论基础 6.5 信道模型和信道容量
信道容量和信道编码回顾M元调制产生的信号波形用M=2k个信号波形，每个波形传递k比特信息。可借助正交的信号波形使M→00时，只要≥-1.6dB差错概率任意小。带宽W=M4f随k增加而指数增加。信道带宽利用率太低！编码波形（由二进制或非二进制序列产生的信号波形）W仅随k的增加而线性增加。更具有潜力获得较高带宽效率。在功率受限系统（R/W1）中都具有优越性能
2 ⚫ W仅随 k 的增加而线性增加。更具有潜力获得较高带宽效率。 ⚫用 M=2k 个信号波形，每个波形传递 k 比特信息。 ⚫ ，可借助正交的信号波形使 差错概率任意小。 M dB → − 1.6 时，只要 b 回顾 ⚫带宽 W=Mf 随k 增加而指数增加。信道带宽利用率太低! 编码波形 （由二进制或非二进制序列产生的信号波形） ⚫在功率受限系统( R/W1 )中都 具有优越性能。 M元调制产生的信号波形 信道容量和信道编码
以可控的方式插入余，克信道模型和信道容量服信道干扰和噪声影响输入：离散的数字序列输出：离散数字序列：回顾数字通信系统的模型码率：k/n发送器信源信道数字信源和输入变换器编码器编码器调制器信道输出信号信源信道解调器输出检测器变换器译码器译码器检测器的判决过程可以看作是一种Q电平量化形式；将接收到的受信道损伤的波形简Q=2：二进制量化，判决传送的比特是0还是1（硬判决）化成一个矢量硬判决；Q>M-软判决；对于M进制信号：Q=M一一不作量化Q=00-3检测器量化输出送入信道译码器，利用余度纠正信道干扰
3 信源和 输入变换器 信源 编码器 信道 信源 译码器 数字 调制器 信道 编码器 解调器 检测器 信道 译码器 输出 信号 输出 变换器 以可控的方式插入冗余，克 服信道干扰和噪声影响 ⚫输入：离散的数字序列 ⚫输出：离散数字序列； 码率：k/n 将接收到的受信 道损伤的波形简 化成一个矢量 ⚫检测器的判决过程可以看作是一种Q电平量化形式； Q=2：二进制量化，判决传送的比特是0还是1（ 硬判决） ⚫对于M进制信号：Q=M —— 硬判决；Q>M—— 软判决； Q= ——不作量化 ⚫检测器量化输出送入信道译码器，利用冗余度纠正信道干扰。 回顾 数字通信系统的模型 信道模型和信道容量 发送器
6.5信道模型和信道容量
4 6.5 信道模型和信道容量
信道模型和信道容量编码设计时常用的信道模型可用以下三个参数来描述通信信道：信道的输入信号集（输入符号集）X信道的输出信号集（输出符号集）Y输入、输出序列（任意长度n）关系的条件概率：Py,L y, Ix,x,Lx)P(y|x)=IIP(y, x)如果对于所有n：1则称信道是无记忆的。（i时刻的输出仅取决于i时刻的输入）
5 1 ( | ) ( | ) n i i i P y x P y x = = 编码设计时常用的信道模型 可用以下三个参数来描述通信信道： 信道模型和信道容量 1 2 1 2 ( , , | , , ) ⚫输入、输出序列（任意长度n）关系的条件概率 P y y y x x x L L n n : ⚫信道的输入信号集 （输入符号集）X ⚫信道的输出信号集 （输出符号集）Y 如果对于所有n： 则称信道是无记忆的。（i 时刻的输出仅取决于i 时刻的输入）
信道模型和信道容量四种信道模型1.二进制对称信道BSC最简单的信道模型，应用于M=2，检测器采用硬判决的情况。把调制、解调、检测看成信道的一个部分一一合成信道·离散二进制输出Y={0,1)·离散二进制输入X=(0,1)解调器输入输出信道二进制信道信道和编码器调制器数据解码器数据检测器合成的离散输入、离散输出信道1-P输入与输出之间关系：4个条件概率：1P(Y=0|X =1)= P(Y =1|X=0)= p输入输出P(Y =1/X =1)=P(Y =0| X =0)=1-p1-p每个输出比特仅与对应的一个输入比特有关一无记忆
6 ⚫ 最简单的信道模型，应用于M=2，检测器采用硬判决的情况。 ⚫ 把调制、解调、检测看成信道的一个部分 ( 0 | 1) ( 1| 0) ( 1| 1) ( 0 | 0) 1 = = = = = = = = = = = = − P Y X P Y X p P Y X P Y X p 四种信道模型 1. 二进制对称信道 BSC —— 合成信道 ⚫输入与输出之间关系：4个条件概率: 信道模型和信道容量 ⚫离散二进制输入 X={0, 1} ⚫离散二进制输出 Y={0, 1} 每个输出比特仅与对应的一个输入比特有关 ——无记忆
(n)(x)信道模型和信道容量2.离散无记忆信道DMCBSC推广一广义的离散输入、离散输出信道图7-1-3离散进制输入，Q进制输出信道Q≥M=29·离散输入M元符号?Q电平离散输出解调器输入M元输出信道信道信道和调制编码器数据解码器数据检测器检测器软判决合成的离散输入、离散输出信道合成信道的输入输出特性（信道和调制是无记忆时），用MO个条件概率描述：i= 0, 1, ... Q-1P(Y =y, /X =x,)= P(y, Ix,)j= 0, 1, ... M-1输入序列X、输出序列Y的联合概率：P(Y,=V,Y,=V,L Y, =V, IX, =u,X, =u, L X, =u,)=IIP(Y, =V IX, =u)无记忆条件条件概率P(yx）可以表示成矩阵形式P=lpil，称为信道的转移概率矩阵
7 ( | ) ( | ) i j i j P Y = y X = x = P y x 2. 离散无记忆信道 DMC 输入序列X 、输出序列Y 的 联合概率： 1 1 2 2 1 1 2 2 1 ( , | , ) ( | ) = = = = = = = = = = n n n n n k k k k k P Y v Y v Y v X u X u X u P Y v X u L L i = 0, 1, . Q-1 j = 0, 1, . M-1 无记忆条件 条件概率P(yi |xj )可以表示成矩阵形式 P =[pij]，称为信道的转移概率矩阵。 信道模型和信道容量 q ⚫离散输入M元符号 ⚫Q电平离散输出 Q M = 2 BSC推广——广义的离散输入、离散输出信道 ⚫合成信道的输入输出特性（信道和调制是无记忆时），用MQ个条件概率描述： 检测器软判决 M元 调制
信道模型和信道容量3.离散输入、连续输出信道检测器的输出未经量化。调制器输入信号为离散字符，·离散输入X·连续输出Y解调器输入二进制输出信道信道信道和编码器调制器数据解码器数据检测器合成的离散输入、离散输出信道组条件概率密度函数：P(yX=x)xEX,yER例：AWGN信道：Y=X+NN：零均值，方差为g2的高斯随机变量e-(y-x)/2g2P(y| X = x) =12元0■对于任意给定的输入序列X，相应的输出序列Y,=X,+N,i-1,2....n信道为无记忆的条件为：P(yi,y,L yn Ixi,x,L x)=P(y /x)
8 3. 离散输入、连续输出信道 调制器输入信号为离散字符，检测器的输出未经量化。 ⚫一组条件概率密度函数：P( y | X = x ) 例：AWGN信道： Y X N = + 2 2 1 ( ) / 2 ( | ) 2 − − = = y x P y X x e 1 2 1 2 1 ( , | , ) ( | ) = L L = n n n i i i 信道为无记忆的条件为： P y y y x x x P y x 信道模型和信道容量 ⚫离散输入 X ⚫连续输出Y N：零均值，方差为 2 的高斯随机变量 ◼对于任意给定的输入序列 Xi，相应的输出序列 Yi =Xi +Ni i=1,2,.n x X y R
信道模型和信道容量4.波形信道输入是波形输出也是波形?把调制器和解调器从物理信道中分离出来单独研究。解调器输入输出信道二进制信道和信道假设：加性噪声信道，带宽W，编码器调制器数据解码器数据检测器带内具有理想频率特性合成的离高散输入、高散输出信道y(t)= x(t)+n(t)为了定义一组能体现信道特性的概率：处理一将x(t)、v(t)和n(t)展开成一组标准正交函数的完备集矢量AWGN信道模型：y=x,+n,其中: y, =[ y(t)g,(t)dt =[x(t)+n(t)]o (t)dt= x, +n,e-(,-)2/2g2P(y, /x,):2元0P(y,y2,L ynIx,x,L xn)=IIP(y,Ix,)由于n不相关，高斯分布i-1波形信道被简化成一个等效的离散时间信道！
假设：加性噪声信道，带宽W， 带内具有理想频率特性 9 y t x t n t ( ) ( ) ( ) = + 4. 波形信道 ⚫把调制器和解调器从物理信 道中分离出来单独研究。 将x(t)、y(t)和n(t)展开成一组标准正交函数的完备集： 0 ( ) ( ) T i i y y t t dt = i i ni y = x + 1 2 1 2 1 ( , , | , , ) ( | ) N N N i i i P y y y x x x P y x = L L = 2 2 ( ) / 2 2 1 ( | ) i i y x i i i P y x e − − = 波形信道被简化成一个等效的离散时间信道！ 处理 —— 矢量AWGN信道模型： 信道模型和信道容量 ⚫输入是波形 ⚫输出也是波形 0 [ ( ) ( )] ( ) T i i i = + = + x t n t t dt x n 其中： 由于{ni }不相关，高斯分布 为了定义一组能体现信道特性的概率：
信道模型和信道容量由维度定理：带宽为W、时长为T的信号空间维数：N=2WT1T/2x(t)dt00i=l-T/2正交性2WTE[x?=2WE[x?≤P= lim一T→ T大数定理结论：波形AWGN信道等效的离散时间AWGN信道等效于带宽W限制；每秒使用2W次；功率P限制噪声方差：g2=N/2输入功率受限于：EX22W10
10 带宽为W、时长为T的信号空间维数：N=2WT / 2 2 / 2 1 lim ( ) → − T T T x t dt P T 2 2 P E X W 由维度定理： 考虑到信道输入通常受功率限制： 信道模型和信道容量 即： 结论： 波形AWGN信道 带宽W限制； 功率P限制 等效的离散时间AWGN信道 每秒使用2W次； 噪声方差：2=N0 /2 输入功率受限于： 2 2 P E X W 等效于 / 2 2 2 2 / 2 1 1 1 lim ( ) lim T WT j T T T j x t dt x → → T T − = = 1 2 2 lim 2 2 T WTE X WE X P → T = = 正交性 大数定理