第3章信道模型和信道容量 2010年7月21日1时3分 信息理论与编码 1
2010年7月21日1时3分 信息理论与编码 1 第3章 信道模型和信道容量
主要内容 1、信道模型与信道 6、信道容量C 分类 7、扩展信道及其信 2、离散无记忆信道 道容量 3、概率关系 8信道的组合 4、信道的疑义度 9、信道剩余度 散布度和平均互信 10、连续信道的信道 息 容量 5、平均互信息的性 11、波形信道及其信 质 道容量 第三章信道模型和信道 信息理论与编码 2 容量
第三章 信道模型和信道 容量 信息理论与编码 2 主要内容 1、信道模型与信道 分类 2、离散无记忆信道 3、概率关系 4、信道的疑义度、 散布度和平均互信 息 5、平均互信息的性 质 6、信道容量C 7、扩展信道及其信 道容量 8 信道的组合 9、信道剩余度 10、连续信道的信道 容量 11、波形信道及其信 道容量
1、信道模型与信道分类 输入/输出统计 输入 关系 输出 X(f) Y(f) (随机过> 信道 随机过 程) 程) 噪声干扰 Z(f) (随机过 程) 第三章信道模型和信道 信息理论与编码 3 容量
第三章 信道模型和信道 容量 信息理论与编码 3 1、信道模型与信道分类 输入 X(f) （ 随机过 程） 信 道 输出 Y(f) （ 随机过 程） 噪声干扰 Z(f) （ 随机过 程） 输入/输出统计 关系
常见的分类方法有以下几种： (1)根据信号在时间和幅值上的离散或连续 来划分 时间离散、幅值离散信道 时间离 简称离散信道(discrete channel) 散信道 时间离散、幅值连续信道 信道 简称连续信道(continuous channel) 时间连续、幅值离散信道 时间连 续信道 时间连续、幅值连续信道 简称波形信道(waveform channel 第三章信道模型和信道 信息理论与编码 4 容量
第三章 信道模型和信道 容量 信息理论与编码 4 常见的分类方法有以下几种： （1）根据信号在时间和幅值上的离散或连续 来划分 信 道 时间离 散信道 时间离散、幅值离散信道 简称离散信道（discrete channel） 时间离散、幅值连续信道 简称连续信道（continuous channel） 时间连 续信道 时间连续、幅值离散信道 时间连续、幅值连续信道 简称波形信道（waveform channel）
(2)根据信道的记忆特性划分 无记忆信道信道当前的输出只与当前 的输入有关。 有记忆信道信道当前的输出不但与当 前的输入有关，还与当前时刻以前的输入 有关。 (3)根据信道的输入/输出的关系划分 无噪声信道信道的输入/输出关系是确 定关系。 有噪声信道信道的输入/输出关系是统 计依存关系。 第三章信道模型和信道 信息理论与编码 5 容量
第三章 信道模型和信道 容量 信息理论与编码 5 （2）根据信道的记忆特性划分 无记忆信道 信道当前的输出只与当前 的输入有关。 有记忆信道 信道当前的输出不但与当 前的输入有关，还与当前时刻以前的输入 有关。 （3）根据信道的输入/输出的关系划分 无噪声信道 信道的输入/输出关系是确 定关系。 有噪声信道 信道的输入/输出关系是统 计依存关系
(4)根据信道物理组成划分 可分为很多类，较常见的有：有线信 道、无线信道、光纤信道等 (5)根据信道的用户类型划分 两端（单用户）信道只有一个输入 端和一个输出端的单向信道。 多端（多用户）信道有多个输入端 和多个输出端的单向或双向信道。 第三章信道模型和信道 信息理论与编码 6 容量
第三章 信道模型和信道 容量 信息理论与编码 6 （4）根据信道物理组成划分 可分为很多类，较常见的有：有线信 道、无线信道、光纤信道等 （5）根据信道的用户类型划分 两端（单用户）信道 只有一个输入 端和一个输出端的单向信道。 多端（多用户）信道 有多个输入端 和多个输出端的单向或双向信道
2、离散无记忆信道（DMC, discrete memoryless channel X DMC {a1,42,…,a,} 6,b2…,b} 噪声干扰 DMC的数学模型记为 X,Bu,Y 第三章信道模型和信道 信息理论与编码 7 容量
第三章 信道模型和信道 容量 信息理论与编码 7 2、离散无记忆信道（DMC，discrete memoryless channel） DMC的数学模型记为 X Y 噪声干扰 DMC 1 2 { , , , }r a a a 1 2 { , , , }s b b b PY X| | { , , } X P Y Y X
转移（概率)矩阵 b b b P(ba)P(b2a) P(b,la) a P(ba) P(ba2)…P(ba2) [Px]= P(bla,)P(bIa,） P(b,a,) a, 信道加一个输入，必然会产生一个 输出，因比， 转移矩阵中各行$个转移概 率自身是完备的，即各行$个转移概率之和 为1。 ∑Pb,1a,)=1,i=1,2,r 第三章信道模型和信道 信息理论与编码 8 容量
第三章 信道模型和信道 容量 信息理论与编码 8 转移（概率）矩阵 信道加一个输入，必然会产生一个 输出，因此，转移矩阵中各行s个转移概 率自身是完备的，即各行s个转移概率之和 为1。 1 2 1 1 2 1 1 1 1 2 2 2 2 2 | 1 2 ( | ) ( | ) ( | ) ( | ) ( | ) ( | ) [ ] ( | ) ( | ) ( | ) s s s Y X r r s r r b b b P b a P b a P b a a P b a P b a P b a a P P b a P b a P b a a 1 ( | ) 1 , 1, 2, , s j i j P b a i r
3、概率关系 输入概率：P(a,);i=1,2，…,r 输出概率：P(b,)；方=1,2，…，s 联合概率：P(a,b)i=1,2,…,rj=1,2,…s 转移概率：P(亿a,),i=1,2,…,rj=1,2,s 后验概率：P(a,b)i=1,2,…,T,=1,2,…,S 根据概率的乘法公式： P(a,b)=P(a,)P(b,l a,)=P(b,)P(a,b) 第三章信道模型和信道 信息理论与编码 9 容量
第三章 信道模型和信道 容量 信息理论与编码 9 3、概率关系 输入概率： 输出概率： 联合概率： 转移概率： 后验概率： 根据概率的乘法公式： ( ) ; 1, 2, , P a i r i ( ) ; 1, 2, , P b j s j ( , ) ; 1, 2, , ; 1, 2, , P a b i r j s i j ( | ) ; 1, 2, , ; 1, 2, , P b a i r j s j i ( | ) ; 1, 2, , ; 1, 2, , P a b i r j s i j ( , ) ( ) ( | ) ( ) ( | ) P a b P a P b a P b P a b i j i j i j i j
得到联合概率矩阵： b b P(a,b)P(a,b)… P(a,b,) a P(a,b) [Px]= P()P(az,b) P(a,b)P(a,,b2) .P(a,b) a [Px的第i行元素相加得输入概率P(a) 的第j列元素相加得输出概率Pb) 将[Px的第j列除以Pb),得到后验概率矩阵： 第三章信道模型和信道 信息理论与编码 10 容量
第三章 信道模型和信道 容量 信息理论与编码 10 得到联合概率矩阵： 的第i行元素相加得输入概率 的第j列元素相加得输出概率 将 的第j列除以 ，得到后验概率矩阵： 1 2 1 1 1 2 1 1 2 1 2 2 2 2 1 2 ( , ) ( , ) ( , ) ( , ) ( , ) ( , ) [ ] ( , ) ( , ) ( , ) s s s XY r r r s r b b b P a b P a b P a b a P a b P a b P a b a P P a b P a b P a b a [ ] PXY ( ) P ai ( ) P bj [ ] PXY ( ) P bj