第2章 信息论初步 王有政 微波与数字通信国家重点实验室
第2章 信息论初步 王有政 微波与数字通信国家重点实验室
信息论的研究对象 信源信源编码信道编码→调制]→发射 传输媒质 值宿←[倍源解吗[道译←[解四、[接收 内容涉及到信源编码和信道容量 2021年2月19日
2021年2月19日 2 信息论的研究对象 内容涉及到信源编码和信道容量 信源 信源编码 信道编码 调制 发射 传输媒质 信宿 信源解码 信道译码 解调 接收
中。内容 信息的度量 1信息的概念 2消息的统计特性及描述方法 3离散信源的信息量 4离散信源的熵〔平均信息量)与互信息 5连续信源的信息量 二、信道容量和香农公式 1信道的定义 2信道的数学模型 3信道容量(离散信道和连续信道) 4香农公式讨论 2021年2月19日 3
2021年2月19日 3 内容 一、信息的度量 1.信息的概念 2.消息的统计特性及描述方法 3.离散信源的信息量 4.离散信源的熵 (平均信息量) 与互信息 5.连续信源的信息量 二、信道容量和香农公式 1.信道的定义 2.信道的数学模型 3.信道容量 (离散信道和连续信道) 4.香农公式讨论
1.1信息的基本概念 信息:是消息的内容 息:是信息的形式 6 Hartley和香农(CE. Shannon从消息的统 计特性出发,从信息的不确定性和概率 测度的角度定义了通信中信息量的概念, 开给出了信息度量的方法。 2021年2月19日 4
2021年2月19日 4 1.1 信息的基本概念 信息：是消息的内容 消息：是信息的形式 Hartley和香农(C.E.Shannon)从消息的统 计特性出发，从信息的不确定性和概率 测度的角度定义了通信中信息量的概念， 并给出了信息度量的方法
1.2消息的统计特性 6描述方法:随机过程 消息 产生源 描述 统计特性 离散消息离散信源离散型随机过程|概率分布率X~P(x) 连续消息连续信源连续型随机过程|概率密度函数和概率分布函数 2021年2月19日
2021年2月19日 5 1.2 消息的统计特性 描述方法：随机过程 消息 产生源 描述 统计特性 离散消息 离散信源 离散型随机过程 概率分布率 ~ ( ) i X P x 连续消息 连续信源 连续型随机过程 概率密度函数和概率分布函数
1.3,1离散信源的信息量 6单一符号的信息量 l123,∈{x}j=1,…概率为Px) Hartley定义 I(x,)=log g P(x,) P(x,) (x)≥0,当P(x)=1时,(x)=0 单位: 对数以2为底,单位为比特(bin) 对数以e为底,单位为奈特(nt) 对数以10为底,单位为哈特菜( Hartley) 2021年2月19日
2021年2月19日 6 1.3.1 离散信源的信息量 单一符号的信息量 u1 u2 u3…uN，ui{xj }, j =1,…,k, 概率为P(xj ) Hartley定义 单位： • 对数以2为底，单位为比特 (bit) • 对数以e为底，单位为奈特 (nit) • 对数以10为底，单位为哈特莱 (Hartley) ( ) 0, ( ) 1 , ( ) 0 log ( ) ( ) 1 ( ) log = = = = − i i i i i i I x P x I x P x P x I x 当 时
1.3.2随机序列的信息量 u423…x,∈x},六1…,概率为 P(x;),x出现的次数为n 恿信息量为: k I=∑nbgP(x) 2021年2月19日 7
2021年2月19日 7 1.3.2 随机序列的信息量 u1 u2 u3…uN，ui{xj }, j=1,…,k, 概率为 P(xj )，xj 出现的次数为nj 总信息量为： = = − k j j j I n P x 1 log ( )
1.3.3多个信源与互信息 两个信源X和Y,它们所对应的符号分别 为x和v 联合信息量 (xy1)=-gP(x;y,) 条件信息量 I(x yi)=-log P(x ly,) 2021年2月19日 8
2021年2月19日 8 1.3.3 多个信源与互信息 两个信源X和Y，它们所对应的符号分别 为xi和yi 联合信息量 条件信息量 ( ) log ( ) i j i j I x y = − P x y ( | ) log ( | ) i j i j I x y = − P x y
1.3.4互信息 信道 Y=X+N先验概率:P(x) 后验概率:P(x/ 转移概率:P(v/x) 互信息表示X与Y的统计关联程度 P(x Ly) 互信息量1(xy)=ogP(x 2021年2月19日 9
2021年2月19日 9 1.3.4 互信息 互信息表示X与Y的统计关联程度 互信息量 信道 X Y＝X+N N 先验概率：P(xi ) 后验概率：P(xi /yj ) 转移概率：P(yj /xi ) ( ) ( | ) ( , ) log i i j i j P x P x y I x y =
1.4.1离散信娠的孀 6香农熵:平均信息量 E{(x)=∑P(x)bgP(x)△H( H(x) 6香农熵的性质 B香农熵是非负的,即H(x)≥0 香农熵具有上凸性,即H(x)是P(x)的上凸函数。 ⊕离散信源的最大香农熵 ∑ 1 log 2021年2月19日 10
2021年2月19日 10 1.4.1离散信源的熵 香农熵：平均信息量 香农熵的性质 香农熵是非负的，即H(x) 0 香农熵具有上凸性，即H(x)是P(x)的上凸函数。 离散信源的最大香农熵 { ( )} ( )log ( ) ( ) ~ 1 I E I x P x P x H x k j i j j = = = − ⎯ → N N N H N i max log 1 log 1 1 = − = = P H(x)
