第10章信息论基础 第10章 信息论基础 >10.1引言 >10.2信源及信源的熵 >10.3无失真信源编码 >10.4信道模型及信道容量 >10.5香农公式及其应用 Back 2023/7/17 通信原理教程
第10章 信息论基础 2023/7/17 通信原理教程1 第10章 信息论基础 ➢ 10.1 引言 ➢ 10.2 信源及信源的熵 ➢ 10.3 无失真信源编码 ➢ 10.4 信道模型及信道容量 ➢ 10.5 香农公式及其应用
第10章信息论基础 本章内容目的要求 教学要求：了解信息论的基 本内容，会平均信息量的计 算，理解山农公式的意义。 ● 内容提要：信息源与信息的 测度：山农公式及其应用。 2023/7/17 通信原理教程2
第10章 信息论基础 2023/7/17 通信原理教程2 本章内容目的要求 • 教学要求: 了解信息论的基 本内容，会平均信息量的计 算，理解山农公式的意义。 • 内容提要: 信息源与信息的 测度；山农公式及其应用
第10章信息论基础 10.1 引言 有效性和可靠性是通信系统中研究的中 心问题，信息论是在信息可度量基础上， 研究有效地和可靠地传递信息的科学。因 此概率论、随机过程和数理统计学是信息 论研究的基础和工具。 Back 2023/7/17 通信原理教程
第10章 信息论基础 2023/7/17 通信原理教程3 10.1 引言 有效性和可靠性是通信系统中研究的中 心问题，信息论是在信息可度量基础上， 研究有效地和可靠地传递信息的科学。因 此概率论、随机过程和数理统计学是信息 论研究的基础和工具
第10章信息论基础 10.2信源及信源的熵 10.2.1信源的描述及分类 离散信源进行进一步分类 发出单个符号的无记忆信源 离散无记忆信源 发出符号序列的无记忆信源 离散信源 发出符号序列的有记忆信源 离散有记忆信源 发出符号序列的马尔可夫信源 2023/7/17 通信原理教程4
第10章 信息论基础 2023/7/17 通信原理教程4 10.2 信源及信源的熵 10.2.1 信源的描述及分类 离散信源进行进一步分类 发出符号序列的马尔可夫信源 发出符号序列的有记忆信源 离散有记忆信源 发出符号序列的无记忆信源 发出单个符号的无记忆信源 离散无记忆信源 离散信源
第10章信息论基础 离散信源的统计特性，有以下3点： (1)组成离散消息的信息源的符号个数是 有限的； (2)符号表中各个符号出现的概率不同； (3)相邻符号的出现，有统计相关性。 10.2.2自信息量 离散信源发出的各个符号消息概率空间： X2 X P(x) 2023/7/17 通信原理教程
第10章 信息论基础 2023/7/17 通信原理教程5 离散信源的统计特性，有以下3点： (1)组成离散消息的信息源的符号个数是 有限的; (2)符号表中各个符号出现的概率不同; (3)相邻符号的出现，有统计相关性。 10.2.2 自信息量 离散信源发出的各个符号消息概率空间： ( ) ( ) ( ) = n n P x P x P x x x x 1 2 1 2 P X
第10章信息论基础 事件x,的自信息量可以定义为：Ix)=-logP(x) 从这个定义，可以注意到： ()信息量的多少和事件发生的概率有关； (2)信息量用对数表示是合理的，它适合 信息的可加性； (3)信息量是非负的； (4)事件出现的概率越小，它的出现所带 来的信息量越大；必然事件的出现不会带来 任何信息。 2023/7/17 通信原理教程
第10章 信息论基础 2023/7/17 通信原理教程6 事件xi的自信息量可以定义为： 从这个定义，可以注意到： (1)信息量的多少和事件发生的概率有关； (2)信息量用对数表示是合理的，它适合 信息的可加性； (3) 信息量是非负的； (4)事件出现的概率越小，它的出现所带 来的信息量越大；必然事件的出现不会带来 任何信息。 ( ) ( ) i i I x = −log P x
第10章信息论基础 10.2.3离散信源的熵 信源的平均自信息量，也就是信息熵) H(W)=E-logP(s,】=∑Px(x)=-∑Ps,))log P() 单位是比特/符号或比特/符号序列。 信息熵的三种物理含意： (1)信息熵H(X表示信源输出后，每个消 息（或符号）所提供的平均信息量； (2)表示信源输出前，信源平均不确定性； (3)熵的出现表明变量X的随机特性。 例题p321 2023/7/17 通信原理教程
第10章 信息论基础 2023/7/17 通信原理教程7 10.2.3 离散信源的熵 信源的平均自信息量，也就是信息熵H(X) 单位是比特/符号或比特/符号序列。 信息熵的三种物理含意： (1) 信息熵H(X)表示信源输出后，每个消 息(或符号)所提供的平均信息量； (2)表示信源输出前，信源平均不确定性； (3)熵的出现表明变量X的随机特性。 例题p321 ( ) = − ( )= ( ) ( ) = − ( ) ( ) i i i i i i i H X E log P x P x I x P x log P x
第10章信息论基础 10.3无失真信源编码 信源编码的达到的目的有两个， 1、使序列中的各个符号尽可能地互相 独立，即解除相关性； 2、是使编码中各个符号出现的概率尽 可能地相等，即概率均匀化。 方法：无失真编码和限失真编码。 2023/7/17 通信原理教程8
第10章 信息论基础 2023/7/17 通信原理教程8 10.3 无失真信源编码 信源编码的达到的目的有两个， 1、使序列中的各个符号尽可能地互相 独立，即解除相关性； 2、是使编码中各个符号出现的概率尽 可能地相等，即概率均匀化。 方法：无失真编码和限失真编码
第10章信息论基础 10.3.1编码的定义 定义：利用编码器把信源的符号（或符号 序列)变换成代码的过程。 L长序列 编码器 K长码宝 码字符号表 信源编码按其特性分成以下4种 ()定长和变长码； (2)奇异码和非奇异码； (3)唯一可译码； (4)即时码和非即时码。 2023/7/17 通信原理教程
第10章 信息论基础 2023/7/17 通信原理教程9 10.3.1 编码的定义 定义：利用编码器把信源的符号(或符号 序列)变换成代码的过程。 信源编码按其特性分成以下4种 (1)定长和变长码; (2)奇异码和非奇异码； (3)唯一可译码； (4)即时码和非即时码。 编码器 L长序列 K长码字 码字符号表
第10章信息论基础 通常利用码树来表示各码字的构成。 A 0 012 唯一可译码存在的充分和必要条件，即各 码字的长度K应符合克劳夫特(Kraft)不等式： 看例题p322 2023/7/17 通信原理教程10
第10章 信息论基础 2023/7/17 通信原理教程10 通常利用码树来表示各码字的构成。 唯一可译码存在的充分和必要条件，即各 码字的长度Ki应符合克劳夫特(Kraft)不等式: 看例题p322 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 1 2 0 1 2 0 1 2 0 1 2 0 1 2 0 1 2 A A 1 1 = − n i m Ki