《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 2.8 离散有记忆信源的熵 2.9 马尔可夫信源的信息熵

结论 1： 有记忆信源的冗余度寓于信源符号 间的相关性中。去除它们之间的相关性， 使之成为或几乎成为不相关的信源，其 熵将增大。 结论 2： 离散无记忆信源的冗余度寓于符号 概率的非均匀分布中。改变原来信源的 概率分布，使之成为或接近等概分布的 信源，其熵将增大

4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算

1 、信源的数学模型及分类 2、信息量及其性质 3、离散信源的熵及性质 4、联合熵和条件熵 5、平均互信息量及其性质 6、扩展信源 7、离散有记忆信源的熵 8、马尔可夫信源的信息熵 9、离散信源的信息（速）率和信息含量效率 10、连续随机变量下的熵和平均互信息量

3.1信源及其分类 3.2离散无记忆信源的等长编码 3.3离散无记忆信源的不等长编码 3.4最佳不等长编码

3.1信源及其分类 3.2离散无记忆信源的等长编码 3.3离散无记忆信源的不等长编码 3.4最佳不等长编码

第一节波形信源的统计特性和离散化 第二节连续信源和信源的信息测度 第三节具有最大熵的连续信源 第四节连续信道和波形信道的分类 第五节连续信道和波形信道的信息传输率 第六节连续信道和波形信道的信道容量 第七节连续信道编码定理

信源及其分类 信源就是信息的来源 在一个固定的时刻,信源发出的是一个随机变量。 随着时间的延续,信源发出的是一个随机过程

第一节波形信源的统计特性和离散化 第二节连续信源和信源的信息测度 第三节具有最大熵的连续信源 第四节连续信道和波形信道的分类 笫五节连续信道和波形信道的信息传输率 笫六节连续信道和波形信道的信道容量 第七节连续信道编码定理

4.1 概述 4.2 语音信号的特征 4.3 语音编码 4.4 图像信号的特征 4.5 图像压缩编码 4.6 数据信号编码