 2.1 信源的数学模型及分类  2.2 离散信源的信息熵  2.3 信息熵的基本性质和定理  2.4 离散无记忆的扩展信源  2.5 离散平稳信源  2.6 马尔可夫信源  2.7 信源剩余度与自然语言的熵

一、连续信源的熵和互信息 二、信息率失真理论 三、标量量化编码 四、矢量量化编码 五、语音压缩编码 六、图象压缩编码

西安电子科技大学：《数字通信理论与系统》课程教学课件（研究生）第3章 通信信源与信源编码

一、 设离散无记忆信源 二进制香农码的编码步骤如下：

第一节失真度和平均失真度 第二节信息率失真函数及其性质 第三节二元信源和离散对称信源的R(D)函数 第四节保真度准则下的信源编码定理 第五节联合有失真信源信道编码定理 第六节有失真信源编码定理的实用意义

《信息论与编码》课程教学课件（作业习题）第二章 信源及信源熵（所有习题）参考答案

结论 1： 有记忆信源的冗余度寓于信源符号 间的相关性中。去除它们之间的相关性， 使之成为或几乎成为不相关的信源，其 熵将增大。 结论 2： 离散无记忆信源的冗余度寓于符号 概率的非均匀分布中。改变原来信源的 概率分布，使之成为或接近等概分布的 信源，其熵将增大

4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算

1 、信源的数学模型及分类 2、信息量及其性质 3、离散信源的熵及性质 4、联合熵和条件熵 5、平均互信息量及其性质 6、扩展信源 7、离散有记忆信源的熵 8、马尔可夫信源的信息熵 9、离散信源的信息（速）率和信息含量效率 10、连续随机变量下的熵和平均互信息量

3.1信源及其分类 3.2离散无记忆信源的等长编码 3.3离散无记忆信源的不等长编码 3.4最佳不等长编码