当今的时代是一个信息的时代,信息处理技 术的不断进步极大的影响了我们的生活,使 我们的生活质量得到很大提高。本课程将介 绍信息科学的基础理论和基本方法,课程将 基于一个通讯系统的抽象数学模型进行展开, 课程的数学基础为概率论。整个课程可分为 基础理论和编码理论两部分组成

《信息理论与编码》课程教学课件（讲稿）第4章 离散无记忆信源无失真编码 4.5 变长编码方法 4.5.2 费诺（Fano）编码 4.5.3 香农编码

《信息理论与编码》课程教学课件（讲稿）第4章 离散无记忆信源无失真编码 4.3 定长编码定理和定长编码方法 4.4 变长编码定理（香农第一定理）

离散变量的非平均信息量 离散集的平均自信息量－熵 离散集的平均互信息量 信息不等式 凸函数和互信息的凸性 连续随机变量的互信息和微分熵

《信息理论与编码》课程教学课件（讲稿）第4章 离散无记忆信源无失真编码 4.5 变长编码方法 4.5.1 霍夫曼编码

3.1信源及其分类 3.2离散无记忆信源的等长编码 3.3离散无记忆信源的不等长编码 3.4最佳不等长编码

1.1 通信系统模型 1.2 信息论研究的中心问题及发展

信息论：是一门应用概率论、 随机过程、数理统计和近世代 数的方法，来研究广义的信息 传输、提取和处理系统中一般 规律的科学；它的主要目的是 提高信息系统的有效性和可靠 性，最优化；其主要内容（或 分支）包括：香农理论、编码 理论、维纳理论、检测和估计 理论、信号设计与估计理论、 调制理论和随机噪声理论

1.离散信道编码问题 2.信道译码 3.Fano不等式和信道编码逆定理 4.联合典型序列及信道编码定理

《信息理论与编码》课程教学资源（拓展资料）信息理论与编码英文术语词汇表