结论 1： 有记忆信源的冗余度寓于信源符号 间的相关性中。去除它们之间的相关性， 使之成为或几乎成为不相关的信源，其 熵将增大。 结论 2： 离散无记忆信源的冗余度寓于符号 概率的非均匀分布中。改变原来信源的 概率分布，使之成为或接近等概分布的 信源，其熵将增大

1 、信源的数学模型及分类 2、信息量及其性质 3、离散信源的熵及性质 4、联合熵和条件熵 5、平均互信息量及其性质 6、扩展信源 7、离散有记忆信源的熵 8、马尔可夫信源的信息熵 9、离散信源的信息（速）率和信息含量效率 10、连续随机变量下的熵和平均互信息量

定理 3-1：对于固定信道，平均互信息 I(X;Y) 是信源概率分布 p(x)的∩型凸函 数。 定理 3-2：对于固定信源分布，平均互信息 I(X;Y)是信道传递概率 p(y|x)的∪型凸函 数。 定理 3-3：设离散信道的输入序列 X＝ (X1X2…XN)通过信道传输，接收到的随机序 列为 Y=( Y1Y2…YN)，而信道的转移概率为 p(y∣x)

2.1离散变量的非平均信息量 2.2离散集的平均自信息量一熵 2.3离散集的平均互信息量 2.4连续随机变量的互信息和熵 2.5凸函数和互信息的凸性

Chapter 1 Introduction Chapter 2 Entropy & Mutual Information (Shannon’s measure of information) Chapter 3 The Asymptotic Equipartition Property (渐进等同分割性) Chapter 4 Entropy Rates of a Stochastic Process Chapter 5 Coding for Discrete Sources Chapter 6 Channel Capacity Chapter 7 The Gaussian Channel Chapter 8 Rate Distortion Theory Chapter 9 复习

第一节 线性分组码基本概念 • 线性空间 • 线性分组码定义 • 生成矩阵 • 校验矩阵 • 对偶码、系统码和缩短码 第二节 线性分组码的译码 • 伴随式 • 汉明码 • 标准阵列 第三节 由已知码构造新码的方法 • 扩展码 • 删余码 • 增广码(增信删余码) • 增余删信码 • 延长码 第四节 线性码的纠错能力 • 码的重量分布 • 普洛特金限(P限) • 汉明限 • V-G限

1.1 信息的概念 1.2 信息论的主要研究内容 1.3 信息论的发展历程

第一节信息的概念 第二节信息论研究的对象、目的和内容 第三节信息论的发展简史与现状

曲阜师范大学：电子信息工程专业《信息论编码》课程教学大纲