当今的时代是一个信息的时代,信息处理技 术的不断进步极大的影响了我们的生活,使 我们的生活质量得到很大提高。本课程将介 绍信息科学的基础理论和基本方法,课程将 基于一个通讯系统的抽象数学模型进行展开, 课程的数学基础为概率论。整个课程可分为 基础理论和编码理论两部分组成

3.1信源及其分类 3.2离散无记忆信源的等长编码 3.3离散无记忆信源的不等长编码 3.4最佳不等长编码

信息论：是一门应用概率论、 随机过程、数理统计和近世代 数的方法，来研究广义的信息 传输、提取和处理系统中一般 规律的科学；它的主要目的是 提高信息系统的有效性和可靠 性，最优化；其主要内容（或 分支）包括：香农理论、编码 理论、维纳理论、检测和估计 理论、信号设计与估计理论、 调制理论和随机噪声理论

离散变量的非平均信息量 离散集的平均自信息量－熵 离散集的平均互信息量 信息不等式 凸函数和互信息的凸性 连续随机变量的互信息和微分熵

1.1 通信系统模型 1.2 信息论研究的中心问题及发展

1.离散信道编码问题 2.信道译码 3.Fano不等式和信道编码逆定理 4.联合典型序列及信道编码定理

• 线性分组码的定义及性质 • 码的一致校验矩阵和生成矩阵 • 码的伴随式、标准阵列及译码 • 汉明码及译码

卷积码基本概念 Convolutional Code 截断码可以看作是线性码 码的树图描述

西安电子科技大学：《信息论与编码理论基础》课程PPT教学课件（编码部分）码纠错能力的判断

西安电子科技大学：《信息论与编码理论基础》课程PPT教学课件（信息论）第九章 率失真函数