《信息论与编码》课程教学大纲 一、课程基本信息 课程代码：16052603 课程名称：信息论与编码 英文名称：Information Theory and Coding 课程类别：专业课 时：48 学 分分：3 适用对象：信息与计算科学 考核方式：考试 先修课程：数学分析、高等代数、概率论 二、课程简介 《信息论与编码》是信息科学类专业本科生必修的专业理论课程。通过本课程的学习，学生 将了解和掌握信息度量和信道容量的基本概念、信源和信道特性、编码理论等，为以后深入学习 信息与通信类课程、为将来从事信息处理方面的实际工作打下基础。 本课程的主要内容包括：信总的度量、信源和信源痛、信道及信道容量、无失真信源编码 有噪信道编码等。 Information Theory and Coding is a compulsory professional theory course for undergraduates in information science.Through this course.students will understand and master the basic concepts of information measurement and channel capacity,source and channel characteristics,coding theory,etc.,lay the foundation for the future in-depth study of information and communication courses,for the future to engage in information processing in the actual work. The main contents of this course include:information measurement,source and source entropy,channel and channel capacity,distortion-free source coding,noisy channel coding, etc- 三、课程性质与教学目的 本课程是信息与计算科学专业本科生的专业必修课。通过本课程的教学，使学生 初步掌握信息论与编码的基本概念和方法，理论联系实际，为在当前信息时代中进一 步学习各种通信技术打下基础：培养学生严谨求实的学风：加深对基础理论在现代科 技中的作用的认识。 四、教学内容及要求 第一章绪论
1 《信息论与编码》课程教学大纲 一、课程基本信息 课程代码：16052603 课程名称：信息论与编码 英文名称：Information Theory and Coding 课程类别：专业课 学 时：48 学 分：3 适用对象:信息与计算科学 考核方式：考试 先修课程：数学分析、高等代数、概率论 二、课程简介 《信息论与编码》是信息科学类专业本科生必修的专业理论课程。通过本课程的学习，学生 将了解和掌握信息度量和信道容量的基本概念、信源和信道特性、编码理论等，为以后深入学习 信息与通信类课程、为将来从事信息处理方面的实际工作打下基础。 本课程的主要内容包括：信息的度量、信源和信源熵、信道及信道容量、无失真信源编码、 有噪信道编码等。 Information Theory and Coding is a compulsory professional theory course for undergraduates in information science. Through this course, students will understand and master the basic concepts of information measurement and channel capacity, source and channel characteristics, coding theory, etc., lay the foundation for the future in-depth study of information and communication courses, for the future to engage in information processing in the actual work. The main contents of this course include: information measurement, source and source entropy, channel and channel capacity, distortion-free source coding, noisy channel coding, etc。 三、课程性质与教学目的 本课程是信息与计算科学专业本科生的专业必修课。通过本课程的教学，使学生 初步掌握信息论与编码的基本概念和方法，理论联系实际，为在当前信息时代中进一 步学习各种通信技术打下基础；培养学生严谨求实的学风；加深对基础理论在现代科 技中的作用的认识。 四、教学内容及要求 第一章 绪论
(一)目的与要求 1.了解信息的概念 2.介绍信息论的研究对象、目的和内容 (二)教学内容 第一节信息的概念 1.主要内容 信息论的创立、消息和信息的区别、信息的度量、香农信息定义、信 源熵等的初步概念。 2.基本概念和知识点 信息、自信息、信息熵 3.问题与应用（能力要求） 通过了解信息论的创立，讨论数学对于信息时代的重要性，现代科技 中隐藏的数学技术。 第二节信息论的研究对象、目的和内容 1.主要内容 介绍通信系统模型以及它的5个部分、举几个信息论研究的问题、介 绍几个成功应用信息论的案例，使学生认识到基础科学特别是数学对 于当今信息时代很重要，激发学生学习的热情。 2.基本概念和知识点 通信系统模型、信源、编码器、信道、译码器、新宿、香农信息论三 大定理 3.问题与应用（能力要求） 让学生收集信息论在通信中成功应用的案例。 (三)思考与实践 信号、消息、信息三者的关系；随机性与信息量的关系 (四)教学方法与手段 课堂讲授结合多媒体教学 第二章信息的度量 (一)目的与要求 1.理解自信息、互信息、平均自信息、平均互信息的定义 2.掌握各种信息度量方式的关系 (二)教学内容 第一节自信息和互信息 1.主要内容
2 （一）目的与要求 1．了解信息的概念 2．介绍信息论的研究对象、目的和内容 （二）教学内容 第一节 信息的概念 1．主要内容 信息论的创立、消息和信息的区别、信息的度量、香农信息定义、信 源熵等的初步概念。 2．基本概念和知识点 信息、自信息、信息熵 3．问题与应用（能力要求） 通过了解信息论的创立，讨论数学对于信息时代的重要性，现代科技 中隐藏的数学技术。 第二节 信息论的研究对象、目的和内容 1．主要内容 介绍通信系统模型以及它的 5 个部分、举几个信息论研究的问题、介 绍几个成功应用信息论的案例，使学生认识到基础科学特别是数学对 于当今信息时代很重要，激发学生学习的热情。 2．基本概念和知识点 通信系统模型、信源、编码器、信道、译码器、新宿、香农信息论三 大定理 3．问题与应用（能力要求） 让学生收集信息论在通信中成功应用的案例。 （三）思考与实践 信号、消息、信息三者的关系；随机性与信息量的关系 （四）教学方法与手段 课堂讲授结合多媒体教学 第二章 信息的度量 （一）目的与要求 1.理解自信息、互信息、平均自信息、平均互信息的定义 2.掌握各种信息度量方式的关系 （二）教学内容 第一节 自信息和互信息 1.主要内容
自信息的公理化条件、自信息的数学定义和实际含义、互信息的定义和 实际含义 2.基本概念和知识点 自信息量、条件自信息、互信息 3.问题与应用（能力要求） 从公理化条件引出自信息量的定义，让学生感受到数学看似抽象， 但也是有本之木，领略逻辑思维的美 第二节平均自信息 1.主要内容 平均自信息的概念、熵函数的性质、联合熵与条件熵 2.基本概念和知识点 信息熵的定义、熵函数的8条性质、联合熵和条件熵的定义、计算公 式，熵函数的链规则 3.问题与应用（能力要求） 思考熵的物理含义和信息论中的含义 第三节平均互信息 1.主要内容 平均互信息的概念、性质，数据处理定理 2.基本概念和知识点 平均互信息的定义、计算公式，平均互信息的5条性质，数据处理定理 的实际含义 3.问题与应用（能力要求） 从数据处理定理我们可以体会实践出真知这个道理 (三)思考与实践 信息熵、联合熵、条件熵的关系 (四)教学方法与手段 课堂讲授结合多媒体教学 第三章信源及信源熵 (一)目的与要求 1.理解信源的数学建模问题 2.理解怎样定量描述信源输出信息的能力 (二)教学内容 第一节信源的分类及其数学模型 1.主要内容 3
3 自信息的公理化条件、自信息的数学定义和实际含义、互信息的定义和 实际含义 2.基本概念和知识点 自信息量、条件自信息、互信息 3.问题与应用（能力要求） 从公理化条件引出自信息量的定义，让学生感受到数学看似抽象， 但也是有本之木，领略逻辑思维的美 第二节 平均自信息 1.主要内容 平均自信息的概念、熵函数的性质、联合熵与条件熵 2.基本概念和知识点 信息熵的定义、熵函数的 8 条性质、联合熵和条件熵的定义、计算公 式，熵函数的链规则 3.问题与应用（能力要求） 思考熵的物理含义和信息论中的含义 第三节 平均互信息 1.主要内容 平均互信息的概念、性质，数据处理定理 2.基本概念和知识点 平均互信息的定义、计算公式，平均互信息的 5 条性质，数据处理定理 的实际含义 3.问题与应用（能力要求） 从数据处理定理我们可以体会实践出真知这个道理 （三）思考与实践 信息熵、联合熵、条件熵的关系 （四）教学方法与手段 课堂讲授结合多媒体教学 第三章 信源及信源熵 （一）目的与要求 1.理解信源的数学建模问题 2.理解怎样定量描述信源输出信息的能力 （二）教学内容 第一节 信源的分类及其数学模型 1.主要内容
信源的几种分类方式及数学描述 2.基本概念和知识点 信源分类表 3.问题与应用（能力要求 无 第二节离散单符号信源 1.主要内容 离散单符号信源的数学表示、信息熵 2.基本概念和知识点 离散单符号信源的定义、概率空间 3.问题与应用（能力要求） 离散单符号信源与随机变量的关系 第三节离散多符号信源 1.主要内容 离散多符号信源的数学表达，离散平稳信源的严格数学定义，熵率，离散 平稳无记忆信源，离散平稳有记忆信源，马尔可夫信源，信源的相关性 和剩余度 2.基本概念和知识点 离散多符号信源的表示，离散平稳信源的定义及性质，熵率的定义，离 散平稳无记忆信源的数学表达，熵函数的链规则，定理3.1，熵率的两种 计算公式，m阶马尔科夫信源，信源剩余度的计算 3.问题与应用（能力要求） 通过信源剩余度的概念初步理解信息压缩的原理 (三)思考与实践 熵率与信息压缩的关系 (四)教学方法与手段 课堂讲授结合多媒体教学 第四章信道及信道容量 (一)目的与要求 1.理解信道的数学模型 2.理解信道容量的定义，并会计算简单信道的容量 (二)教学内容 第一节信道的分类 1.主要内容
4 信源的几种分类方式及数学描述 2.基本概念和知识点 信源分类表 3.问题与应用（能力要求） 无 第二节 离散单符号信源 1.主要内容 离散单符号信源的数学表示、信息熵 2.基本概念和知识点 离散单符号信源的定义、概率空间 3.问题与应用（能力要求） 离散单符号信源与随机变量的关系 第三节 离散多符号信源 1.主要内容 离散多符号信源的数学表达，离散平稳信源的严格数学定义，熵率,离散 平稳无记忆信源，离散平稳有记忆信源，马尔可夫信源，信源的相关性 和剩余度 2.基本概念和知识点 离散多符号信源的表示，离散平稳信源的定义及性质，熵率的定义，离 散平稳无记忆信源的数学表达，熵函数的链规则，定理 3.1，熵率的两种 计算公式，m 阶马尔科夫信源，信源剩余度的计算 3.问题与应用（能力要求） 通过信源剩余度的概念初步理解信息压缩的原理 （三）思考与实践 熵率与信息压缩的关系 （四）教学方法与手段 课堂讲授结合多媒体教学 第四章 信道及信道容量 （一）目的与要求 1.理解信道的数学模型 2.理解信道容量的定义，并会计算简单信道的容量 （二）教学内容 第一节 信道的分类 1.主要内容
信道的数学模型和几种分类方法 2.基本概念和知识点 信道模型的三元组、信道的不同分类方式 3.问题与应用（能力要求） 无 第二节离散单符号信道及其信道容量 1.主要内容 离散单符号信道的数学模型，二元对称信道，信道矩阵，输入输出分 布与信道矩阵的关系，信道容量的定义，几种特殊信道的信道容量计 算，离散对称信道的信道容量，一般离散信道的信道容量，信道容量 定理 2.基本概念和知识点 信道矩阵，信道疑义度，信息传输率，信道容量，定理4.1，一般离 散信道的信道容量计算思想，定理4.3 3.问题与应用（能力要求） 信道容量与输入分布和信道矩阵的关系 (三)思考与实践 为什么说信道容量是由信道的统计特性决定的？ (四)教学方法与手段 课堂讲授结合多媒体教学 第五章无失真信源编码 (一)目的与要求 1.掌握信源编码的数学模型 2.理解各种类型的码以及判别方法 3掌握定长信源编码定理及应用 4.理解变长信源编码的两个不等式以及应用 (二)教学内容 第一节信源编码的相关概念 1.主要内容 信源编码的数学模型，N次扩展码 2.基本概念和知识点 信源符号集，码符号集，码，码长，扩展码，码的分类，树图 3.问题与应用（能力要求） 5
5 信道的数学模型和几种分类方法 2.基本概念和知识点 信道模型的三元组、信道的不同分类方式 3.问题与应用（能力要求） 无 第二节 离散单符号信道及其信道容量 1.主要内容 离散单符号信道的数学模型，二元对称信道，信道矩阵，输入输出分 布与信道矩阵的关系，信道容量的定义，几种特殊信道的信道容量计 算，离散对称信道的信道容量，一般离散信道的信道容量，信道容量 定理 2.基本概念和知识点 信道矩阵，信道疑义度，信息传输率，信道容量，定理 4.1，一般离 散信道的信道容量计算思想，定理 4.3 3.问题与应用（能力要求） 信道容量与输入分布和信道矩阵的关系 （三）思考与实践 为什么说信道容量是由信道的统计特性决定的？ （四）教学方法与手段 课堂讲授结合多媒体教学 第五章 无失真信源编码 （一）目的与要求 1.掌握信源编码的数学模型 2.理解各种类型的码以及判别方法 3.掌握定长信源编码定理及应用 4.理解变长信源编码的两个不等式以及应用 （二）教学内容 第一节 信源编码的相关概念 1.主要内容 信源编码的数学模型，N 次扩展码 2.基本概念和知识点 信源符号集，码符号集，码，码长，扩展码，码的分类，树图， 3.问题与应用（能力要求）
应用树图构造即时码 第二节定长码及定长信源编码定理 1.主要内容 唯一可译定长码存在的必要条件，提高定长码传输效率的方法，码符号长 度的理论下限，给定条件下信源序列长度的下限 2.基本概念和知识点 唯一可译定长码存在的条件，定长信源编码定理，信源序列最短长度的计 算公式 3.问题与应用（能力要求） 要实现几乎无失真的定长编码，信源序列长度最小要达到多少？ 第三节变长码及变长信源编码定理 1.主要内容 即时码和唯一可译码存在的充要条件，唯一可译码的判别准则 2.基本概念和知识点 Kraft不等式和McMillan不等式，唯一可译码的判别准则 3.问题与应用（能力要求） 应用两个不等式判别是否存在即时码和唯一可译码 (三)思考与实践 为什么定长码的传输效率很低？ (四)教学方法与手段 课堂讲授结合多媒体教学 五、各教学环节学时分配 教学环节 学 少 其他 敦学时数 实验 实习 课 环节 计 课程内容 第一章 第二章 12 第三章 12 第四章 10 第五章 10 12 6
6 应用树图构造即时码 第二节 定长码及定长信源编码定理 1.主要内容 唯一可译定长码存在的必要条件，提高定长码传输效率的方法，码符号长 度的理论下限，给定条件下信源序列长度的下限 2.基本概念和知识点 唯一可译定长码存在的条件，定长信源编码定理，信源序列最短长度的计 算公式 3.问题与应用（能力要求） 要实现几乎无失真的定长编码，信源序列长度最小要达到多少？ 第三节 变长码及变长信源编码定理 1.主要内容 即时码和唯一可译码存在的充要条件，唯一可译码的判别准则 2.基本概念和知识点 Kraft 不等式和 McMillan 不等式，唯一可译码的判别准则 3.问题与应用（能力要求） 应用两个不等式判别是否存在即时码和唯一可译码 （三）思考与实践 为什么定长码的传输效率很低？ （四）教学方法与手段 课堂讲授结合多媒体教学 五、各教学环节学时分配 教学环节 教学时数 课程内容 讲 课 习 题 课 讨 论 课 实验 实习 其他 教学 环节 小 计 第一章 2 2 第二章 10 2 12 第三章 10 2 12 第四章 8 2 10 第五章 10 2 12
合计 408 48 六、课程考核 (一)考核方式：闭卷考试 (二)成绩构成 平时成绩占比：30-40% 期末考试占比：60-70% (三)成绩考核标准 闭卷考试，满分100分，总成绩60分以上为及格。 七、推荐教材和教学参考资源 1.李梅、李亦农，信息论基础教程（第2版），北京邮电大学出版社，2014年 2.Thomas M.Cover,.JoyA.Thomas,信息论基础(Elements of Information Theory.. 英文影印版)，清华大学出版社，2003年 八、其他说明 无 大纲修订人：张字山 修订日期：2020-12-23 大纲审定人： 审定日期：
7 合计 40 8 48 六、课程考核 （一）考核方式：闭卷考试 （二）成绩构成 平时成绩占比：30-40% 期末考试占比：60-70% （三）成绩考核标准 闭卷考试，满分 100 分，总成绩 60 分以上为及格。 七、推荐教材和教学参考资源 1.李梅、李亦农，信息论基础教程（第 2 版），北京邮电大学出版社，2014 年 2. Thomas M.Cover,Joy A.Thomas，信息论基础（Elements of Information Theory, 英文影印版）,清华大学出版社，2003 年 八、其他说明 无 大纲修订人：张宇山 修订日期：2020-12-23 大纲审定人： 审定日期：