《信息论基础》教学大纲 课程编码：1512105602 课程名称：信息论基础 学时/学分：36/2 先修课程：《概率论与数理统计》、《随机过程》、《信息科学导论》 适用专业：信总与计算科学 开课教研室：信息与计算科学教研室 一、课程性质与任务 1,课程性质：本课程是信息与计算科学专业的一门专业选修课，是拟从事通信及相关 行业工作的学生所必修，为本科三年级学生所选修。 2.课程任务：通过本课程的学习，学生应熟练掌握离散（连续）条件下的嫡、条件熵、 相对熵、互信息的概念，熟练掌握有（无）失真条件下的信源（信道）编码定理和一些常用 编码并能熟练的应用它们，为今后的学习与科研打下坚实的基础。 二、课程教学基本要求 掌握信息的基本理论，理解离散信源、连续信源的有关理论，熟练掌握信息、信息熵、 条件熵、联合熵、互信息等的计算，了解通信系统的整个过程，熟练掌握基本的信源编码方 法和信道编码方法，会判定信源码、信道码的优劣。本课程主要以课堂讲授为主，在教学方 法和手段上采用现代教有技术。 成绩考核形式：期终成绩（考查）(70%)+平时成绩（平时测验、作业、课堂提问、 课堂讨论等)(30%)。成绩评定采用百分制，60分为及格。 三、课程教学内容 第一章随机变量的信息度量 1.教学基本要求 理解和掌握的定义和计算式，理解有关熵的一些基本性质，了解广义嫡及相互间的关 系。 2.要求学生掌握的基本概念、理论 通过本章学习，使学生能准确理解并掌握信息、熵、联合熵、条件熵等有关信息量的定 义及计算式，理解嫡的基本性质，了解广义熵的多种形式并了解它们之间的关系。 3.教学重点和难点 教学重点是要让学生掌握嫡的概念和性质，熟练计算熵、联合熵、条件箱、相对熵和互
《信息论基础》教学大纲 课程编码：1512105602 课程名称：信息论基础 学时/学分：36/2 先修课程：《概率论与数理统计》、《随机过程》、《信息科学导论》 适用专业：信息与计算科学 开课教研室：信息与计算科学教研室 一、课程性质与任务 1．课程性质：本课程是信息与计算科学专业的一门专业选修课，是拟从事通信及相关 行业工作的学生所必修，为本科三年级学生所选修。 2．课程任务：通过本课程的学习，学生应熟练掌握离散（连续）条件下的熵、条件熵、 相对熵、互信息的概念，熟练掌握有（无）失真条件下的信源（信道）编码定理和一些常用 编码并能熟练的应用它们，为今后的学习与科研打下坚实的基础。 二、课程教学基本要求 掌握信息的基本理论，理解离散信源、连续信源的有关理论，熟练掌握信息、信息熵、 条件熵、联合熵、互信息等的计算，了解通信系统的整个过程，熟练掌握基本的信源编码方 法和信道编码方法，会判定信源码、信道码的优劣。本课程主要以课堂讲授为主，在教学方 法和手段上采用现代教育技术。 成绩考核形式：期终成绩（考查）（70%）＋平时成绩（平时测验、作业、课堂提问、 课堂讨论等）（30％）。成绩评定采用百分制，60 分为及格。 三、课程教学内容 第一章 随机变量的信息度量 1.教学基本要求 理解和掌握的定义和计算式，理解有关熵的一些基本性质，了解广义熵及相互间的关 系。 2.要求学生掌握的基本概念、理论 通过本章学习，使学生能准确理解并掌握信息、熵、联合熵、条件熵等有关信息量的定 义及计算式，理解熵的基本性质，了解广义熵的多种形式并了解它们之间的关系。 3.教学重点和难点 教学重点是要让学生掌握熵的概念和性质，熟练计算熵、联合熵、条件熵、相对熵和互
信息，并会用熵求解一些实际问题。 4.教学内容 第一节自信息 第二节熵、联合熵、条件熵 第三节相对熵和互信息 第四节信息量的一些基本性质 第五节广义熵 第二章随机过程的信息度量和渐进等分性 1.教学基本要求 理解和掌握信源、随机过程的基本概念，掌握无记忆信源、马氏信源、平稳性、遍历性， 理解AEP性质，理解AP性质在数据压缩中的应用，了解香农-麦克米兰-布瑞曼定理。 2.要求学生掌握的基本概念、理论、原理 通过本章学习，使学生能准确掌握信源和随机过程的概念，理解随机过程的度量方式， 掌握无记忆信源、马氏信源、平稳性、遍历性，掌握常见信源熵率的概念及其求法，理解和 掌提AEP性质及其在数据压缩中的应用，掌握信源编码的正定理和反定理，了解香农-麦克 米兰-布瑞曼定理。 3.教学重点和难点 本章的教学重点是让学生理解平稳马氏信源、二阶平稳马氏信源、熵率的概念及其运算 理解渐近等分性在信源编码中的应用。难点是有关马氏信源的相关运算。 4.教学内容 第一节信源和随机过程的基本概念 第二节随机过程的信息度量 第三节渐进等分性质 第四节渐进等分性质在数据压缩中的应用信源编码定理 第五节Shannon-McMi l lan-Breiman定理 第三章 数据压缩和信源编码 1.教学基本要求 理解和掌握等长码、变长码的概念，掌握码树的构成，理解最优码字长的求法，掌握 哈夫曼码、算术码的编码方法，了解通用信源编码
信息，并会用熵求解一些实际问题。 4.教学内容 第一节 自信息 第二节 熵、联合熵、条件熵 第三节 相对熵和互信息 第四节 信息量的一些基本性质 第五节 广义熵 第二章 随机过程的信息度量和渐进等分性 1.教学基本要求 理解和掌握信源、随机过程的基本概念，掌握无记忆信源、马氏信源、平稳性、遍历性， 理解 AEP 性质，理解 AEP 性质在数据压缩中的应用，了解香农-麦克米兰-布瑞曼定理。 2.要求学生掌握的基本概念、理论、原理 通过本章学习，使学生能准确掌握信源和随机过程的概念，理解随机过程的度量方式， 掌握无记忆信源、马氏信源、平稳性、遍历性，掌握常见信源熵率的概念及其求法，理解和 掌握 AEP 性质及其在数据压缩中的应用，掌握信源编码的正定理和反定理，了解香农-麦克 米兰-布瑞曼定理。 3.教学重点和难点 本章的教学重点是让学生理解平稳马氏信源、二阶平稳马氏信源、熵率的概念及其运算， 理解渐近等分性在信源编码中的应用。难点是有关马氏信源的相关运算。 4.教学内容 第一节 信源和随机过程的基本概念 第二节 随机过程的信息度量 第三节 渐进等分性质 第四节 渐进等分性质在数据压缩中的应用-信源编码定理 第五节 Shannon-McMillan-Breiman 定理 第三章 数据压缩和信源编码 1.教学基本要求 理解和掌握等长码、变长码的概念，掌握码树的构成，理解最优码字长的求法，掌握 哈夫曼码、算术码的编码方法，了解通用信源编码
2.要求学生掌握的基本概念、理论、原理 通过本章学习，使学生能准确理解等长码、变长码的概念，会构造码树：掌握唯一可译 码的构成和特征，会求最优码长：理解和掌握哈夫曼码，能编出比较简单的二进、三进哈夫 曼码：理解和掌握算术码，会用累计分布函数和修正的累积分布函数构造码字了解L算 法、LZW算法。 3.教学重点和难点 教学重点是掌握哈夫曼码、算术码的编写方法，理解唯一可译码的特征。难点是算术码 的算法实现。 4.教学内容 第一节等长码 第二节变长编码 第三节哈夫曼(Huf fman)码 第四节算术码 4.1香农码 4.2自适应算术码 第五节通用信源编码 5.1LZN(Lempel--Ziv-Welch)算法 5.2 Kieffer-Yang算法 第四章数据可靠传输和信道编码 1.教学基本要求 理解和掌握信道、信道容量的概念，掌握简单信道的信道容量的计算，理解AP性质 在信道编码中的应用，了解信道编码的正定理、反定理。 2.要求学生掌握的基本概念、理论、原理 通过本章学习，使学生能准确理解信道、信道容量的含义，了解信道容量的计算方法， 掌握简单信道的信道容量的计算，理解信道编码理论，了解AP性质在信道编码中的应用 了解带反馈的信道，了解联合信源-信道编码，掌握线性分组码的编码方法。 3.教学重点和难点 教学重点是信道的概念，信道容量的计算，以及信道编码定理。难点是信道容量的计算 问题。 4.教学内容
2.要求学生掌握的基本概念、理论、原理 通过本章学习，使学生能准确理解等长码、变长码的概念，会构造码树；掌握唯一可译 码的构成和特征，会求最优码长；理解和掌握哈夫曼码，能编出比较简单的二进、三进哈夫 曼码；理解和掌握算术码，会用累计分布函数和修正的累积分布函数构造码字；了解 LZ 算 法、LZW 算法。 3.教学重点和难点 教学重点是掌握哈夫曼码、算术码的编写方法，理解唯一可译码的特征。难点是算术码 的算法实现。 4.教学内容 第一节 等长码 第二节 变长编码 第三节 哈夫曼（Huffman）码 第四节 算术码 4.1 香农码 4.2 自适应算术码 第五节 通用信源编码 5.1 LZW（Lempel-Ziv-Welch）算法 5.2 Kieffer-Yang 算法 第四章 数据可靠传输和信道编码 1.教学基本要求 理解和掌握信道、信道容量的概念，掌握简单信道的信道容量的计算，理解 AEP 性质 在信道编码中的应用，了解信道编码的正定理、反定理。 2.要求学生掌握的基本概念、理论、原理 通过本章学习，使学生能准确理解信道、信道容量的含义，了解信道容量的计算方法， 掌握简单信道的信道容量的计算，理解信道编码理论，了解 AEP 性质在信道编码中的应用， 了解带反馈的信道，了解联合信源-信道编码，掌握线性分组码的编码方法。 3.教学重点和难点 教学重点是信道的概念，信道容量的计算，以及信道编码定理。难点是信道容量的计算 问题。 4.教学内容
第一节离散无记忆信道和信道容量 第二节信道容量的计算 2.1拉格朗日乘子法 2.2信道容量的迭代算法 第三节信道编码理论 3.1一些定义和概念 3.2联合典型序列 3.3信道编码定理 第四节带反馈的信道模型 第五节联合信源信道编码定理 第六节线性分组码 四、学时分配 章序 内容 课时 备注 随机变量的信总度量 6 随机过程的信息度量和渐进等分 8 性 三 数据压缩和信源编码 12 四 数据可靠传输和信道编码 、0 合计 五、主用教材及参考书 (一)主用教材： 《信息论基础》主编：叶中行出版社：高等教有出版社出版或修订时间：2007 (二)参考书： 1.《信总论基础》主编：石峰出版社：武汉大学出版社 出版或修订时间：2006 年 2.《信息论基础与应用》主编：沈世镒出版社：高等教有出版社出版或修订时间：2004 3.《信息论基础》作者：陈前斌出版社：高等教有出版社出版日期：2007年
第一节 离散无记忆信道和信道容量 第二节 信道容量的计算 2.1 拉格朗日乘子法 2.2 信道容量的迭代算法 第三节 信道编码理论 3.1 一些定义和概念 3.2 联合典型序列 3.3 信道编码定理 第四节 带反馈的信道模型 第五节 联合信源-信道编码定理 第六节 线性分组码 四、学时分配 章序 内容 课时 备注 一 随机变量的信息度量 6 二 随机过程的信息度量和渐进等分 性 8 三 数据压缩和信源编码 12 四 数据可靠传输和信道编码 10 合计 36 五、主用教材及参考书 （一）主用教材： 《信息论基础》 主编：叶中行 出版社：高等教育出版社 出版或修订时间：2007 年 （二）参考书： 1.《信息论基础》 主编：石峰 出版社：武汉大学出版社 出版或修订时间：2006 年 2.《信息论基础与应用》主编：沈世镒 出版社：高等教育出版社 出版或修订时间：2004 年 3.《信息论基础》 作者:陈前斌 出版社：高等教育出版社 出版日期：2007 年
执笔：王秀旺 审定：皮磊梁桂珍
执笔：王秀旺 审定：皮磊 梁桂珍