《信息论专题》课程教学大纲 一、课程基本信息 课程代码：16206802 课程名称：信息论专题 英文名称：Information Theory Semina 课程类别：公共课 时：32 学 分.2 适用对象：各学科门类各专业本科生 考核方式：考察 先修课程：微积分，概率论与数理统计 二、课程简介 课程主要讲授对信息现象的科学理解。基于自然界、技术和社会里信息 过程的透彻分析，综合己有各学科研究方向，阐释信息论的发展如何为信息 技术、信息科学、计算机科学、大数据、人工智能、心理学、语言学、社会 科学和教育学等学科拓展创新空间。 三、课程性质与教学目的 通过介绍信息如何联系知识和数据，如何用数学结构对信息建模，以及 这些模型如何用于更好地理解计算机和互联网、认知和教育、通信和计算， 为信息研究已有方向提供一个统一的背景，解释信息、数据和知识之间的联 系：介绍不同的数学模型与信息过程的关系。 四、教学内容及要求 第一章绪论 (一)目的与要求 1.了解信息论的发展背景和重要性。 2.掌握信息论的基本概念和特点，掌握信息论的特点，掌握信息论的组 成体系，掌握信息论的目标和主要科学研究方法。 3.了解信息论的诞生及发展历史、现状和趋势。 (二)教学内容 第一节信息的概念 1.主要内容：①信息的基本概念：②信息传输系统模型和性能指标： ③信息论的研究范畴。 2.基本概念和知识点：信息、消息、信号、概率信息
1 《信息论专题》课程教学大纲 一、课程基本信息 课程代码：16206802 课程名称：信息论专题 英文名称：Information Theory Seminar 课程类别：公共课 学 时：32 学 分：2 适用对象: 各学科门类各专业本科生 考核方式：考察 先修课程：微积分，概率论与数理统计 二、课程简介 课程主要讲授对信息现象的科学理解。基于自然界、技术和社会里信息 过程的透彻分析，综合已有各学科研究方向，阐释信息论的发展如何为信息 技术、信息科学、计算机科学、大数据、人工智能、心理学、语言学、社会 科学和教育学等学科拓展创新空间。 三、课程性质与教学目的 通过介绍信息如何联系知识和数据，如何用数学结构对信息建模，以及 这些模型如何用于更好地理解计算机和互联网、认知和教育、通信和计算， 为信息研究已有方向提供一个统一的背景，解释信息、数据和知识之间的联 系；介绍不同的数学模型与信息过程的关系。 四、教学内容及要求 第一章 绪论 （一）目的与要求 1.了解信息论的发展背景和重要性。 2.掌握信息论的基本概念和特点，掌握信息论的特点，掌握信息论的组 成体系，掌握信息论的目标和主要科学研究方法。 3.了解信息论的诞生及发展历史、现状和趋势。 （二）教学内容 第一节 信息的概念 1．主要内容：①信息的基本概念；②信息传输系统模型和性能指标； ③信息论的研究范畴。 2．基本概念和知识点：信息、消息、信号、概率信息
3.问题与应用（能力要求）：掌握信息的产生与发展历史，掌握信息 论的组成体系 第二节信息论研究的对象、目的和内容 1.主要内容：①信息论研究的对象：②信息论的研究目的：③与实 际通信系统相联系，理解信息论的研究内容。 2.基本概念和知识点：信息传输系统模型、信息度量基本概念的建 立 3.问题与应用（能力要求）：掌握信息论的组成体系。 第三节信息传输系统模型基本概念 1.主要内容：①信息传输系统模型的概念：②信息传输系统模型的 基本结构：③与实际通信系统相联系，理解信息传输系统模型： ④介绍我国信息化发展历程以及当前面临的国际竞争环境：⑤党 和政府为建设小康社会，实现人民美好生活需求，在信息化建设 上做出的巨大努力。 2。基本概念和知识点：信息传输系统模型基本概念的建立、基本结 构的了解。 3.问题与应用（能力要求）：掌握通信系统的模型的产生和演化过程。 (三)思考与实践 1.信息理论包含哪些基本问题 2.阐述信息理论的产生背景和发展历史。 3.通信系统包含哪些基本模型？ (四)教学方法与手段 本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习 讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过 案例分析、习题讲解等加强学生的记忆和理解。 第二章信息的度量 (一)目的与要求 1.理解信息熵和平均互信息的物理意义： 2.了解信息不增性原理： 3.掌握最大熵定理 4.通过给定信源的模型，能够计算其信息熵。 (二)教学内容 第一节信源模型 1,主要内容：①实际信源、信源模型的建立：②信源的分类方法。 2
2 3．问题与应用（能力要求）：掌握信息的产生与发展历史，掌握信息 论的组成体系。 第二节 信息论研究的对象、目的和内容 1．主要内容：①信息论研究的对象；②信息论的研究目的；③与实 际通信系统相联系，理解信息论的研究内容。 2．基本概念和知识点：信息传输系统模型、信息度量基本概念的建 立。 3．问题与应用（能力要求）：掌握信息论的组成体系。 第三节 信息传输系统模型基本概念 1．主要内容：①信息传输系统模型的概念；②信息传输系统模型的 基本结构；③与实际通信系统相联系，理解信息传输系统模型； ④介绍我国信息化发展历程以及当前面临的国际竞争环境；⑤党 和政府为建设小康社会，实现人民美好生活需求，在信息化建设 上做出的巨大努力。 2．基本概念和知识点：信息传输系统模型基本概念的建立、基本结 构的了解。 3．问题与应用（能力要求）：掌握通信系统的模型的产生和演化过程。 （三）思考与实践 1．信息理论包含哪些基本问题？ 2．阐述信息理论的产生背景和发展历史。 3．通信系统包含哪些基本模型？ （四）教学方法与手段 本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习、 讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过 案例分析、习题讲解等加强学生的记忆和理解。 第二章 信息的度量 （一）目的与要求 1.理解信息熵和平均互信息的物理意义； 2.了解信息不增性原理； 3.掌握最大熵定理； 4.通过给定信源的模型，能够计算其信息熵。 （二）教学内容 第一节 信源模型 1．主要内容：①实际信源、信源模型的建立；②信源的分类方法
2.基本概念和知识点：信源、信源模型、信源模型分类。 3.问题与应用（能力要求）：掌握信源的数学模型：了解不同信源分 类方法及各类信源： 第二节信息的描述 1.主要内容：①离散无记忆信源：②非理想观察模型。 2.基本概念和知识点：离散无记忆信源、非理想观察模型、不确定 性。 3.问题与应用（能力要求）：掌握离散无记忆信源的数学模型，熟悉 非理想观察模型中各类不确及信息的概念。 第三节不确定性与信息 1,主要内容：①自信息量：②联合自信息量与条件自信息量：③自 信息量的性质：④互信息量及其性质。 2.基本概念和知识点：联合自信息量、条件自信息量、互信息量 3.问题与应用（能力要求）：掌握自信息量的计算方法：了解自信息 量单位的物理意义：了解在非理想观察模型中各种自信息量的物 理含义：了解可加性的物理解释：了解互信息量与各类自信息量 间的关系和物理意义。 第四节离散随机变量的（统计）平均不确定性一一离散熵 L.主要内容：①离散熵：②离散熵的性质：③联合熵和条件熵 2.基本概念和知识点：离散熵、离散熵的物理意义、联合熵、条件 熵。 3.问题与应用（能力要求）：掌握各种实际信源离散熵的计算：理解 离散熵的物理含义：了解熵的各个性质的推导过程：利用熵的性 质解释实际信源的各种特点：了解熵的各个性质的推导过程：熟 悉信息论不等式、香农不等式，并能利用其进行各种不等式证明： 掌握联合熵、条件熵的计算：理解各种熵的物理意义。 第五节平均互信息量及其性质 1,主要内容：①平均互信息量的概念：②平均互信息量的性质。 2.基本概念和知识点：平均互信息量、平均互信息量的物理意义、 平均互信息量与各类熵之间的关系。 3.问题与应用（能力要求）：理解平均互信息量的各条性质的推导： 灵活坛用平均石信息量与高之间的关系，计算分析各种实际应用 题目的平均互信息量。 第六节离散无记忆信源的扩展 I.主要内容：①N次扩展信源的概率空间：②次扩展信源的熵
3 2．基本概念和知识点：信源、信源模型、信源模型分类。 3．问题与应用（能力要求）：掌握信源的数学模型；了解不同信源分 类方法及各类信源。 第二节 信息的描述 1．主要内容：①离散无记忆信源；②非理想观察模型。 2．基本概念和知识点：离散无记忆信源、非理想观察模型、不确定 性。 3．问题与应用（能力要求）：掌握离散无记忆信源的数学模型，熟悉 非理想观察模型中各类不确定及信息的概念。 第三节 不确定性与信息 1．主要内容：①自信息量；②联合自信息量与条件自信息量；③自 信息量的性质；④互信息量及其性质。 2．基本概念和知识点：联合自信息量、条件自信息量、互信息量。 3．问题与应用（能力要求）：掌握自信息量的计算方法；了解自信息 量单位的物理意义；了解在非理想观察模型中各种自信息量的物 理含义；了解可加性的物理解释；了解互信息量与各类自信息量 间的关系和物理意义。 第四节 离散随机变量的（统计）平均不确定性——离散熵 1．主要内容：①离散熵；②离散熵的性质；③联合熵和条件熵。 2．基本概念和知识点：离散熵、离散熵的物理意义、联合熵、条件 熵。 3．问题与应用（能力要求）：掌握各种实际信源离散熵的计算；理解 离散熵的物理含义；了解熵的各个性质的推导过程；利用熵的性 质解释实际信源的各种特点；了解熵的各个性质的推导过程；熟 悉信息论不等式、香农不等式，并能利用其进行各种不等式证明； 掌握联合熵、条件熵的计算；理解各种熵的物理意义。 第五节 平均互信息量及其性质 1．主要内容：①平均互信息量的概念；②平均互信息量的性质。 2．基本概念和知识点：平均互信息量、平均互信息量的物理意义、 平均互信息量与各类熵之间的关系。 3．问题与应用（能力要求）：理解平均互信息量的各条性质的推导； 灵活运用平均互信息量与熵之间的关系，计算分析各种实际应用 题目的平均互信息量。 第六节 离散无记忆信源的扩展 1．主要内容：①N 次扩展信源的概率空间；②N 次扩展信源的熵
2.基本概念和知识点：N次扩展信源。 3.问题与应用（能力要求）：扩展信源与单符号信源的关系，能够利 用单符号信源推导DMS扩展信源的概率空间及嫡。 第七节离散平稳信源的熵 1.主要内容：①离散嫡：②离散熵的性质：③联合熵和条件熵。 2.基本概念和知识点：离散熵、离散熵的物理意义、联合熵、条件 熵 3.问题与应用（能力要求）：掌握各种实际信源离散熵的计算：理解 离散熵的物理含义：了解熵的各个性质的推导过程：利用熵的性 质解释实际信源的各种特点：了解熵的各个性质的推导过程：热 悉信息论不等式、香农不等式，并能利用其讲行各种不第式证明： 掌握联合熵、条件熵的计算；理解各种熵的物理意义。 第八节连续信源的熵 1.主要内容：①连续信源的联合熵、条件熵和平均互信息：②连续 信源的熵：③连续信源的熵功率。 2.基本概念和知识点：连续信源的概率空间、嫡功率、连续信源剩 余度。 3.问题与应用（能力要求）：了解连续信源的联合熵、微分熵和平均 互信息的定义及相互关系：了解均值受限的连续随机变量的微分 熵极大化：了解功率受限的连续随机变量的微分熵极大化：运用 微分熵的极大化特性解释实际信源与噪声的最优选择问题。 (三)思考与实践 1.结合自信息量的定义式，解释不确定性、可能性、概率直接的关 系 2.讨论自信息量、联合自信息量、条件自信息量单位的有何不同， 并解释原因。可举例说明。 3. 如果消息长度为无穷大时，如何计算消息中的平均每个符号的自 信息量？ 4.抛一枚硬币和抛一个骰子，“判断硬币正面朝上”和“判断骰子6 点朝上”这两个事件中，哪一个更为困难？为什么？试用信息理 论加以解释。 5.从微分熵的极大化的角度，讨论实际信源采用什么信号发送最为 有利？ (四)教学方法与手段 本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习
4 2．基本概念和知识点：N 次扩展信源。 3．问题与应用（能力要求）：扩展信源与单符号信源的关系，能够利 用单符号信源推导 DMS 扩展信源的概率空间及熵。 第七节 离散平稳信源的熵 1．主要内容：①离散熵；②离散熵的性质；③联合熵和条件熵。 2．基本概念和知识点：离散熵、离散熵的物理意义、联合熵、条件 熵。 3．问题与应用（能力要求）：掌握各种实际信源离散熵的计算；理解 离散熵的物理含义；了解熵的各个性质的推导过程；利用熵的性 质解释实际信源的各种特点；了解熵的各个性质的推导过程；熟 悉信息论不等式、香农不等式，并能利用其进行各种不等式证明； 掌握联合熵、条件熵的计算；理解各种熵的物理意义。 第八节 连续信源的熵 1．主要内容：①连续信源的联合熵、条件熵和平均互信息；②连续 信源的熵；③连续信源的熵功率。 2．基本概念和知识点：连续信源的概率空间、熵功率、连续信源剩 余度。 3．问题与应用（能力要求）：了解连续信源的联合熵、微分熵和平均 互信息的定义及相互关系；了解均值受限的连续随机变量的微分 熵极大化；了解功率受限的连续随机变量的微分熵极大化；运用 微分熵的极大化特性解释实际信源与噪声的最优选择问题。 （三）思考与实践 1．结合自信息量的定义式，解释不确定性、可能性、概率直接的关 系。 2．讨论自信息量、联合自信息量、条件自信息量单位的有何不同， 并解释原因。可举例说明。 3．如果消息长度为无穷大时，如何计算消息中的平均每个符号的自 信息量？ 4．抛一枚硬币和抛一个骰子，“判断硬币正面朝上”和“判断骰子 6 点朝上”这两个事件中，哪一个更为困难？为什么？试用信息理 论加以解释。 5．从微分熵的极大化的角度，讨论实际信源采用什么信号发送最为 有利？ （四）教学方法与手段 本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习
讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过 案例分析、习题讲解等加强学生的记忆和理解。 第三章信道模型和信道容量 (一)目的与要求 1.了解信道的分类： 2.能根据信道的数学模型与已知的信源，计算平均互信息量、噪音熵、 疑义度和联合熵： 3.理解信道容量及其理论堪 4.能根据信道的对称性，计算离散对称信道的信道容量。 (一)教学内容 第一节信道模型与分类 1.主要内容：①信道模型：②信道分类方法与类别。 2.基本概念和知识点：信道、信道模型、信道模型分类。 3.问题与应用（能力要求）：掌握信道的数学模型：了解不同信道分 类方法及各类信道。 第二节离散无记忆信道的数学模型 1.主要内容：①离散无记忆信道：②离散无记忆信道的三种描述方 法。 2.基本概念和知识点：离散无记忆信源、转移概率集合、转移概率 矩阵、信道线图。 3.问题与应用（能力要求）：会用转移概率集合、转移概率矩阵、信 道线图三种方法描述离散无记忆信道：掌握三种方法的互相转换。 第三节概率的计算问题 1.主要内容：先验概率、转移概率、后验概率等的相互转换 2.基本概念和知识点：先验概率、转移概率、后验概率。 3.问题与应用（能力要求）：教学要求已知先验概率矩阵、转移概率 矩阵、可计算联合概率矩阵、后验概率矩阵。 第四节信道的疑义度、散布度和平均互信息 1.主要内容：①信道的疑义度：②联信道的散布度：③信道的平均 互信息。 2.基本概念和知识点：信首骚义度的定义、计算方法和物理意义： 联信道散布度的定义、计算方法和物理意义：信道平均互信息的 的概率表达式的变形、凸性。 3。问题与应用（能力要求）：能够计算信道疑义度和散布度：理解平 5
5 讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过 案例分析、习题讲解等加强学生的记忆和理解。 第三章 信道模型和信道容量 （一）目的与要求 1.了解信道的分类； 2.能根据信道的数学模型与已知的信源，计算平均互信息量、噪音熵、 疑义度和联合熵； 3.理解信道容量及其理论基础； 4.能根据信道的对称性，计算离散对称信道的信道容量。 （二）教学内容 第一节 信道模型与分类 1．主要内容：①信道模型；②信道分类方法与类别。 2．基本概念和知识点：信道、信道模型、信道模型分类。 3．问题与应用（能力要求）：掌握信道的数学模型；了解不同信道分 类方法及各类信道。 第二节 离散无记忆信道的数学模型 1．主要内容：①离散无记忆信道；②离散无记忆信道的三种描述方 法。 2．基本概念和知识点：离散无记忆信源、转移概率集合、转移概率 矩阵、信道线图。 3．问题与应用（能力要求）：会用转移概率集合、转移概率矩阵、信 道线图三种方法描述离散无记忆信道；掌握三种方法的互相转换。 第三节 概率的计算问题 1．主要内容：先验概率、转移概率、后验概率等的相互转换。 2．基本概念和知识点：先验概率、转移概率、后验概率。 3．问题与应用（能力要求）：教学要求已知先验概率矩阵、转移概率 矩阵、可计算联合概率矩阵、后验概率矩阵。 第四节 信道的疑义度、散布度和平均互信息 1．主要内容：①信道的疑义度；②联信道的散布度；③信道的平均 互信息。 2．基本概念和知识点：信道疑义度的定义、计算方法和物理意义； 联信道散布度的定义、计算方法和物理意义；信道平均互信息的 的概率表达式的变形、凸性。 3．问题与应用（能力要求）：能够计算信道疑义度和散布度；理解平
均互信息量为先验概率和转移概率的函数：掌握平均互信息的凸 状性。 第五节信道容量 1.主要内容：①信道容量的概念：②无损信道、确定信道、无损确 定信道的定义及信道容量的计算：③离散输入对称信道、离散输 出对称信道：④对称信道、准对称信道的定义：⑤对称信道、准 对称信道的信道容量。 2.基本概念和知识点：信息率、信道容量、离散对称信道。 3.问题与应用（能力要求）：从互信息量凸性的角度理解信道容量的 含义：理解信道容量为信道的固有参数：无损信道、确定信道、 无损确定信谐的定义及信首容量的计算：堂据三种无噪信首的判 定方法：掌握三种无噪信道的信道容量及最佳输入概率分布的求 解：掌握四种对称信道的判定方法：理解四种对称信道的信道容 量的分析方法：掌握对称信道及准对称信道的信道容量的计算。 第六节扩展信道及其信道容量 1.主要内容：①扩展信道的数学模型：②N次扩展DMC的概率空间： ③N次扩展信道的平均互信息的定义及性质：④信源信道均无记 忆的N次展信道的信道容量。 2。基本概念和知识点：扩展信道、N次扩展信道、N次扩展信道的平 均互信息、信源信道均无记忆的N次扩展信道的信道容量。 3. 问题与应用（能力要求）：掌握N次扩展信道的数学表示；掌握N 次DMC的概率空间的求解方法：掌握N次扩展信道平均互信息的 概念，并理解信源无记忆、信道无记忆时N次扩展信道的性质： 掌握信源信道无记忆N次扩展信道信道容量的计算。 第七节串联信道和独立并联信道 1.主要内容：①串联信道的定义：②串联信道的概率空间与信道容 量③信息不增原理④独立并联信道的定义：⑤独立并联信道 的信道容量 2.基本概念和知识点：串联信道、独立并联信道、信息不增原理。 3.问题与应用（能力要求）：理解独立并联信道与N次扩展信道的关 系：掌握独立并联信道的信道容量的计算：掌握串联信道的概率 空间及信道容量的计算：理解信息不增原理，并能够用来解释实 际应用中的问题。 第八节信源与信道的匹配 1.主要内容：①符号匹配的概念：②信息匹配的概念。 6
6 均互信息量为先验概率和转移概率的函数；掌握平均互信息的凸 状性。 第五节 信道容量 1．主要内容：①信道容量的概念；②无损信道、确定信道、无损确 定信道的定义及信道容量的计算；③离散输入对称信道、离散输 出对称信道；④对称信道、准对称信道的定义；⑤对称信道、准 对称信道的信道容量。 2．基本概念和知识点：信息率、信道容量、离散对称信道。 3．问题与应用（能力要求）：从互信息量凸性的角度理解信道容量的 含义；理解信道容量为信道的固有参数；无损信道、确定信道、 无损确定信道的定义及信道容量的计算；掌握三种无噪信道的判 定方法；掌握三种无噪信道的信道容量及最佳输入概率分布的求 解；掌握四种对称信道的判定方法；理解四种对称信道的信道容 量的分析方法；掌握对称信道及准对称信道的信道容量的计算。 第六节 扩展信道及其信道容量 1．主要内容：①扩展信道的数学模型；②N 次扩展 DMC 的概率空间； ③N 次扩展信道的平均互信息的定义及性质；④信源信道均无记 忆的 N 次扩展信道的信道容量。 2．基本概念和知识点：扩展信道、N 次扩展信道、N 次扩展信道的平 均互信息、信源信道均无记忆的 N 次扩展信道的信道容量。 3．问题与应用（能力要求）：掌握 N 次扩展信道的数学表示；掌握 N 次 DMC 的概率空间的求解方法；掌握 N 次扩展信道平均互信息的 概念，并理解信源无记忆、信道无记忆时 N 次扩展信道的性质； 掌握信源信道无记忆 N 次扩展信道信道容量的计算。 第七节 串联信道和独立并联信道 1．主要内容：①串联信道的定义；②串联信道的概率空间与信道容 量；③信息不增原理；④独立并联信道的定义；⑤独立并联信道 的信道容量。 2．基本概念和知识点：串联信道、独立并联信道、信息不增原理。 3．问题与应用（能力要求）：理解独立并联信道与 N 次扩展信道的关 系；掌握独立并联信道的信道容量的计算；掌握串联信道的概率 空间及信道容量的计算；理解信息不增原理，并能够用来解释实 际应用中的问题。 第八节 信源与信道的匹配 1．主要内容：①符号匹配的概念；②信息匹配的概念
2.基本概念和知识点：符号匹配、信息匹配。 3.问题与应用（能力要求）：理解信源与信道符号匹配与信息匹配的 含义：掌握信源与信道匹配度的计算。 第九节连续信道及其信道容量 1.主要内容：①连续信道的数学模型：②加性高斯噪声信道的信道 容量：③一般加性噪声信道的信道容量的界。 2。基本概念和知识点：连续信道、连续信道平均互信息、连续信道 容量。 3.问题与应用（能力要求）：熟悉连续信道的平均互信息的定义及计 算：理解条件受限情况下连续信源的信道容量的定义。 第十节波形信道及其信道容量 1.主要内容：①波形信道的数学模型：②带限加性高斯白噪声信道 的定义：③香农公式的推导及应用。 2.基本概念和知识点：波形信道、波形信道容量、香农容量。 3.了解香农容量的推导：能够运用香农容量来分析提升波形信道信 道容量的方法。 (三)思考与实践 1,信息传输系统的数量指标和质量指标是什么？ 2.信道容量由哪种概率矩阵决定？ 3.一般离散无记忆信道达到信道容量的充要条件是什么？ 4.用串联信道相关理论说明“道听途说得到的流言蜚语”不可信 (四)教学方法与手段 本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习 讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过 案例分析、习题讲解等加强学生的记忆和理解。 第四章离散无记忆信源无失真编码 (一)目的与要求 1.了解编码的定义： 2.理解信源编码的作用： 3.理解单义码存在定理： 4.通过理解最佳编码的思想，能够编出编码效率高的霍夫曼码： 5.无失真信源编码定理的理解。 (二)教学内容 第一节信源编码概论
7 2．基本概念和知识点：符号匹配、信息匹配。 3．问题与应用（能力要求）：理解信源与信道符号匹配与信息匹配的 含义；掌握信源与信道匹配度的计算。 第九节 连续信道及其信道容量 1．主要内容：①连续信道的数学模型；②加性高斯噪声信道的信道 容量；③一般加性噪声信道的信道容量的界。 2．基本概念和知识点：连续信道、连续信道平均互信息、连续信道 容量。 3．问题与应用（能力要求）：熟悉连续信道的平均互信息的定义及计 算；理解条件受限情况下连续信源的信道容量的定义。 第十节 波形信道及其信道容量 1．主要内容：①波形信道的数学模型；②带限加性高斯白噪声信道 的定义；③香农公式的推导及应用。 2．基本概念和知识点：波形信道、波形信道容量、香农容量。 3．了解香农容量的推导；能够运用香农容量来分析提升波形信道信 道容量的方法。 （三）思考与实践 1．信息传输系统的数量指标和质量指标是什么？ 2．信道容量由哪种概率矩阵决定? 3．一般离散无记忆信道达到信道容量的充要条件是什么? 4．用串联信道相关理论说明“道听途说得到的流言蜚语”不可信。 （四）教学方法与手段 本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习、 讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过 案例分析、习题讲解等加强学生的记忆和理解。 第四章 离散无记忆信源无失真编码 （一）目的与要求 1.了解编码的定义； 2.理解信源编码的作用； 3.理解单义码存在定理； 4.通过理解最佳编码的思想，能够编出编码效率高的霍夫曼码； 5.无失真信源编码定理的理解。 （二）教学内容 第一节 信源编码概论
1.主要内容：①信源编码的基本概念：②编码器模型：③信息率的 计算。 2.基本概念和知识点：信源编码、编码器、编码效率。 3.问题与应用（能力要求）：理解无失真信源编码的作用及原理：掌 握信息率、平均码长、编码效率的概念及计算。 第二节码的唯一可译性 1.主要内容：①码的分类：②码的判定方法：③码的分类及判定方 法举例。 2.基本概念和知识点：定长码、变长码、唯一可译码、奇异码。 3.问题与应用（能力要求）：了解定长码、变长码、唯一可译码、奇 异码的概念：掌握码的分类及判定方法。 第三节定长编码 1.主要内容：①定长编码定理：②定长编码方法 2.基本概念和知识点：定长编码、离散无记忆信源的渐近均分性质。 3.问题与应用（能力要求）：能够利用定长编码定理进行定长编码。 第四节变长编码定理 1.主要内容：①变长编码定理；②平均码长：③编码效率的极限。 2.基本概念和知识点：变长编码、计算方法和物理意义：联信道散 布度的定义、计算方法和物理意义信道平均互信息的的概率表 达式的变形、凸性。 3.问题与应用（能力要求）：理解变长编码定理 第五节变长编码方法 1.主要内容：①二进制霍夫曼编码方法：②霍夫曼编码的特点：③ 进制霍夫曼编码：④符号串的霍夫曼编码：⑤费诺编码方法：⑥ 费诺编码的特点：⑦香农编码方法。 2.基本概念和知识点：霍夫曼编码、费诺编码、香农编码。 3.问题与应用（能力要求）：掌握二进制霍夫曼编码方法：理解霍夫 曼编码的特点：掌握r进制的霍夫曼编码方法：掌握对符号串进 行霍夫曼编码的方法：掌握二进制费诺编码方法；理解费诺编码 的特点：掌握香农编码方法：了解三种变长编码的比较。 (三)思考与实践 1.无失真信源编码中我们一般采用哪些类型的唯一可译码？ 2.比较定长编码和变长编码的优缺点。 3.比较霍夫曼编码、费诺编码和香农编码。 (四)教学方法与手段 8
8 1．主要内容：①信源编码的基本概念；②编码器模型；③信息率的 计算。 2．基本概念和知识点：信源编码、编码器、编码效率。 3．问题与应用（能力要求）：理解无失真信源编码的作用及原理；掌 握信息率、平均码长、编码效率的概念及计算。 第二节 码的唯一可译性 1．主要内容：①码的分类；②码的判定方法；③码的分类及判定方 法举例。 2．基本概念和知识点：定长码、变长码、唯一可译码、奇异码。 3．问题与应用（能力要求）：了解定长码、变长码、唯一可译码、奇 异码的概念；掌握码的分类及判定方法。 第三节 定长编码 1．主要内容：①定长编码定理；②定长编码方法。 2．基本概念和知识点：定长编码、离散无记忆信源的渐近均分性质。 3．问题与应用（能力要求）：能够利用定长编码定理进行定长编码。 第四节 变长编码定理 1．主要内容：①变长编码定理；②平均码长；③编码效率的极限。 2．基本概念和知识点：变长编码、计算方法和物理意义；联信道散 布度的定义、计算方法和物理意义；信道平均互信息的的概率表 达式的变形、凸性。 3．问题与应用（能力要求）：理解变长编码定理。 第五节 变长编码方法 1．主要内容：①二进制霍夫曼编码方法；②霍夫曼编码的特点；③r 进制霍夫曼编码；④符号串的霍夫曼编码；⑤费诺编码方法；⑥ 费诺编码的特点；⑦香农编码方法。 2．基本概念和知识点：霍夫曼编码、费诺编码、香农编码。 3．问题与应用（能力要求）：掌握二进制霍夫曼编码方法；理解霍夫 曼编码的特点；掌握 r 进制的霍夫曼编码方法；掌握对符号串进 行霍夫曼编码的方法；掌握二进制费诺编码方法；理解费诺编码 的特点；掌握香农编码方法；了解三种变长编码的比较。 （三）思考与实践 1．无失真信源编码中我们一般采用哪些类型的唯一可译码？ 2．比较定长编码和变长编码的优缺点。 3．比较霍夫曼编码、费诺编码和香农编码。 （四）教学方法与手段
本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习、 讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过 案例分析、习题讲解等加强学生的记忆和理解。 第五章有噪信道编码 (一)目的与要求 1.了解信道编码的作用： 2.理解信道译码的作用： 3.能根据最小错误概率准则和最大似然译码准则确定译码规则，并计算 相应的平均错误概率： 4。迎解有噪信首馆码定理 5.初步认识纠错码的思想。 (二)教学内容 第一节译码规则与错误概率 1.主要内容：①信道译码规则与优劣判别：②平均差错率的概念 2.基本概念和知识点：信道译码规则、平均差错率。 3.问题与应用（能力要求）：理解什么是好的译码规则：掌握平均差 错率的概念。 第二节两种典型的译码规则 1.主要内容：①最佳译码规则的应用；②极大似然译码规则的应用： ③两种译码规则等价的条件。 2.基本概念和知识点：最佳译码规则、极大似然译码规则。 3.问题与应用（能力要求）：掌握最佳译码规则及极大似然译码规则 的应用：理解两种译码规则等价的条件 第三节平均差错率与信道编码 1.主要内容：①简单重复编码：②平均差错率的计算：③符号串编 码。 2.基本概念和知识点：简单重复绵码、平均差错率计算、符号串编 码。 3.问题与应用（能力要求）：掌握简单重复编码方法：理解简单重复 编码对平均差错率和信息率的影响；了解符号串编码。 第四节汉明距离与最小距离译码规则 1.主要内容：①汉明距离：②码的相似性：③最小距离译码规则。 2.基本概念和知识点：汉明距离、码的相似性最小距离译码规则 3。问题与应用（能力要求）：掌握汉明距离的计算：掌握码的相似性
9 本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习、 讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过 案例分析、习题讲解等加强学生的记忆和理解。 第五章 有噪信道编码 （一）目的与要求 1.了解信道编码的作用； 2.理解信道译码的作用； 3.能根据最小错误概率准则和最大似然译码准则确定译码规则，并计算 相应的平均错误概率； 4.理解有噪信道编码定理； 5.初步认识纠错码的思想。。 （二）教学内容 第一节 译码规则与错误概率 1．主要内容：①信道译码规则与优劣判别；②平均差错率的概念。 2．基本概念和知识点：信道译码规则、平均差错率。 3．问题与应用（能力要求）：理解什么是好的译码规则；掌握平均差 错率的概念。 第二节 两种典型的译码规则 1．主要内容：①最佳译码规则的应用；②极大似然译码规则的应用； ③两种译码规则等价的条件。 2．基本概念和知识点：最佳译码规则、极大似然译码规则。 3．问题与应用（能力要求）：掌握最佳译码规则及极大似然译码规则 的应用；理解两种译码规则等价的条件。 第三节 平均差错率与信道编码 1．主要内容：①简单重复编码；②平均差错率的计算；③符号串编 码。 2．基本概念和知识点：简单重复编码、平均差错率计算、符号串编 码。 3．问题与应用（能力要求）：掌握简单重复编码方法；理解简单重复 编码对平均差错率和信息率的影响；了解符号串编码。 第四节 汉明距离与最小距离译码规则 1．主要内容：①汉明距离；②码的相似性；③最小距离译码规则。 2．基本概念和知识点：汉明距离、码的相似性；最小距离译码规则。 3．问题与应用（能力要求）：掌握汉明距离的计算；掌握码的相似性
的判定方法：掌握最小距离译码规则：理解最小距离译码规则与 极大似然译码规则、最佳译码规则等价的条件。 第五节有噪信道编码定理 1.主要内容：①联合典型序列：②有噪信道编码逆定理：③汉明距 离和码的纠错、检错能力。 2.基本概念和知识点：有噪信道编码定理、有噪信道编码逆定理、 纠错码。 3.问题与应用（能力要求）：理解有噪信道编码定理及其逆定理：了 解纠错码。 (三)思考与实践 1.解释为什么信道译码规则不能是编码规则的简单反变换？ 2.讨论最小距离译码规则的适用条件。 (四)教学方法与手段 本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习、 讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过 案例分析、习题讲解等加强学生的记忆和理解。 第六章限失真信源编码 (一)目的与要求 1.介绍失真函数和失真矩阵： 2.理解平均失真度的定义： 3.理解在保真度准则下定义的信息率失真函数： 4.理解保真度准则下的信源编码定理。 (二)教学内容 第一节失真测度 1.主要内容：①限失真信源编码的必要性：②失真度与平均失真度 的定义。 2.基本概念和知识点：限失真信源编码、失真度、平均失真度。 3.问题与应用（能力要求）：理解限失真信源编码的重要性：掌握尖 真度函数的特点及计算方法。 第二节信息率失真函数及其性质 1.主要内容：①信息率失真函数的定义：②信息率失真函数的性质。 2.基本概念和知识点：信息失真函数。 3.问题与应用（能力要求）：掌握率失真函数的定义：理解率失真函 数的性质并能够计算其相关参量。 10
10 的判定方法；掌握最小距离译码规则；理解最小距离译码规则与 极大似然译码规则、最佳译码规则等价的条件。 第五节 有噪信道编码定理 1．主要内容：①联合典型序列；②有噪信道编码逆定理；③汉明距 离和码的纠错、检错能力。 2．基本概念和知识点：有噪信道编码定理、有噪信道编码逆定理、 纠错码。 3．问题与应用（能力要求）：理解有噪信道编码定理及其逆定理；了 解纠错码。 （三）思考与实践 1．解释为什么信道译码规则不能是编码规则的简单反变换？ 2．讨论最小距离译码规则的适用条件。 （四）教学方法与手段 本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习、 讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过 案例分析、习题讲解等加强学生的记忆和理解。 第六章 限失真信源编码 （一）目的与要求 1.介绍失真函数和失真矩阵； 2.理解平均失真度的定义； 3.理解在保真度准则下定义的信息率失真函数； 4.理解保真度准则下的信源编码定理。 （二）教学内容 第一节 失真测度 1．主要内容：①限失真信源编码的必要性；②失真度与平均失真度 的定义。 2．基本概念和知识点：限失真信源编码、失真度、平均失真度。 3．问题与应用（能力要求）：理解限失真信源编码的重要性；掌握失 真度函数的特点及计算方法。 第二节 信息率失真函数及其性质 1．主要内容：①信息率失真函数的定义；②信息率失真函数的性质。 2．基本概念和知识点：信息失真函数。 3．问题与应用（能力要求）：掌握率失真函数的定义；理解率失真函 数的性质并能够计算其相关参量