西安电子科技大学：《信息论与编码理论基础》课程PPT教学课件（编码部分）码纠错能力的判断

3.1保密系统的数学模型

信息论是在长期通信工程的实践中,由通信技术与概率论 随机过程和数理统计相结合而逐步发展起来的一门科学 奈魁斯特:他在1924年研究影响电报传递速度的因素时,就 察觉到信息传输速度和频带宽度有关系;

本章介绍了信息产业的概念和信息产业的特点 ,以及信息人才的结构需求与培养。从信息的定 义开始,介绍了香农理论对信息论的贡献、信息 与熵的联系,阐述了香农关于信息的计算公式。 同时指出香农公式应用的局限性,对狭义信息论 和广义信息论作了介绍

信息论：是一门应用概率论、 随机过程、数理统计和近世代 数的方法，来研究广义的信息 传输、提取和处理系统中一般 规律的科学；它的主要目的是 提高信息系统的有效性和可靠 性，最优化；其主要内容（或 分支）包括：香农理论、编码 理论、维纳理论、检测和估计 理论、信号设计与估计理论、 调制理论和随机噪声理论

4.1信道分类 4.2离散无记忆信道 4.3信道的组合 4.4时间离散的无记忆信道 4.5波形信道

3.1信源及其分类 3.2离散无记忆信源的等长编码 3.3离散无记忆信源的不等长编码 3.4最佳不等长编码

1.离散信道编码问题 2.信道译码 3.Fano不等式和信道编码逆定理 4.联合典型序列及信道编码定理

离散变量的非平均信息量 离散集的平均自信息量－熵 离散集的平均互信息量 信息不等式 凸函数和互信息的凸性 连续随机变量的互信息和微分熵

• 数据压缩与信息论基础 ➢ 图像压缩与编码基本概念 ➢ 信息论基础 • 图像压缩编码 ➢ 无损压缩 ➢ 有损压缩 • 图像压缩编码主要国际标准 ➢静止图像压缩编码标准-JPEG