信息论是在长期通信工程的实践中,由通信技术与概率论 随机过程和数理统计相结合而逐步发展起来的一门科学 奈魁斯特:他在1924年研究影响电报传递速度的因素时,就 察觉到信息传输速度和频带宽度有关系;

2.1离散变量的非平均信息量 2.2离散集的平均自信息量一熵 2.3离散集的平均互信息量 2.4连续随机变量的互信息和熵 2.5凸函数和互信息的凸性

内容提要 一、非数值信息的编码 二、文档的创建和保存 文字的输入(标点符号、软回车、行与段落) 文字的编辑(插入和改写) 保存(名称、类型、位置) 三、基本排版

1、差错控制编码 信道编码就是对数字基带信号进行再编码,以 改善其在信道中传输可靠性的数据编码技术。差错 控制编码就是一种较为重要的信道编码技术, 差错控制编码就是在发送端被传信息码序列的 基础上、按照一定的规则加入若干“监督码元”后 进行传输,这些加入的码元与原来的信层码序列之 间存在着某种确定的约束关系。接收端按照既定的 规则检验信息码元与监督码元之间的关系

《信息理论与编码》课程教学资源（拓展资料）信息理论与编码英文术语词汇表

 6.1 平均错误概率和译码规则  6.2 平均错误概率与编码方法  6.3 联合𝜀典型序列  6.4 有噪信道编码定理  6.5 联合信源信道编码定理

信源编码技术 信源编码:将模拟信源信号转换为二 进制数字信号,在接收端再将收到的 数字信号还原为模拟信号的方法 这是由模拟网→、数字网至关重要的一步类别

1、有失真编码的目的 2、采用限失真编码的原因 3、失真测度 4、信息率失真函数及其性质 5、限失真信源编码定理

1、译码规则对错误概率的影响 2、两种典型的译码规则 3、信道编码对平均差错率和信息率的影响 4、汉明距离 5、有噪信道编码定理（香农第二定理） 6、有噪信道编码逆定理 7、线性分组码

通信中信息传输所要解决的基本问题是： 有效性和可靠性 在不失真或允许一定失真条件下，如何用尽 可能烧得符号来传送信源信息以提高信息传 输率－－－信源编码