信息论是在长期通信工程的实践中,由通信技术与概率论 随机过程和数理统计相结合而逐步发展起来的一门科学 奈魁斯特:他在1924年研究影响电报传递速度的因素时,就 察觉到信息传输速度和频带宽度有关系;

一、信息与消息和信号的区别 二、消息：是指包含有信息的语言、文字和图像等，可表达客观物质运动和主观思维活动的状态

缩短循环码：在较长的（n，k）循环码 基础上，除去 i 位信息元，构成（n－i， k－i）缩短循环码

离散变量的非平均信息量 离散集的平均自信息量－熵 离散集的平均互信息量 信息不等式 凸函数和互信息的凸性 连续随机变量的互信息和微分熵

苏州大学：电子信息学院《信息论与编码技术》课程教学大纲

苏州大学：电子信息学院《信息论与编码技术》课程教学大纲

广东财经大学：统计与数学学院《信息论与编码》课程教学大纲

4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算

定理 8—8：若 S(x)是 R(x)的伴随式，则R(x)循环左移一位得 R

4.1信道分类 4.2离散无记忆信道 4.3信道的组合 4.4时间离散的无记忆信道 4.5波形信道