1.离散信道编码问题 2.信道译码 3.Fano不等式和信道编码逆定理 4.联合典型序列及信道编码定理

算术编码(Arithmetic Coding)的概念最早由 J. Rissanen在1976年引入,与 Huffman编码不同,算术编码是一种有记忆非分组编码方法,它用某个实数区间来表示若干被编码的信息,用该实数区间对应的二进制码作为编码输出。算术码的编码过程,实际上就是依据字符的发生概率对码区间的分割过程,我们举例说明算术编码的原 理

信息论：是一门应用概率论、 随机过程、数理统计和近世代 数的方法，来研究广义的信息 传输、提取和处理系统中一般 规律的科学；它的主要目的是 提高信息系统的有效性和可靠 性，最优化；其主要内容（或 分支）包括：香农理论、编码 理论、维纳理论、检测和估计 理论、信号设计与估计理论、 调制理论和随机噪声理论

1.1 通信系统模型 1.2 信息论研究的中心问题及发展

定义 2-2：信源输出各消息的自信息量 I(ai) 的数学期望为信源的平均自信息量

离散变量的非平均信息量 离散集的平均自信息量－熵 离散集的平均互信息量 信息不等式 凸函数和互信息的凸性 连续随机变量的互信息和微分熵

1 、信源的数学模型及分类 2、信息量及其性质 3、离散信源的熵及性质 4、联合熵和条件熵 5、平均互信息量及其性质 6、扩展信源 7、离散有记忆信源的熵 8、马尔可夫信源的信息熵 9、离散信源的信息（速）率和信息含量效率 10、连续随机变量下的熵和平均互信息量

1、基本概念 2、码的唯一可译性 3、定长编码定理和定长编码方法 4、变长编码定理 5、变长编码方法 6、几种实用的无失真信源编码

1、差错控制编码 信道编码就是对数字基带信号进行再编码,以 改善其在信道中传输可靠性的数据编码技术。差错 控制编码就是一种较为重要的信道编码技术, 差错控制编码就是在发送端被传信息码序列的 基础上、按照一定的规则加入若干“监督码元”后 进行传输,这些加入的码元与原来的信层码序列之 间存在着某种确定的约束关系。接收端按照既定的 规则检验信息码元与监督码元之间的关系

《信息论与编码基础》课程教学资源（教案讲义）第五章（5-3）香农编码