1.离散信道编码问题 2.信道译码 3.Fano不等式和信道编码逆定理 4.联合典型序列及信道编码定理

4.1信道分类 4.2离散无记忆信道 4.3信道的组合 4.4时间离散的无记忆信道 4.5波形信道

3.1信源及其分类 3.2离散无记忆信源的等长编码 3.3离散无记忆信源的不等长编码 3.4最佳不等长编码

离散变量的非平均信息量 离散集的平均自信息量－熵 离散集的平均互信息量 信息不等式 凸函数和互信息的凸性 连续随机变量的互信息和微分熵

样本空间 (Sample Space) 参数估计 Parameter Estimation 信息论 数据集分类 性能评价

• 数据压缩与信息论基础 ➢ 图像压缩与编码基本概念 ➢ 信息论基础 • 图像压缩编码 ➢ 无损压缩 ➢ 有损压缩 • 图像压缩编码主要国际标准 ➢静止图像压缩编码标准-JPEG

1.信息论的形成和发展 2.通信系统的模型

第一节信息的概念 第二节信息论研究的对象、目的和内容 第三节信息论的发展简史与现状

一、编码的意义 1、信源编码的目的 2、编码的实质 3、信源编码的基本思想

不等长编码的优越性总体上减少码字的长度 不等长编码的特殊问题 ①唯一可译性,或者叫做可识别性。对于一个码,如果 存在一种译码方法,使任意若干个码字所组成的字母串 只能唯一地被翻译成这几个码字所对应的事件序列。这 个码就被称为是唯一可译的 解决方案:适当地编码,使得每个码字都具有识别标记。 (注解:一个唯一可译的、码字长度不超过N的D元码,其 码字个数小于D(D~-1)(D-1)个。这是因为两个码字c)和 c(2)连接成的字母串cc(2)不能是码字)