《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 2.1 信源模型 2.2 信息的描述 2.3 确定性与信息

《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 2.10 离散信源的信息（速）率和信息含量效率 2.11 随机变量

《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 2.5 联合熵和条件熵 2.6 平均互信息量及其性质 2.7 离散无记忆信源的扩展

一、信息量、熵和互信息 二、信源编码定理 三、霍夫曼码及其他编码方法 四、算术编码 五、游程编码 六、改进的霍夫曼码 七、通用编码

1、基本概念 2、码的唯一可译性 3、定长编码定理和定长编码方法 4、变长编码定理 5、变长编码方法 6、几种实用的无失真信源编码

对于定长编码 编码信息率： （编码后平均每个信源符号能载荷的最大信息率） 编码效率： （编码前后平均每个信源符号能载荷的最大信息率之比）

若要实现无失真编码,不但要求信源符号与每个符号 的码字一一对应,而且要求码符号序列与信源符号序 列也一一对应。也就是要求所编的码为惟一可译码。 我们首先分析等长编码,再分析变长编码,以做比较

1、有失真编码的目的 2、采用限失真编码的原因 3、失真测度 4、信息率失真函数及其性质 5、限失真信源编码定理

定理 3-1：对于固定信道，平均互信息 I(X;Y) 是信源概率分布 p(x)的∩型凸函 数。 定理 3-2：对于固定信源分布，平均互信息 I(X;Y)是信道传递概率 p(y|x)的∪型凸函 数。 定理 3-3：设离散信道的输入序列 X＝ (X1X2…XN)通过信道传输，接收到的随机序 列为 Y=( Y1Y2…YN)，而信道的转移概率为 p(y∣x)

高效编码的主要方法是尽可能去除信源中的冗余成份 ,从而以最少的数码率传递最大的信息量。冗余度存在于像素间的相关性及像素值出现概率的不均等性之中,对于有记忆性信源来说首先要去除像素间的相关性,从而达到压缩数码率的目的。对于无记忆性信源来说,像素间没有相关性,可以利用像素灰度值出现概率的不均等性,采用 某种编码方法,也可以达到压缩数码率的目的。这种根据像素灰度值出现概率的分布特性而进行的压缩编码叫统计编码