结论 1： 有记忆信源的冗余度寓于信源符号 间的相关性中。去除它们之间的相关性， 使之成为或几乎成为不相关的信源，其 熵将增大。 结论 2： 离散无记忆信源的冗余度寓于符号 概率的非均匀分布中。改变原来信源的 概率分布，使之成为或接近等概分布的 信源，其熵将增大

3.1信源及其分类 3.2离散无记忆信源的等长编码 3.3离散无记忆信源的不等长编码 3.4最佳不等长编码

3.1信源及其分类 3.2离散无记忆信源的等长编码 3.3离散无记忆信源的不等长编码 3.4最佳不等长编码

3.1信源及其分类 3.2离散无记忆信源的等长编码 3.3离散无记忆信源的不等长编码 3.4最佳不等长编码

第一节波形信源的统计特性和离散化 第二节连续信源和信源的信息测度 第三节具有最大熵的连续信源 第四节连续信道和波形信道的分类 第五节连续信道和波形信道的信息传输率 第六节连续信道和波形信道的信道容量 第七节连续信道编码定理

第一节波形信源的统计特性和离散化 第二节连续信源和信源的信息测度 第三节具有最大熵的连续信源 第四节连续信道和波形信道的分类 笫五节连续信道和波形信道的信息传输率 笫六节连续信道和波形信道的信道容量 第七节连续信道编码定理

一.填空(每空1分,共20分) 请按下面空中的编号顺序写出答案。 1.设一离散无记忆信源的输出由四种不同的符号组成,它们的出现概率分别为1/2、1/4、 1/8、1/8,则此信源平均每个符号包含的信息熵为bit符号若信源每毫秒发出一 个符号,那么此信源平均每秒输出的信息量为②bits

1、基本概念 2、码的唯一可译性 3、定长编码定理和定长编码方法 4、变长编码定理 5、变长编码方法 6、几种实用的无失真信源编码

定理 3-1：对于固定信道，平均互信息 I(X;Y) 是信源概率分布 p(x)的∩型凸函 数。 定理 3-2：对于固定信源分布，平均互信息 I(X;Y)是信道传递概率 p(y|x)的∪型凸函 数。 定理 3-3：设离散信道的输入序列 X＝ (X1X2…XN)通过信道传输，接收到的随机序 列为 Y=( Y1Y2…YN)，而信道的转移概率为 p(y∣x)

第一节信道的数学模型及分类 第二节平均互信息 第三节平均互信息的特性 第四节信道容量及其一般计算方法 第五节离散无记忆扩展信道及其信道容量 第六节信源与信道的匹配