 2.1 信源的数学模型及分类  2.2 离散信源的信息熵  2.3 信息熵的基本性质和定理  2.4 离散无记忆的扩展信源  2.5 离散平稳信源  2.6 马尔可夫信源  2.7 信源剩余度与自然语言的熵

讨论题 设有12枚同值硬币，其中有一枚为假币，且只 知道假币的重量与真币的重量不同，但不知究 竟是重还是轻。现采用天平比较左右两边轻重 的方法来测量（因无砝码）。为了在天平上称 出哪一枚是假币，试问至少必须称多少次？

2-3.解：设事件 A 为女孩是大学生；设事件 B 为女孩身高 1.6 米以上，根据题意 可知 P(A)＝0.25 P(B)＝0.5 P(B/A)=0.75 “身高 1.6 米以上的某女孩是大学生”这消息表明是在 B 事件发生的条件 下，A 事件发生。所以其概率为P(A/B)

1、信道模型与信道分类 2、离散无记忆信道 3、概率关系 4、信道的疑义度、散布度和平均互信息 5、平均互信息的性质 6、信道容量C 7、扩展信道及其信道容量 8 信道的组合 9、信道剩余度 10、连续信道的信道容量 11、波形信道及其信道容量

既约多项式：设 f(x)是次数大于 0 的多项 式，除了常数、常数与本身乘积以外， 不能再被域 F 上其他多项式除尽，则 f(x) 为 F 域上的既约多项式

 3.1 信道的数学模型及分类  3.2 平均互信息及平均条件互信息  3.3 平均互信息的特性  3.4 信道容量及其一般计算方法  3.5 离散无记忆扩展信道及其信道容量  3.6 独立并联信道及其信道容量  3.7 串联信道的互信息和数据处理定理  3.8 信源与信道的匹配

定义 7－1：如果两个整数 a，b 被模 m 除后有相同的余数 r，即： a=q1m+r，b=q2m+r 则称 a,b 对模 m 同余，记作 a≡b mod m。 否则称 a,b 对模 m 不同余，记作 a≡b mod m

定理 7－4：每一个（n，k）线性分组码 都能纠正 2 n-k个错误图样。 定理 7－5：标准阵列中每个陪集的 2 k个 矢量都有相同的伴随式，且不同的陪集 有不同的伴随式

定理 7－6：任一（n，k）线性分组码若要纠 正 t 个以内错误，其充要条件是 H 矩阵中任 何 2t 列线性无关。 定理 7－7：（n，k）线性分组码最小距离等 于 d0 的充要条件是 H 矩阵中任何 d0-1 列线 性无关

结论 1： 有记忆信源的冗余度寓于信源符号 间的相关性中。去除它们之间的相关性， 使之成为或几乎成为不相关的信源，其 熵将增大。 结论 2： 离散无记忆信源的冗余度寓于符号 概率的非均匀分布中。改变原来信源的 概率分布，使之成为或接近等概分布的 信源，其熵将增大