既约多项式：设 f(x)是次数大于 0 的多项 式，除了常数、常数与本身乘积以外， 不能再被域 F 上其他多项式除尽，则 f(x) 为 F 域上的既约多项式

第2章计算机基础知识 2.1计算机的产生和发展 2.2微型计算机系统的组成 2.3数字化信息编码与数据表示 2.4多媒体技术应用基础 2.5计算机数据的安全

结论 1： 有记忆信源的冗余度寓于信源符号 间的相关性中。去除它们之间的相关性， 使之成为或几乎成为不相关的信源，其 熵将增大。 结论 2： 离散无记忆信源的冗余度寓于符号 概率的非均匀分布中。改变原来信源的 概率分布，使之成为或接近等概分布的 信源，其熵将增大

定义 7－1：如果两个整数 a，b 被模 m 除后有相同的余数 r，即： a=q1m+r，b=q2m+r 则称 a,b 对模 m 同余，记作 a≡b mod m。 否则称 a,b 对模 m 不同余，记作 a≡b mod m

定理 7－4：每一个（n，k）线性分组码 都能纠正 2 n-k个错误图样。 定理 7－5：标准阵列中每个陪集的 2 k个 矢量都有相同的伴随式，且不同的陪集 有不同的伴随式

定理 7－6：任一（n，k）线性分组码若要纠 正 t 个以内错误，其充要条件是 H 矩阵中任 何 2t 列线性无关。 定理 7－7：（n，k）线性分组码最小距离等 于 d0 的充要条件是 H 矩阵中任何 d0-1 列线 性无关

定理 3-1：对于固定信道，平均互信息 I(X;Y) 是信源概率分布 p(x)的∩型凸函 数。 定理 3-2：对于固定信源分布，平均互信息 I(X;Y)是信道传递概率 p(y|x)的∪型凸函 数。 定理 3-3：设离散信道的输入序列 X＝ (X1X2…XN)通过信道传输，接收到的随机序 列为 Y=( Y1Y2…YN)，而信道的转移概率为 p(y∣x)

 3.1 信道的数学模型及分类  3.2 平均互信息及平均条件互信息  3.3 平均互信息的特性  3.4 信道容量及其一般计算方法  3.5 离散无记忆扩展信道及其信道容量  3.6 独立并联信道及其信道容量  3.7 串联信道的互信息和数据处理定理  3.8 信源与信道的匹配

Chapter 1 Introduction Chapter 2 Entropy & Mutual Information (Shannon’s measure of information) Chapter 3 The Asymptotic Equipartition Property (渐进等同分割性) Chapter 4 Entropy Rates of a Stochastic Process Chapter 5 Coding for Discrete Sources Chapter 6 Channel Capacity Chapter 7 The Gaussian Channel Chapter 8 Rate Distortion Theory Chapter 9 复习

第一节 线性分组码基本概念 • 线性空间 • 线性分组码定义 • 生成矩阵 • 校验矩阵 • 对偶码、系统码和缩短码 第二节 线性分组码的译码 • 伴随式 • 汉明码 • 标准阵列 第三节 由已知码构造新码的方法 • 扩展码 • 删余码 • 增广码(增信删余码) • 增余删信码 • 延长码 第四节 线性码的纠错能力 • 码的重量分布 • 普洛特金限(P限) • 汉明限 • V-G限