定义 2-2：信源输出各消息的自信息量 I(ai) 的数学期望为信源的平均自信息量

1.1 通信系统模型 1.2 信息论研究的中心问题及发展

1.离散信道编码问题 2.信道译码 3.Fano不等式和信道编码逆定理 4.联合典型序列及信道编码定理

一、 设离散无记忆信源 二进制香农码的编码步骤如下：

一、无失真压缩(Huffman编码、游程编码)

什么是数字化? 认识进制 掌握编码的含义 字符编码 汉字编码 图像编码

第一节引言 第二节码的分类 第三节等长信源编码定理 第四节变长信源编码定理 第五节香农编码 第六节费诺编码 第七节霍夫曼编码 第八节游程编码、算术编码、冗长编码

1、基本概念 2、码的唯一可译性 3、定长编码定理和定长编码方法 4、变长编码定理 5、变长编码方法 6、几种实用的无失真信源编码

算术编码(Arithmetic Coding)的概念最早由 J. Rissanen在1976年引入,与 Huffman编码不同,算术编码是一种有记忆非分组编码方法,它用某个实数区间来表示若干被编码的信息,用该实数区间对应的二进制码作为编码输出。算术码的编码过程,实际上就是依据字符的发生概率对码区间的分割过程,我们举例说明算术编码的原 理

 2.1 信源的数学模型及分类  2.2 离散信源的信息熵  2.3 信息熵的基本性质和定理  2.4 离散无记忆的扩展信源  2.5 离散平稳信源  2.6 马尔可夫信源  2.7 信源剩余度与自然语言的熵