2.1离散变量的非平均信息量 2.2离散集的平均自信息量一熵 2.3离散集的平均互信息量 2.4连续随机变量的互信息和熵 2.5凸函数和互信息的凸性

2.1 离散变量的非平均信息量 2.2 离散集的平均自信息量－熵 2.3 离散集的平均互信息量 2.4 连续随机变量的互信息和熵 2.5 凸函数和互信息的凸性

离散变量的非平均信息量 离散集的平均自信息量－熵 离散集的平均互信息量 信息不等式 凸函数和互信息的凸性 连续随机变量的互信息和微分熵

熵的定义：设：信源 X 能发出n个不同的消息x1

《信息论与编码》第二章 信源及信源熵（所有习题）参考答案

第一节信源的数学模型及分类 第二节离散信源的信息熵 第三节信息熵的基本性质 第四节离散无记忆的扩展信源 第五节离散平稳信源 第六节马尔可夫信源 第七节信源剩余度与自然语言的熵

第二章离散信源及其信息测度 第一节信源的数学模型及分类 第二节离散信源的信息熵 第三节信息熵的基本性质 第四节离散无记忆的扩展信源 第五节离散平稳信源 第六节马尔可夫信源 第七节信源剩余度与自然语言的熵

 2.1 信源的数学模型及分类  2.2 离散信源的信息熵  2.3 信息熵的基本性质和定理  2.4 离散无记忆的扩展信源  2.5 离散平稳信源  2.6 马尔可夫信源  2.7 信源剩余度与自然语言的熵

结论 1： 有记忆信源的冗余度寓于信源符号 间的相关性中。去除它们之间的相关性， 使之成为或几乎成为不相关的信源，其 熵将增大。 结论 2： 离散无记忆信源的冗余度寓于符号 概率的非均匀分布中。改变原来信源的 概率分布，使之成为或接近等概分布的 信源，其熵将增大

§3.1 自发变化的共同特征 §3.2 热力学第二定律 §3.3 Carnot定理 §3.4 熵的概念 §3.5 Clausius不等式与熵增加原理 §3.6 热力学基本方程与T-S图 §3.7 熵变的计算 §3.8 熵和能量退降 §3.9 热力学第二定律的本质和熵的统计意义 §3.10 Helmholtz和Gibbs自由能 §3.11 变化的方向与平衡条件 §3.13 几个热力学函数间的关系 §3.12 △G的计算示例 §3.14 热力学第三定律及规定熵 *§3.15 绝对零度不能到达的原理 *§3.16 不可逆过程热力学简介 *§3.17 信息熵浅释