《现代测试导论》课程教学资源（测量方法与测量理论）测量信息论资料（信息熵在曲线拟合辨识中的应用）

2.1离散变量的非平均信息量 2.2离散集的平均自信息量一熵 2.3离散集的平均互信息量 2.4连续随机变量的互信息和熵 2.5凸函数和互信息的凸性

2.1 离散变量的非平均信息量 2.2 离散集的平均自信息量－熵 2.3 离散集的平均互信息量 2.4 连续随机变量的互信息和熵 2.5 凸函数和互信息的凸性

离散变量的非平均信息量 离散集的平均自信息量－熵 离散集的平均互信息量 信息不等式 凸函数和互信息的凸性 连续随机变量的互信息和微分熵

熵的定义：设：信源 X 能发出n个不同的消息x1

《信息论与编码》课程教学课件（作业习题）第二章 信源及信源熵（所有习题）参考答案

第一节信源的数学模型及分类 第二节离散信源的信息熵 第三节信息熵的基本性质 第四节离散无记忆的扩展信源 第五节离散平稳信源 第六节马尔可夫信源 第七节信源剩余度与自然语言的熵

第二章离散信源及其信息测度 第一节信源的数学模型及分类 第二节离散信源的信息熵 第三节信息熵的基本性质 第四节离散无记忆的扩展信源 第五节离散平稳信源 第六节马尔可夫信源 第七节信源剩余度与自然语言的熵

 2.1 信源的数学模型及分类  2.2 离散信源的信息熵  2.3 信息熵的基本性质和定理  2.4 离散无记忆的扩展信源  2.5 离散平稳信源  2.6 马尔可夫信源  2.7 信源剩余度与自然语言的熵

结论 1： 有记忆信源的冗余度寓于信源符号 间的相关性中。去除它们之间的相关性， 使之成为或几乎成为不相关的信源，其 熵将增大。 结论 2： 离散无记忆信源的冗余度寓于符号 概率的非均匀分布中。改变原来信源的 概率分布，使之成为或接近等概分布的 信源，其熵将增大