信息论课程总结
信息论课程总结
信息论的基本概念与术语 亏,消息,数据,知识, ●信息的定义。(香农信息) 信息的主要特征。 信息的重要性质 信息的分类。 ●信息技术的基本内容
信息论的基本概念与术语 ⚫ 信号，消息，数据，知识，情报。 ⚫ 信息的定义。（香农信息） ⚫ 信息的主要特征。 ⚫ 信息的重要性质。 ⚫ 信息的分类。 ⚫ 信息技术的基本内容
思考题 信息是什么? ●信息的基本特征是什么? 信息与信号、消息、数据、知识、情报有那些 差别? ●怎样进行信息分类? 信息技术的“四基元”是什么? °为什么说数学是信息科学的基础?
思考题: ⚫ 信息是什么？ ⚫ 信息的基本特征是什么？ ⚫ 信息与信号、消息、数据、知识、情报有那些 差别？ ⚫ 怎样进行信息分类？ ⚫ 信息技术的 “四基元”是什么？ ⚫ 为什么说数学是信息科学的基础？
信息量、熵和不确定度: ●自信息量、条件自信息量、联合自信息量、互 信息量。 ●不确定度。 熵、条件熵、联合熵、平均互信息。 应用 如何利用它们的性质和相互关系计算各种 信源、随机变量和事件的相应信息度量
信息量、熵和不确定度： ⚫ 自信息量、条件自信息量、联合自信息量、互 信息量。 ⚫ 不确定度。 ⚫ 熵、条件熵、联合熵、平均互信息。 应用： 如何利用它们的性质和相互关系计算各种 信源、随机变量和事件的相应信息度量
两个基本定理: ●最大熵定理。 ●信息不增原理
两个基本定理： ⚫ 最大熵定理。 ⚫ 信息不增原理
几种研究对象 ●离散单符号信源。 离散无记忆序列信源 ●离散有记忆序列信源。 (主要是马尔可夫信源) ●连续信源
几种研究对象： ⚫ 离散单符号信源。 ⚫ 离散无记忆序列信源。 ⚫ 离散有记忆序列信源。 （主要是马尔可夫信源） ⚫ 连续信源
需掌握的重点: ●各种定义、概念的实际含义。 ●各种信息量和熵的计算方法
需掌握的重点： ⚫ 各种定义、概念的实际含义。 ⚫ 各种信息量和熵的计算方法
难点: 条件熵、联合熵和平均互信息量的计算。 ●序列熵的计算。 马尔可夫信源熵的计算
难点： ⚫ 条件熵、联合熵和平均互信息量的计算。 ⚫ 序列熵的计算。 ⚫ 马尔可夫信源熵的计算
马尔可夫信源熵的计算方法: 根据题意画出状态图,判断是否是齐次遍历的 马尔可夫信源。 ●写出状态转移概率矩阵,计算状态稳定后的极 限概率分布。 ●根据状态转移概率矩阵和极限概率分布,计算 信源的极限熵
马尔可夫信源熵的计算方法： ⚫ 根据题意画出状态图，判断是否是齐次遍历的 马尔可夫信源。 ⚫ 写出状态转移概率矩阵，计算状态稳定后的极 限概率分布。 ⚫ 根据状态转移概率矩阵和极限概率分布，计算 信源的极限熵
信道的信息传输率: 由于在平均意义上,一个符号流经信道的平均 信息量为1(X;Y,所以,信道的信息传输率为 R=(xX;Y)=HQX)HQXY)bi/符号 若平均传输一个符号的时间为t秒,则信道每秒 众平均传输的信息量为 R=(xX;￥Y)tbis
信道的信息传输率: ⚫ 由于在平均意义上,一个符号流经信道的平均 信息量为I(X;Y),所以,信道的信息传输率为: R=I(X;Y)=H(X)-H(X|Y) bit/符号 若平均传输一个符号的时间为t秒,则信道每秒 众平均传输的信息量为: Rt=I(X;Y) /t bit/s