信息论的基本概念与术语 亏,消息,数据,知识, ●信息的定义。(香农信息) 信息的主要特征。 信息的重要性质 信息的分类。 ●信息技术的基本内容
信息论的基本概念与术语 ⚫ 信号,消息,数据,知识,情报。 ⚫ 信息的定义。(香农信息) ⚫ 信息的主要特征。 ⚫ 信息的重要性质。 ⚫ 信息的分类。 ⚫ 信息技术的基本内容
思考题 信息是什么? ●信息的基本特征是什么? 信息与信号、消息、数据、知识、情报有那些 差别? ●怎样进行信息分类? 信息技术的“四基元”是什么? °为什么说数学是信息科学的基础?
思考题: ⚫ 信息是什么? ⚫ 信息的基本特征是什么? ⚫ 信息与信号、消息、数据、知识、情报有那些 差别? ⚫ 怎样进行信息分类? ⚫ 信息技术的 “四基元”是什么? ⚫ 为什么说数学是信息科学的基础?
信息量、熵和不确定度: ●自信息量、条件自信息量、联合自信息量、互 信息量。 ●不确定度。 熵、条件熵、联合熵、平均互信息。 应用 如何利用它们的性质和相互关系计算各种 信源、随机变量和事件的相应信息度量
信息量、熵和不确定度: ⚫ 自信息量、条件自信息量、联合自信息量、互 信息量。 ⚫ 不确定度。 ⚫ 熵、条件熵、联合熵、平均互信息。 应用: 如何利用它们的性质和相互关系计算各种 信源、随机变量和事件的相应信息度量
几种研究对象 ●离散单符号信源。 离散无记忆序列信源 ●离散有记忆序列信源。 (主要是马尔可夫信源) ●连续信源
几种研究对象: ⚫ 离散单符号信源。 ⚫ 离散无记忆序列信源。 ⚫ 离散有记忆序列信源。 (主要是马尔可夫信源) ⚫ 连续信源