C信息理论与编码武汉理工大学信息工程学院2014/5/5
2014/5/5 1 2014/5/5 1 信息理论与编码 武汉理工大学 信息工程学院
C教材：吕锋、王虹，信息理论与编码(第2版).北京：人民邮电出版社，2010参考书：1）王虹、刘雪冬.信息理论与编码学习指导.北京人民邮电出版社，20112）1傅祖芸.信息论一一#-基础理论与应用（第3版）北京：电子工业出版社，20113) Robert J.McEliece The Theory of Information andCoding（第2版).北京：电子工业出版社，2006课程网站：http://jpkc.whut.edu.cn/xxllybml2014/5/5信世理论与组国
2014/5/5 2 2014/5/5 2 教材： 吕锋、王虹. 信息理论与编码(第2版). 北京： 人民邮电出版社，2010 参考书： 1）王虹、刘雪冬.信息理论与编码学习指导.北京： 人民邮电出版社，2011 2）傅祖芸. 信息论——基础理论与应用(第3版). 北京：电子工业出版社，2011 3）Robert J. McEliece The Theory of Information and Coding (第2版). 北京：电子工业出版社，2006 课程网站：http://jpkc.whut.edu.cn/xxllybm1 信息理论与编码 2
G第1章绪论信息论是研究信息及其运动规律的科学。人类社会的生存和发展，无时无刻都离不开发送、传递、接收、处理和利用信息。最早对信息问题进行系统理论研究的是通信工作者。2014/5/5信应理论与维口
2014/5/5 3 2014/5/5 3 第1章 绪 论 信息论是研究信息及其运动规 律的科学。 人类社会的生存和发展，无时 无刻都离不开发送、传递、接收、 处理和利用信息。 最早对信息问题进行系统理论 研究的是通信工作者。 信息理论与编码 3
G第1章绪论信息论诞生的标志：香农发表的“通信的数学理论”。信息论是信息科学的经典理论。科学的各个领域都存在大量的信息问题。（生物学、医学、管理学、经济学等），信息科学与其它学科交叉。2014/5/5信应理论与维口
2014/5/5 4 2014/5/5 4 第1章 绪 论 信息论诞生的标志：香农发 表的“通信的数学理论”。信息论 是信息科学的经典理论。 科学的各个领域都存在大量的 信息问题。（生物学、医学、管理 学、经济学等），信息科学与其它 学科交叉。 信息理论与编码 4
C绪论第1章本节课主要内容：1.1信息的概念1.2信息论的主要研究内容1.3信息论的发展历程2014/5/5信应理论与维
2014/5/5 5 2014/5/5 5 第1章 绪 论 本节课主要内容： 1.1 信息的概念 1.2 信息论的主要研究内容 1.3 信息论的发展历程 信息理论与编码 5
C1.1信息的概念信息是信息论最基本和最重要的概念。信息是信息论的出发点：认识信息的本质和运动规律。信息是信息论的归宿：利用信息来达到某种具体的目的。到目前为止，国内外已有不下百余种关于信息的定义。从不同的侧面和不同的层次揭示了信息的本质。2014/5/5信应理论与维口
2014/5/5 6 2014/5/5 6 信息是信息论最基本和最重要的概念。 信息是信息论的出发点：认识信息的 本质和运动规律。 信息是信息论的归宿：利用信息来达 到某种具体的目的。 到目前为止，国内外已有不下百余种 关于信息的定义。 从不同的侧面和不同的层次揭示了信 息的本质。 信息理论与编码 6 1.1 信息的概念
C1.1.1信息概念的复杂性从《钟义信》先生的《信息科学原理》选取部分关于对“信息”概念的描述。用人们熟知的概念来定义信息：信息是消息、（消息是信息的载体）信息是数据（数据是记录信息的形式之一)用某些学科专门术语来定义信息：信息是集合之间的变异度、信息是场、信息是信号。该类定义难以理解。2014/5/5信应理论与维口
2014/5/5 7 2014/5/5 7 从《钟义信》先生的《信息科学原理》 选取部分关于对“信息”概念的描述。 用人们熟知的概念来定义信息： 信息是消息（消息是信息的载体） 信息是数据（数据是记录信息的形式 之一） 用某些学科专门术语来定义信息： 信息是集合之间的变异度、信息是场、 信息是信号。该类定义难以理解。 信息理论与编码 7 1.1.1 信息概念的复杂性
C1.1.1信息概念的复杂性从哲学意义上来定义信息：信息是信息，既不是物质也不是能量。信息是事物之间的差异。信息是事物相互作用的表现形式信息是事物联系的普遍形式。信息是物质的普遍属性。该类定义难以引出信息的度量方法。2014/5/5信应理论身维口
2014/5/5 8 2014/5/5 8 从哲学意义上来定义信息： 信息是信息，既不是物质也不是能量。 信息是事物之间的差异。 信息是事物相互作用的表现形式。 信息是事物联系的普遍形式。 信息是物质的普遍属性。 该类定义难以引出信息的度量方法。 信息理论与编码 8 1.1.1 信息概念的复杂性
C1.1.1信息概念的复杂性从控制论和系统论的角度定义信息：信息是与控制系统相联系的功能现象。信息是控制的指令。信息是系统组织程度的度量。信息是有序性的度量。信息是负。该类定义难以引出信息的度量方法。后三种与香农对信息的理解接近2014/5/5信应理论身维口
2014/5/5 9 2014/5/5 9 从控制论和系统论的角度定义信息： 信息是与控制系统相联系的功能现象。 信息是控制的指令。 信息是系统组织程度的度量。 信息是有序性的度量。 信息是负熵。 该类定义难以引出信息的度量方法。 后三种与香农对信息的理解接近。 信息理论与编码 9 1.1.1 信息概念的复杂性
C1.1.1信息概念的复杂性从随机不确定性的角度定义信息：信息是收信者事先不知道的内容。信息是用以消除不确定性的东西。下此类定义者对通信有所了解，或者本来就是通信领域的专家，定义信息时考虑到了通信的实际情况。例：一场巴西和阿根廷的足球赛。赛前，有两队势均力敌的先验知识。上半场得到“巴西队3:0”领先。2014/5/5信应理论身维口
2014/5/5 10 2014/5/5 10 从随机不确定性的角度定义信息： 信息是收信者事先不知道的内容。 信息是用以消除不确定性的东西。 下此类定义者对通信有所了解，或者 本来就是通信领域的专家，定义信息时考 虑到了通信的实际情况。 例：一场巴西和阿根廷的足球赛。 赛前，有两队势均力敌的先验知识。 上半场得到“巴西队3:0”领先。 信息理论与编码 10 1.1.1 信息概念的复杂性