信息论与编码
信 息 论 与 编 码
教学参考书 ·1.吕锋、王虹.信息理论与编码.北京：人民 邮电出版社，2004 2.傅祖芸.信息论一基础理论与应用 北京：电子工业出版社，2001 3.Robert J.McEliece The Theory Of Information And Coding.北京：电子工业 出版社，2003 2010年7月21日1时3分 信息论与编码 2
2010年7月21日1时3分 信息论与编码 2 教学参考书 • 1.吕锋、王虹. 信息理论与编码. 北京：人民 邮电出版社，2004 • 2. 傅祖芸. 信息论——基础理论与应用. 北京：电子工业出版社，2001 • 3. Robert J. McEliece The Theory Of Information And Coding. 北京：电子工业 出版社，2003
第一章 绪论 本章主要内容： ·1、信息的概念 ·2、信息论的研究目的和内容 ·3、信息论的发展历程与应用概述 第一章绪论 信息理论与编码 3
第一章 绪论 信息理论与编码 3 第一章 绪 论 本章主要内容： • 1、信息的概念 • 2、信息论的研究目的和内容 • 3、信息论的发展历程与应用概述
1、信息的概念 牛津英文字典里给出的解释是“某人 被通知或告知的内容、情报、消息” 哈特莱(R.V.L.Hartley)在1928 年发表的《信息传输》中提出“发信者 所发出的信息，就是他在通信符号表中 选择符号的具体方式” 第一章绪论 信息理论与编码 4
第一章 绪论 信息理论与编码 4 1、信息的概念 牛津英文字典里给出的解释是“某人 被通知或告知的内容、情报、消息”。 哈特莱（R.V.L.Hartley）在1928 年发表的《信息传输》中提出“发信者 所发出的信息，就是他在通信符号表中 选择符号的具体方式”
1948年，美国科学家维纳(N.Viener) 在《控制论一动物和机器中通信与控制问 题》一书中指出：“信息是信息，不是物质， 也不是能量” 后来，维纳在《人有人的用处》 书中提出：“信息是人们适应外部世界并且 使这种适应反作用于外部世界的过程中 同外部世界进行互相交换的内容的名称” 第一章绪论 信息理论与编码 5
第一章 绪论 信息理论与编码 5 1948年，美国科学家维纳（N.Wiener） 在《控制论——动物和机器中通信与控制问 题》一书中指出：“信息是信息，不是物质， 也不是能量”。 后来，维纳在《人有人的用处》一 书中提出：“信息是人们适应外部世界并且 使这种适应反作用于外部世界的过程中， 同外部世界进行互相交换的内容的名称
意大利学者郎格(G.Longe)在1975年 出版的《信息论：新的趋势与未决问题》 书序言中提出：“信息是反映事物的形式、 关 系和差别的东西。信息是包含于客体间 的差别中，而不是在客体本身中”。该定 义代表了“信息就是差异”这一类说法 香农(C.E.Shannon)在1948年发表的著 名论文“通信的数学理论”中对信息的定义 被认为是科学的定义，并对信息进行了定性 和定量的描述。 第一章绪论 信息理论与编码 6
第一章 绪论 信息理论与编码 6 意大利学者郎格（G.Longe）在1975年 出版的《信息论：新的趋势与未决问题》一 书序言中提出：“信息是反映事物的形式、 关 系和差别的东西。信息是包含于客体间 的差别中，而不是在客体本身中”。该定 义代表了“信息就是差异”这一类说法。 香农(C.E.Shannon)在1948年发表的著 名论文“通信的数学理论”中对信息的定义， 被认为是科学的定义，并对信息进行了定性 和定量的描述
信息是事物运动状态或存在方式的 不确定性的描述。 消息 信源 信道 信宿 (发送者 (收信者) 干扰或噪声 第一章绪论 信息理论与编码 7
第一章 绪论 信息理论与编码 7 信息是事物运动状态或存在方式的 不确定性的描述 。 信源 信道 信宿 （发送者） （收信者） 干扰或噪声 消息
在通信系统中，其传输的形式是消息。 消息的特点是：收信者在收到信息以 前是不知道消息的具体内容的。 通信的过程是一种消除不确定性的过 程，不确定性的消除，就获得了信息。 原先的不确定性消除得越多，获得的 信息就越多 第一章绪论 信息理论与编码 8
第一章 绪论 信息理论与编码 8 在通信系统中，其传输的形式是消息。 消息的特点是：收信者在收到信息以 前是不知道消息的具体内容的。 通信的过程是一种消除不确定性的过 程，不确定性的消除，就获得了信息。 原先的不确定性消除得越多，获得的 信息就越多
香农的以下三大论点，以新颖的思想 和方法，跨出了用数学方法定量描述信息 的关键一步，开创了通信领域信息理论新 局面。 (1)形式化假说 它使利用数学工具定量度量信息成 为可能 (2)非决定论 它从原则上解决了用什么样的数学 工具解决信息度量问题 第一章绪论 信息理论与编码 9
第一章 绪论 信息理论与编码 9 香农的以下三大论点，以新颖的思想 和方法，跨出了用数学方法定量描述信息 的关键一步，开创了通信领域信息理论新 局面。 （1）形式化假说 它使利用数学工具定量度量信息成 为可能。 （2）非决定论 它从原则上解决了用什么样的数学 工具解决信息度量问题
(3)不确定性 通信的作用就是通过消息的传递，使 接收者从收到的消息中获取一定的信息，消 除原先存在的某些不确定性。 不确定性”是与“可能性”相联系 6 的。“可能性”在数学上是用概率来表示 概率大一可能性大一不确定性小。 第一章绪论 信息理论与编码 10
第一章 绪论 信息理论与编码 10 （3）不确定性 通信的作用就是通过消息的传递，使 接收者从收到的消息中获取一定的信息，消 除原先存在的某些不确定性。 “不确定性”是与“可能性”相联系 的。“可能性”在数学上是用概率来表示。 概率大 可能性大 不确定性小