信息论与编码 数学与计算机科学学院朱西平 (xpzhu188@163.com)
信息论与编码 数学与计算机科学学院 朱西平 (xpzhu188@163.com )
信息论发展简史 信息论是在长期通信工程的实践中,由通信技术与概率论 随机过程和数理统计相结合而逐步发展起来的一门科学 奈魁斯特:他在1924年研究影响电报传递速度的因素时,就 察觉到信息传输速度和频带宽度有关系 哈特莱( Hartley):他在1928年用概率的观点来分析信息传 输问题; 仙农( Claude E. Shannon):1948年发表《通信的数学理 论》( A Mathematical Theory of Communication),为创立信 艮论作出了决定性的贡献; 维纳(N. Wiener)等:为信息论的进一步发展和拓展作了大 量工作;主要在通信的统计理论与滤波器理论方面
一、信息论发展简史 ◼ 信息论是在长期通信工程的实践中，由通信技术与概率论、 随机过程和数理统计相结合而逐步发展起来的一门科学。 ◼ 奈魁斯特：他在1924年研究影响电报传递速度的因素时,就 察觉到信息传输速度和频带宽度有关系; ◼ 哈特莱(Hartley)：他在1928年用概率的观点来分析信息传 输问题; ◼ 仙农（Claude E.Shannon)：1948年发表《通信的数学理 论》(A Mathematical Theory of Communication),为创立信 息论作出了决定性的贡献; ◼ 维纳(N. Wiener)等：为信息论的进一步发展和拓展作了大 量工作;主要在通信的统计理论与滤波器理论方面
信息的概念和度量 算加2, 1、信息论中“信息”与其他概念的区别 2、仙农关于“信息”的定义 3、信息的度量 4、仙农关于信息定义和度量的优点和局限
二、信息的概念和度量 1、信息论中“信息” 与其他概念的区别 2、仙农关于“信息”的定义 3、信息的度量 4、仙农关于信息定义和度量的优点和局限
信息论中“信息”与其他概念的区别 “信息”是信息论中最基本、最重要的概念,它是一个既 抽象又复杂的概念 信息”不同于消息 在现代信息论形成之前,信息一直被看作是通信中消息的同 义词,没有严格的数学含义 所谓消息,是用文字、符号、数据、语言、图片、图像等能 够被人们感觉器官所感知的形式,把客观事物运动和主观思 维活动的状态表达出来; 消息是信息的载体;消息是表现形式,信息是实质; 信息”不同于情报 情报往往是军事学、文献学方面的习惯用词,它的含义比 “信息”窄的多,一般只限于特殊的领域,是一类特殊的信 “情报”是人们对于某个特定对象所见、所闻、所理解产生 的知识
信息论中“信息” 与其他概念的区别 ◼ “信息”是信息论中最基本、最重要的概念，它是一个既 抽象又复杂的概念； ◼ “信息”不同于消息 ◼ 在现代信息论形成之前，信息一直被看作是通信中消息的同 义词，没有严格的数学含义； ◼ 所谓消息，是用文字、符号、数据、语言、图片、图像等能 够被人们感觉器官所感知的形式，把客观事物运动和主观思 维活动的状态表达出来； ◼ 消息是信息的载体；消息是表现形式，信息是实质； ◼ “信息”不同于情报 ◼ 情报往往是军事学、文献学方面的习惯用词，它的含义比 “信息”窄的多，一般只限于特殊的领域，是一类特殊的信 息； ◼ “情报”是人们对于某个特定对象所见、所闻、所理解产生 的知识；
信息论中“信息”与其他概念的区别(续) “信息”不同于知识 知识是人们根据某种目的,从自然界收集得来的 数据中整理、概括、提取得到的有价值的信息, 是一种高层次的信息; 知识是信息,但不等于信息的全体; “信息”不同于信号 把消息变换成适合信道传输的物理量,就是信 号;信号是承载消息的物理量
信息论中“信息” 与其他概念的区别(续) ◼ “信息”不同于知识 ◼ 知识是人们根据某种目的,从自然界收集得来的 数据中整理、概括、提取得到的有价值的信息， 是一种高层次的信息； ◼ 知识是信息，但不等于信息的全体； ◼ “信息”不同于信号 ◼ 把消息变换成适合信道传输的物理量，就是信 号；信号是承载消息的物理量；
仙农关于“信息”的定义 关于信息的科学定义,目前已有百余种流行的说法,它们 从不同的侧面和层次来揭示信息的本质; 仙农从研究通信系统传输的实质出发,对信息做出了科学 的定义; 仙农注意到:收信者在收到消息之前是不知道消息的具体 内容的。通信系统消息的传输对收信者来说,是一个从不 知到知的过程,或者从知之甚少到知之甚多的过程,或是 从不确定到部分确定或全部确定的过程。 因此,对于收信者来说,通信过程是消除事物状态的不确定 性的过程,不确定性的消除,就获得了信息,原先的不确 定性消除的越多,获得的信息就越多; “信息”是事物运动状态或存在方式的不确定性的描述, 这就是仙农关于信息的定义
仙农关于“信息”的定义 ◼ 关于信息的科学定义，目前已有百余种流行的说法，它们 从不同的侧面和层次来揭示信息的本质； ◼ 仙农从研究通信系统传输的实质出发，对信息做出了科学 的定义； ◼ 仙农注意到：收信者在收到消息之前是不知道消息的具体 内容的。通信系统消息的传输对收信者来说，是一个从不 知到知的过程，或者从知之甚少到知之甚多的过程，或是 从不确定到部分确定或全部确定的过程。 ◼ 因此, 对于收信者来说, 通信过程是消除事物状态的不确定 性的过程，不确定性的消除，就获得了信息，原先的不确 定性消除的越多，获得的信息就越多； ◼ “信息”是事物运动状态或存在方式的不确定性的描述， 这就是仙农关于信息的定义
信息的度量 信息的度量(信息量)和不确定性消除的程 度有关,消除了多少不确定性,就获得了多 少信 不确定性就是随机性,可以用概率论和随机 过程来测度不确定性的大小,出现概率小的 事件,其不确定性大,反之,不确定性小; ■由以上两点可知:概率小—>信息量大 即信息量是概率的单调递减函数 此外,信息量应该具有可加性
信息的度量 ◼ 信息的度量（信息量）和不确定性消除的程 度有关，消除了多少不确定性，就获得了多 少信息量； ◼ 不确定性就是随机性，可以用概率论和随机 过程来测度不确定性的大小，出现概率小的 事件，其不确定性大，反之，不确定性小； ◼ 由以上两点可知：概率小 ——> 信息量大， 即信息量是概率的单调递减函数； ◼ 此外，信息量应该具有可加性；
信息的度量(续) 由于信息量与概率成反比,并且具有可加性, 可以证明,信息量的计算式为 I(xk)=log 2 log 2 其中P是事件X发生的概率,这也是先衣关 于(自)信息量的度量概率信息); 自信息量(x)的含义 当事件ⅹ发生以前,表示事件发生的不确定性; 当事件X发生以后,表示事件X所提供的信息量;
信息的度量（续） ◼ 由于信息量与概率成反比，并且具有可加性， 可以证明，信息量的计算式为 其中Pk是事件Xk发生的概率，这也是先农关 于(自)信息量的度量(概率信息)； ◼ 自信息量 I(xk ) 的含义 ◼ 当事件 xk发生以前，表示事件xk发生的不确定性； ◼ 当事件 xk发生以后，表示事件xk所提供的信息量； k k k P p I x 2 2 log 1 ( ) = log = −
信息的度量(续) 计算信息量主要要注意有关事件发生概率的 计算; 例:从26个英文字母中,随即选取一个字母, 则该事件的自信息量为 =-og2(126)=47比特 例:设m比特的二进制数中的每一个是等概 率出现的(这样的数共有2m个),则任何一个 数出现的自信息为 1=-og2(1/2m)=m比特符号
信息的度量（续） ◼ 计算信息量主要要注意有关事件发生概率的 计算； ◼ 例：从26个英文字母中，随即选取一个字母， 则该事件的自信息量为 I = -log2 (1/26) = 4.7 比特 ◼ 例：设m比特的二进制数中的每一个是等概 率出现的(这样的数共有2 m个)，则任何一个 数出现的自信息为: I = -log2 (1/ 2m) = m 比特/符号
信息的度量(续) ■自信息量的单位 自信息量的单位取决于对数的底 底为2,单位为“比特(bit)”; 底为e,单位为“奈特(nat)”; ■底为10,单位为“哈特(hat 1 nat = 1. 44bit 1 hat =3.32 bit
信息的度量（续） ◼ 自信息量的单位 ◼ 自信息量的单位取决于对数的底； ◼ 底为2，单位为“比特（bit）” ； ◼ 底为e，单位为“奈特（nat）” ； ◼ 底为10，单位为“哈特（hat）” ； ◼ 1 nat = 1.44bit , 1 hat = 3.32 bit；