总复习 第一章概论 信息与消息和信号的区别 消息:是指包含有信息的语言、文字和图像等,可表 达客观物质运动和主观思维活动的状态。 信号:把消息变换成适合信道传输的物理量,这种物 理量称为信号(如电信号、光信号、声音信号等)。 2021/2/2
总复习 2021/2/23 1 ⚫ 信息与消息和信号的区别 ⚫ 消息：是指包含有信息的语言、文字和图像等，可表 达客观物质运动和主观思维活动的状态。 ⚫ 信号：把消息变换成适合信道传输的物理量，这种物 理量称为信号（如电信号、光信号、声音信号等）。 第一章 概 论
总复习 第一章概论 信息是该事物运动的状态和状态改变的方式 研究信息论的目的:它的主要目的是提高信息系统的 可靠性、有效性和安全性以便达到系统最优化。所谓可 靠性高,就是要使信源发出的消息经过信道传输以后, 尽可能准确地、不失真地再现在接收端。而所谓有效性 高,就是经济效果好,即用尽可能短的时间和尽可能少 的设备来传送一定数量的信息 °狭义信息论(香农信息论) 信息的测度、信道容量、信源和信道编码理论 广义信息论 所有与信息相关的邻域 2021/2/2
总复习 2021/2/23 2 ⚫ 信息是该事物运动的状态和状态改变的方式 ⚫ 研究信息论的目的：它的主要目的是提高信息系统的 可靠性、有效性和安全性以便达到系统最优化。所谓可 靠性高，就是要使信源发出的消息经过信道传输以后， 尽可能准确地、不失真地再现在接收端。而所谓有效性 高，就是经济效果好，即用尽可能短的时间和尽可能少 的设备来传送一定数量的信息。 ⚫ 狭义信息论（香农信息论） 信息的测度、信道容量、信源和信道编码理论 ⚫ 广义信息论 所有与信息相关的邻域 第一章 概 论
总复习 第二章信源熵 单符号离散信源 自信息量 用概率测度定义信息量 X 设离散信源X,其概率空间为[P(X)(p(x)p(x2)…pP(x) 如果知道事件x已发生,则该事件所含有的自信息定义为 I(i)=log p(x2) 当事件x;发生以前:表示事件x;发生的不确定性。 当事件x;发生以后:表示事件x所含有(或所提供)的信息量 2021/2/2
总复习 2021/2/23 3 单符号离散信源 ⚫ 自信息量 ⚫ 用概率测度定义信息量 ⚫ 设离散信源X，其概率空间为 ⚫ 如果知道事件xi 已发生，则该事件所含有的自信息定义为 ⚫ 当事件xi 发生以前：表示事件xi 发生的不确定性。 ⚫ 当事件xi 发生以后：表示事件xi 所含有（或所提供）的信息量 第二章 信源熵
总复习 第二章信源熵 联合自信息量 XY x2.y1… X2 v P(x)1p(xn)…,p(xm)p(x1)…,p(xm12…p(x1)…,pnyn I(x yi )=log p(r,)p(y 当X和Y相互独立时,p(x)=p(xm(y) 2p(x1) +lo p(x1)p(y1) P(yi) I(x;)+I(
总复习 2021/2/23 4 ⚫ 联合自信息量 ⚫ 当 X 和 Y 相互独立时，p(xiyj )=p(xi )p(yj ) 第二章 信源熵
总复习 第二章信源熵 条件自信息量:已知y的条件下x;仍然存在的不确定度。 I(ri / yi) log2 p(xiyi I(; / xi)=log2 p(y/xi 自信息量、条件自信息量和联合自信息量之间的关系 I(xiyi) log2 p( xp(yi/xi) (x)+I(y;/x) log P(p(x/yi (0y)+I(x2/y;) 2021/2/2
总复习 2021/2/23 5 ⚫ 条件自信息量：已知yj 的条件下xi 仍然存在的不确定度。 ⚫ 自信息量、条件自信息量和联合自信息量之间的关系 第二章 信源熵
总复习 第二章信源熵 互信息量:y1对x;的互信息量定义为的后验概率与先验概率比值的 对数 P(x)m(x1),p(x2)…P(x)…p(x 0≤p(x:)≤1 p(x)=1 y2 y P()n),2)…p(y)…pn 0≤p(v2)≤1, p()=1 (x;y) p(x1/y2) g P(xi) g p(xi (x)-I(x2y) 2021/2/2
总复习 2021/2/23 6 ⚫ 互信息量：yj 对 xi 的互信息量定义为的后验概率与先验概率比值的 对数。 第二章 信源熵
总复习 第二章信源熵 观察者站在输出端:两个不确定度之差是不确定度被消除的部分, 即等于自信息量减去条件自信息量。 y log2 p( 2P(x2/y) (x1)-I(x1/y 观察者站在输入端:观察者得知输入端发出x;前、后对输出端出 现y的不确定度的差。 1(yx)=10g2)-og2p0x=1)W 观察者站在通信系统总体立场上:通信后的互信息量,等于前后不 确定度的差。 I( y)=log 2p(x2)P(y) og2 p(xy,) r(xy)-1(xy1)=1(x)+(y)-(xy) 2021/2/2 7
总复习 2021/2/23 7 ⚫ 观察者站在输出端：两个不确定度之差是不确定度被消除的部分， 即等于自信息量减去条件自信息量。 ⚫ 观察者站在输入端：观察者得知输入端发出xi 前、后对输出端出 现 yj 的不确定度的差。 ⚫ 观察者站在通信系统总体立场上：通信后的互信息量，等于前后不 确定度的差。 第二章 信源熵
总复习 第二章信源熵 平均信息量一信源熵:自信息的数学期望。也称为信源的信息熵/ 信源熵/香农熵/无条件熵/熵函数/熵。 信息熵的意义:信源的信息熵H是从整个信源的统计特性来考虑 的。它是从平均意义上来表征信源的总体特性的。对于某特定的信 源,其信息熵只有一个。不同的信源因统计特性不同,其熵也不同。 信源熵的三种物理含义 信源熵H(Ⅺ是表示信源输出后每个消息/符号所提供的平均信 息量 信源熵H(X是表示信源输出前,信源的平均不确定性; 用信源熵H(X来表征变量X的随机性。 2021/2/2
总复习 2021/2/23 8 ⚫ 平均信息量—信源熵：自信息的数学期望。也称为信源的信息熵/ 信源熵/香农熵/无条件熵/熵函数/熵。 ⚫ 信息熵的意义：信源的信息熵H 是从整个信源的统计特性来考虑 的。它是从平均意义上来表征信源的总体特性的。对于某特定的信 源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。 ⚫ 信源熵的三种物理含义 ⚫ 信源熵H(X) 是表示信源输出后每个消息/符号所提供的平均信 息量； ⚫ 信源熵H(X) 是表示信源输出前，信源的平均不确定性； ⚫ 用信源熵H(X) 来表征变量X 的随机性。 第二章 信源熵
总复习 第二章信源熵 条件熵:是在联合符号集合XY上的条件自信息的数学期望。 xm=E(1)2∑∑x)1 =1i=1 =1i=1 P(xyj)1082 p(/yj) 0002>)1 i=1j=1 2021/2/2
总复习 2021/2/23 9 ⚫ 条件熵：是在联合符号集合XY 上的条件自信息的数学期望。 第二章 信源熵
总复习 第二章信源熵 信道疑义度—H(XY:表示信 H(H疑义度 宿在收到Y后,信源X仍然存 在的不确定度。是通过有噪信 道传输后引起的信息量的损失, 故也可称为损失熵。 H(X I(:: 噪声熵—H(YX):表示在已知 X的条件下,对于符号集Y尚 存在的不确定性(疑义),这 完全是由于信道中噪声引起的 H(噪声熵 2021/2/2
总复习 2021/2/23 10 ⚫ 信道疑义度—H(X/Y)：表示信 宿在收到Y 后，信源X 仍然存 在的不确定度。是通过有噪信 道传输后引起的信息量的损失， 故也可称为损失熵。 ⚫ 噪声熵—H(Y/X)：表示在已知 X 的条件下，对于符号集Y 尚 存在的不确定性（疑义），这 完全是由于信道中噪声引起的。 第二章 信源熵 H(X/Y)疑义度 H(X) H(Y) H(Y/X)噪声熵 I(X;Y)