第四章限失真信源编码 失真度和平均失真度 信息率失真函数及其性质
第四章 限失真信源编码 失真度和平均失真度 信息率失真函数及其性质
41平均失真和信息率失真函数 理论上连续信源的绝对熵为无限大,描述连续信源需要 无穷多个比特数 在实际生活中,人们不一定要求完全无失真的恢复消息,也 就是允许有一定的失真。如图像的压缩 那么在允许一定程度失真的条件下,能够把信源信息压 缩到什么程度,也就是,允许一定程度失真的条件下,如何 能快速的传输信息,这就是本章所要讨论的问题
4.1 平均失真和信息率失真函数 理论上连续信源的绝对熵为无限大，描述连续信源需要 无穷多个比特数。 在实际生活中，人们不一定要求完全无失真的恢复消息，也 就是允许有一定的失真。如图像的压缩 那么在允许一定程度失真的条件下，能够把信源信息压 缩到什么程度，也就是，允许一定程度失真的条件下，如何 能快速的传输信息，这就是本章所要讨论的问题
41平均失真和信息率失真函数 1、失真函数 信源编码「编码信道信道信源信宿 信源信道 译码「译码 干扰 我们可以把信道编码、信道和信道解码等价成是一个 没有任何干扰的广义信道,这样收信者收到消息后,所产生 的失真只是由信源编码带来的。我们也可以把信源编码和信 源译码等价成一个信道
1、失真函数 信源 信源 编码 信道 编码 信道 信道 译码 信源 译码 信宿 干扰 我们可以把信道编码、信道和信道解码等价成是一个 没有任何干扰的广义信道，这样收信者收到消息后，所产生 的失真只是由信源编码带来的。我们也可以把信源编码和信 源译码等价成一个信道。 4.1 平均失真和信息率失真函数
41平均失真和信息率失真函数 信源 试验信道 信宿 我们称此信道为试验信道 现在我们要研究在给定允许失真的条件下,是否可以设计一种信 源编码使信息传输率为最低。为此,我们首先讨论失真的测度 设信源变量为X={x12x2xn},其概率分布为P(x)=[Px).P(xn) 接受端变量为Y={y,y2yn}如果x=y;则认为没有 失真,如果x1≠y;则认为产生失真,指定一个非负的函数 d(x,y)≥0 称为单个符号的失真度(或称失真函数)
信源 信宿 4.1 平均失真和信息率失真函数 试验信道 我们称此信道为试验信道。 现在我们要研究在给定允许失真的条件下，是否可以设计一种信 源编码使信息传输率为最低。为此，我们首先讨论失真的测度。 设信源变量为 X x x x ={ , ,... } 1 2 n ，其概率分布为 1 ( ) [ ( )... ( )] P x P x P x = n ( , ) 0 i j d x y 称为单个符号的失真度（或称失真函数） 接受端变量为 ，如果 则认为没有 失真，如果 则认为产生失真，指定一个非负的函数 Y y y y ={ , ,... } 1 2 m i j x y = i j x y
41平均失真和信息率失真函数 失真函数用来表征信源发出一个符号x,而在接收端再 现成符号y所引起的误差或失真。d越小表示失真越小, 等于0表示没有失真 可以将所有的失真函数排列成矩阵的形式: d(x12y1)d(x1,y2) d(x,,y)d(x2,22)..d(x2, ym) d(xn,y, d(,y,) 我们称d为失真矩阵
4.1 平均失真和信息率失真函数 失真函数用来表征信源发出一个符号 ，而在接收端再 现成符号 所引起的误差或失真。d越小表示失真越小， 等于0表示没有失真。 可以将所有的失真函数排列成矩阵的形式： i x j y 1 1 1 2 1 2 1 2 2 2 1 2 ( , ) ( , ) ... ( , ) ( , ) ( , ) ... ( , ) ... ( , ) ( , ) ... ( , ) m m n n n m d x y d x y d x y d x y d x y d x y d d x y d x y d x y = 我们称d为失真矩阵
41平均失真和信息率失真函数 例1:d(x,y 0当x1=y;这种失真成为汉明失真 当x;≠y 失真矩阵为: D 0 在二元情况下: 10 D
4.1 平均失真和信息率失真函数 例1： 0 ( , ) 1 i j d x y = = i j i j 当x y 当x y 失真矩阵为： 0 1 ... 1 1 0 ... 1 ... 1 1 ... 0 D = 这种失真成为汉明失真 在二元情况下： 1 0 0 1 D =
41平均失真和信息率失真函数 2、平均失真度 D=Eld(xi,y) 若已知试验信道的传递概率,则平均失真度为: b=∑P(x,y)(x,y)=∑∑P(x)P(1/x)d(x,y i=1j=1 若平均失真度D不大于我们所允许的失真D,我们称此为 保真度准则 D D 凡满足保真度准则的这些试验信道称为D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合,用符号P表示
4.1 平均失真和信息率失真函数 2、平均失真度 [ ( , )] D E d x y = i j 若已知试验信道的传递概率，则平均失真度为： , 1 1 ( , ) ( , ) ( ) ( / ) ( , ) n m i j i i j X Y i j D P x y d x y P x P y x d x y = = = = 若平均失真度 不大于我们所允许的失真D，我们称此为 保真度准则。 D D D 凡满足保真度准则的这些试验信道称为D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用符号 PD 表示
41平均失真和信息率失真函数 3、信息率失真函数 当信源和失真函数给定后,我们总希望在满足保真度准则 下寻找平均互信息的最小值。也就是在P中找一个信道,使 给定的信源经过此信道传输后,互信息取极小值。这个最小 值就是在D≤D的条件下,信源必须传输的最小平均信息量。 R(D)=minI(X; Y)) X; Y)=>>P(x)P(y, /x,)log P(,/x, P(y,) R(D)为信息率失真函数,也叫率失真函数 改变试验信道求平均互信息的最小值,实质上是选择一种编码 方式使信息传输率为最小
4.1 平均失真和信息率失真函数 3、信息率失真函数 当信源和失真函数给定后，我们总希望在满足保真度准则 下寻找平均互信息的最小值。也就是在 中找一个信道，使 给定的信源经过此信道传输后，互信息取极小值。这个最小 值就是在 的条件下，信源必须传输的最小平均信息量。 PD ( ) min{ ( ; )} PD R D I X Y = D D R(D)为信息率失真函数，也叫率失真函数. 改变试验信道求平均互信息的最小值，实质上是选择一种编码 方式使信息传输率为最小。 1 1 ( / ) ( ; ) ( ) ( / )log ( ) n m j i i j i i j j p y x I X Y p x p y x = = p y =
41平均失真和信息率失真函数 4、信息率失真函数的性质 1)、R(D)的定义域是(0,Dm) (1)、Dn和R(Dn) 允许失真度D的最小值为0,即不允许有失真,这要求失真 矩阵中每行至少有一个为0 Dm=min∑∑P(x,)P(/x)d(x1,y) ∑P(x)min∑P(y/ xdd(x y
4.1 平均失真和信息率失真函数 4、信息率失真函数的性质 1)、R(D)的定义域是 max (0, ) D (1)、 Dmin 和 min R D( ) 允许失真度D的最小值为0，即不允许有失真，这要求失真 矩阵中每行至少有一个为0。 min 1 1 1 1 min[ ( ) ( / ) ( , )] ( ) min[ ( / ) ( , )] n m i j i i j i j n m i j i i j j i j D P x P y x d x y P x P y x d x y = = = = = =
41平均失真和信息率失真函数 我们选择这样的试验信道,它满足 ∑P(y/x)=1所有(xy)=最小值的y (y/x)=0d(x,y)≠最小值的y 则可得信源的最小失真度为 min ∑ P(x) mind(xy)
4.1 平均失真和信息率失真函数 min 1 ( ) min ( , ) n i i j j i D P x d x y = = ( / ) 1 j j i y P y x = ( / ) 0 P y x j i = 我们选择这样的试验信道，它满足 所有 最小值的yj ( , ) i j d x y = ( , ) i j d x y 最小值的yj 则可得信源的最小失真度为