烧第6章限失真信源编码111111111111
1 第6章 限失真信源编码
1.1问题提出1111111111111信息编码分类：码字与信源符号（序列）十对应。无失真编码：保编码1有失真编码：在信源编码时引入一定失真。11111引入有失真编码的原因：111111（1）保编码并非总是必需的。/111（2）保编码并非总是可能的。1（3）降低信息率有利于传输和处理。1I111111限失真编码在允许的失真范围内把编码后的信息率压缩到最小。1111111信道的平均互信息量：信道的信息率R：111bit/符号1R = I(U; V)= H(U)-H(U/V)= H(V)- H(VIU)111211111
2 问题提出 信息编码分类： 无失真编码：码字与信源符号（序列）一一对应。保熵编码 有失真编码：在信源编码时引入一定失真。 引入有失真编码的原因： （1）保熵编码并非总是必需的。 （2）保熵编码并非总是可能的。 （3）降低信息率有利于传输和处理。 限失真编码 在允许的失真范围内把编码后的信息率压缩到最小。 信道的信息率R：信道的平均互信息量： R I H H H H (U;V) (U) (U | V) (V) (V | U) bit/符号
111111各节内容111-111116. 1失真测度116.21信息率失真函数及其性质11116.3限失真信源编码定理116.4信息率失真函数的计算1111一一111/11-1111111福11111E1111-稻1111/11111111-1131111111
3 各节内容 6.1 失真测度 6.2 信息率失真函数及其性质 6.3 限失真信源编码定理 6.4 信息率失真函数的计算
1111吉6. 1 3失真测度111111V1U信道信源1（信源编码器）,.(u,uu1E信源编码模型1111111111111111111111/111无失真编码11111111稻H(UIV)=H(VIU)= 01111R = I(U; V) = H(U)= H(V)11111111？限失真编码1111福1-111111111111111111111I1111111111111111111I11
6.1 失真测度 信源编码模型 信源 U 信道 Y V （信源编码器） 无失真编码 限失真编码 ？ 1 2 { , , }r u u u 1 2 { , , }s v v v ( | ) (V | U) 0 R I(U;V) ( ) ( ) H U V H H U H V
111111u失真度1、1111111111111111111?设信源编码器输入为U=u，u,u，编码后的输出信源为VV=(v,V2.",v)失真度（或失真函数）：编码器输入符号u与输出符号之间的误差E或失真，用非负实值函数d(u，来描述/1111常用的失真度有：1111111误码失真：[o, u,=y)11111d(u,y)1,u+y祥1I11111均方失真：1111111-稻d(u,v)=(u,-y)11I/111111111绝对失真：-1111d(u,v,)=u,-v,11家1111/111相对失真：11111d(u,y)=|u,-y,/lul11111/1111111111511111111
5 1、失真度 设信源编码器输入为 ，编码后的输出信源为 失真度（或失真函数）：编码器输入符号 与输出符号 之间的误差 或失真，用非负实值函数 来描述。 常用的失真度有： 误码失真： 均方失真： 绝对失真： 相对失真： ui v j d(ui ,vj ) d(ui ,vj ) = 0 , ui = vj 1, ui ¹ vj ì í ï îï d(ui ,vj ) = (ui - vj ) 2 d(ui ,vj ) =|ui - vj | d(ui ,vj ) = |ui - vj | |ui |
112、失真矩阵1i1将r个d(u,)排成矩阵形式，称为失真矩阵，记为[d]4V2V11111d(u,y)d(u.,v)d(u,v,)u,/11d(u,,y)d(u,v.)d(u,,v,)u,[d]=福-.d(u,y)d(u.vudu.,V,11编码器输出取值于(0,1,2)，夫例设信源U取值于(0,1，规定失真度函数为d(0,0)= d(1,1)= 0111111d(0,1)= d(1,0)=111111-d(0,2)= d(1,2) = 0.5则失真矩阵为1福11111E.00.51[d] =111100.51111/111.61111I1
将 个 排成矩阵形式，称为失真矩阵，记为 ： 例 设信源 取值于 ，编码器输出取值于 ，规定失真度函数为 则失真矩阵为 6 2、失真矩阵 r ´ s d(ui ,vj ) [d] U {0,1} {0,1,2} d(0,0) = d(1,1) = 0 d(0,1) = d(1,0) = 1 d(0,2) = d(1,2) = 0.5 [d] = 0 1 0.5 1 0 0.5 é ë ê ù û ú
11111u111113、平均失真度111I111111对所有符号的失真度(d(u,))取统计平均，称为平均失真度或平均失真，记为D：11111111111111I111111111111D=E[d(u,))-2P(u,y)d(u,y)(=l j=111111-22 P(u,)P(, lu)d(u,v)福11111(=I j=IT11111111111111-1I111一一福1-11111111111111111一福1-11111111111111111-稻111111I11111111111171111I11I
7 对所有符号的失真度 取统计平均，称为平均失真度或平均失 真，记为 ： 3、平均失真度 d(ui ,vj { )}i, j D D = E d(ui ,vj { )} = P(ui ,vj )d(ui ,vj ) j=1 s åi=1 r å = P(ui )P(vj | ui )d(ui ,vj ) j=1 s åi=1 r å
符号序列的平均失真度和平均失真度4、2对于符号序列，可将失真度或失真函数的定义可推广到矢量形式。设编码器输入α和输出β均为N长符号序列，即11E1h=1,2,.,r,=un"n"unw1111-1I=1,2,...B,=y,tVi11则长符号序列的失真度d(αβ）可定义为，/韩特111d(a,B)=Zd(u)11式中d(u）是输入/输出序列第k位符号的失真度。一一1111111酒11111E11111稻11111111111181111
对于符号序列，可将失真度或失真函数的定义可推广到矢量形式。设 编码器输入 和输出 均为 长符号序列，即 则 长符号序列的失真度 可定义为， 式中 是输入/输出序列第 位符号的失真度。 8 4、符号序列的平均失真度和平均失真度 a h b l N N d(a h ,bl ) d(a h ,bl ) = d(uhk ,vl k ) k=1 N å d(uhk ,vl k ) k
(续)4、2符号序列的平均失真度和平均失真度1111N长符序列的平均失真度为111D(M)=E[(a(α,B)-2 P(a,p,)d(a,B)1111E-22P(a,B)2d(ug,n)11111-11当信源和信道（编码器）均无记忆时，11/11D(N)=ZEld(u,)-ZD =ND111-1111其中D,=D,=D=D是单符号的平均失真度。11-111111111福1111直1E11111111111[111-11111111911111111
长符序列的平均失真度为 当信源和信道（编码器）均无记忆时， 其中 是单符号的平均失真度。 9 4、符号序列的平均失真度和平均失真度（续） N D(N) = E d(a h ,b l { )} = P(a h ,b l )d(a h ,b l ) l=1 s N å h=1 r N å = P(a h ,b l ) d(uhk ,vl k ) k=1 N å l=1 s N å h=1 r N å D(N) = E d(uhk ,vl k { )} k=1 N å = Dk k=1 N å = ND
116.2信息率失真函数及其性质1116.2.1信息率失真函数定义111、D允许（试验)信道111如果要求平均失真D小于某个给定值D，即要求111D=E[d(u,y)-2EP(u)P(y lu)d(u,y)≤D这意味着对转移概率P施加了相应的限制，上式所给的限制条件称保真度准则。满足保真度准则D<D的信道称为D允许（试验）信道。1111所有试验信道的转移概率组成十个集合，记为：11-1B,=(Pru;DsD)即编码要使限失真编码满足保真度准则，则编码器必须是试验信道，器的转移概率PwBpo1111111111I111111111111111111011111111
如果要求平均失真 小于某个给定值 ，即要求 这意味着对转移概率 施加了相应的限制，上式所给的限制条件称保 真度准则。 满足保真度准则 的信道称为 允许（试验）信道。 所有试验信道的转移概率组成一个集合，记为 ： 要使限失真编码满足保真度准则，则编码器必须是试验信道，即编码 器的转移概率 。 10 6.2 信息率失真函数及其性质 6.2.1信息率失真函数定义 1、D允许(试验)信道 D D D = E d(ui ,vj { )} = P(ui )P(vj | ui )d(ui ,vj ) j=1 s å £ D i=1 r å PV|U D £ D D BD = PV|U { ;D £ D} PV|U Ì BD