第四章限失真信源编码 ◆连续信源的熵和互信息 信息率失真理论 ◆标量量化编码 ◆矢量量化编码 ◆语音压缩编码 ◆图象压缩编码
连续信源的熵和互信息 信息率失真理论 标量量化编码 矢量量化编码 语音压缩编码 图象压缩编码 第四章 限失真信源编码
第四章限失真信源编码 限失真编码信源编码经过译码后能保留应用要求的 信息,允许信源有一定的失真。 为什么要限失真编码 1°连续信源的绝对熵为无限大,由于信道的带宽有限, 受信道容量的限制。不可能实现完全无失真的信源信息的 传输。(可能性) 2°信道资源和技术经济因素的限制。(可实现性) 3°实际应用不必要无失真地恢复信源消息,不必要完全 无失真的信源信息的传输.(必要性) 4°数字系统的应用,模拟量的采样,量化也会引入失真
第四章 限失真信源编码 限失真编码：信源编码经过译码后能保留应用要求的 信息，允许信源有一定的失真。 为什么要限失真编码 1°连续信源的绝对熵为无限大，由于信道的带宽有限， 受信道容量的限制。不可能实现完全无失真的信源信息的 传输。(可能性) 2°信道资源和技术经济因素的限制。(可实现性) 3°实际应用不必要无失真地恢复信源消息, 不必要完全 无失真的信源信息的传输. (必要性) 4°数字系统的应用 ,模拟量的采样,量化也会引入失真
语音信号传输 语音(音频)信号的带宽:20~20000HZ 实际应用音频范围: 电话质量: 300~34KHZ电话公用网 调幅广播质量:50~7KHZ有现场感的语音传输 高保真音频信号:20~20KHZ高保真音响 图像信号传输 路6MHz的普通电视信号数字化后,其数码率将 高达167Mbps,对储存器容量要求很大,占有的带宽将 达80MHz左右
语音信号传输 语音（音频）信号的带宽：20～20000HZ 实际应用音频范围: 电话质量: 300～3.4KHZ 电话公用网 调幅广播质量: 50 ～7 KHZ 有现场感的语音传输 高保真音频信号: 20 ～20 KHZ 高保真音响 图像信号传输 一路6MHz的普通电视信号数字化后，其数码率将 高达167Mbps，对储存器容量要求很大，占有的带宽将 达80MHz左右
表4-1各种图像信号应用的码率 象素数行数 码率bps 应用种类 行 /帧 压缩前压缩后 HDTⅤ 1920 1080 1.18G20~25M 普通电视720 480 167M 4~8M 会议电视352 288 36.5M 15~2M 电视电话128 112 5.2M 56k
表4－1 各种图像信号应用的码率 应用种类 象素数 /行 行 数 /帧 码率bps 压缩前 压缩后 HDTV 1920 1080 1.18G 20~25M 普通电视 720 480 167M 4~8M 会议电视 352 288 36.5M 1.5~2M 电视电话 128 112 5.2M 56k
41连续信源的熵和互信息 连续消息的统计特性 1.波形信源:肘间连续、取值连续 描述:机过程x()=(x4),x(1)…,) 例加在 t(: 取值 连续的 概旁密度函率族 描述:个 x;( 20 x2k x2(t) 10 t
一、连续消息的统计特性 2.描述: 1.波形信源： 在一个具体的时间点t i ，{x(t i )} 为一个取值 连续的随机变量，可用有限维概率密度函数族 描述： ( ) ( ) ( ) 1 1 1 2 1 1 2 2 1 2 1 2 , , , , , , , , , , , n n n p x t p x t x t p x x x t t t 1 2 ( ) { ( ), ( ), , ( )} n x t x t x t x t = 4.1 连续信源的熵和互信息
波形信源的特性 描述 独立的随机过程:Pn( TIP(xk,tk) 平稳随机过程:统计特性不随时间平移而变化的随机过程。 Pn(x pn(x r,t,+τ 遍历平稳过程:若一平稳随机过程{x(t)}的集平均以概率1 等于其时间平均,则称{x()}为遍历的平稳过程 大部尔实縻信号可呸近焖看作逅平穠过擢
➢平稳随机过程：统计特性不随时间平移而变化的随机过程。 ( ) ( ) 1 2 1 2 1 2 1 2 , , , , , , , , , , , , , , n n n n n n p x x x t t t p x x x t t t = + + + ★ {x(t)}在时刻t= ti的集平均: [ ] ( ) [ ( )] ( ) i E x x t p x t dx t t i i i + − = {x(t)}在某一时刻t i变量x(t i )的统计平均 一、波形信源的特性 2.描述: 1 1 1 ( , , , , , ) ( , ) n n n n k k k p x x t t p x t = ➢ 独立的随机过程： = ★ {x(t i )}的时间平均： {x(t i )}某一样本函数x’(t)的时间平均值 → − = T T T x (t )dt 2T 1 x (t ) lim ➢ 遍历平稳过程：若一平稳随机过程{x(t)}的集平均以概率1 等于其时间平均，则称{x(t)}为遍历的平稳过程
连续信源的熵 R p(rdx p(x)」Lp(x)」 方法 猬息离散化一N次扩長信源 时间离戴化、幅度分割逼近 变移量度函数的壁泡君舍 P(x)=P(x)P(x)= p(x)dx d
二、连续信源的熵 = ( ) p(x) R p x X ( ) =1 R p x dx 变量X的概率分布与概率密度函数的关系为： ( ) ( ) d p x P x dx = ( ) ( ) x P x p x dx − = 1、方法
连续信源的熵 对连续变量X的量化方法如下: 将X的取值范围[a,b]作n等分,每份4=(b-a) 则X落在第间内的概率为 a+i4 P=P{a+(-1)4sx<a+i4} p(xdx= P(x,)4 a+(i-1)4 p(x) x1∈[a+(i-1)△,a+i△ △ 0 a+(i-1)△a+i△ b
对连续变量X的量化方法如下： 将X的取值范围[a,b]作n等分，每份=(b-a)/n ( 1) ( 1) ( ) ( ) a i i i a i P P a i x a i p x dx p x + + − = + − + = = p(x) a 0 a+(i-1)Δ a+iΔ b Pi x Δ 二、连续信源的熵 则X落在第i区间内的概率为： x [a + (i −1),a + i) i
连续信源的熵 则连续信源X: R p(xdx=l p(x)」Lp( R X 变为 P(x)」Lp(x),p(x2)4…,p(x)A,…,p(x)A 且2(x)4=∑∫ a+i4 b 7+((x) Je p(xyx=1 此信源合理!
1 2 1 2 , , , , , : ( ) , ( ) , ( ) , ( ) , , ( ) N i N i N X x x x x P x p x p x p x p x = 变为 ( 1) 1 1 : ( ) ( ) ( ) 1 N N a i b i a i a i i p x p x dx p x dx + + − = = = = = 且 则连续信源X: = ( ) p(x) R p x X ( ) =1 R p x dx 此信源合理！ 二、连续信源的熵
二、连续信源的熵 2、相对熵 h(X)= p(x)log ( 或X)=-p(x)logp(x)k XY ∫vx)g dx小y h(X)=小叭(x)0%py (Xr) ∫ p(xy)log p(xy )dxdy
二、连续信源的熵 2、相对熵 1 ( ) ( ) ( ) b a h X p x log dx p x = : ( ) ( )log ( ) R h X p x p x dx = − 或 1 ( ) ( ) ( ) h X Y p xy log dxdy p x y = 1 ( ) ( ) ( ) h Y X p xy log dxdy p y x = h XY p xy p xy dxdy ( ) ( )log ( ) = −
