信源编码
信源编码
定义:信源的相对率(信息效率)为信源实际的信息熵与同样 n=h(X/Hmax(x) 信源的冗我为减美相()也称为多余 度,剩余度或富余度。 冗余度:2=1-=(Hnm-H)/Hm
⚫ 定义：信源的相对率（信息效率）为信源实际的信息熵与同样 符号数的最大熵的比值； 信源的冗余度为1减去信源熵的相对率，冗余度也称为多余 度，剩余度或富余度。 max max 冗余度: 1 ( )/ = − = − H H H max max ( ) / ( ) ( ) / ( ) H X H X H X H X = 或 =
信源编码和码的分类 1编码的定义和基本概念 2码的分类
⚫ 信源编码和码的分类 1.编码的定义和基本概念 2.码的分类
的份类: 可变长度码: 码中码字的长度不相同 非奇异码: 码字与信源符号一一对应 奇异码: 码字与信源符号不能一一对应
码的分类： 定长码： 码中所有码字的长度都相同。 可变长度码： 码中码字的长度不相同。 码字与信源符号一一对应 奇异码： 码字与信源符号不能一一对应。 非奇异码：
唯一可译码: 割为 码字,则称为唯一可译码 否则为非唯一可译码 任何一个码字不是其它码字的延长或前缀
唯一可译码： ⚫ 任意有限长度的码元序列，只能被唯一地分割为 一个个码字，则称为唯一可译码。 ⚫ 否则为非唯一可译码。 任何一个码字不是其它码字的延长或前缀
即时码与非即时码: 个唯一可译码,在接收端收到一个完整码字后,是否能 立即译码 能即时译码,为即时码。否则为非即时码
即时码与非即时码： ⚫ 一个唯一可译码，在接收端收到一个完整码字后，是否能 立即译码。 ⚫ 能即时译码，为即时码。否则为非即时码
即时码与码树: 即时码可用码树来构造。 构造方法的要点
即时码与码树： ⚫ 即时码可用码树来构造。 ⚫ 构造方法的要点
唯一可译码定理 符 5N{a1424,又设码字为W{W12M 其码长分别为n1m2…n。则存在唯一可译码的充 分必要条件是:q,r,n(=12,,q满足克劳夫特 ( Kraft)不等式,即: r<1
唯一可译码定理 定理：设信源S的符号集为S：{s1 ,s2 ,…,sq}，码符 号集X:{a1 ,a2 ,…,ar}，又设码字为W:{w1 ,w2 ,…,wq} 其码长分别为n1 ,n2 ,…,nq。则存在唯一可译码的充 分必要条件是：q，r，ni (i=1,2,…,q)满足克劳夫特 （Kraft）不等式，即： = − q i ni r 1 1
定长编码定理: 个熔组 △答具的城为HQX) 的无记忆平稳信源×仪 符号Y 2,…,Yk(每个符号有「种可能性) 对任意的E>0,>0,只要 K logr≥H(x)+E, 当L足够大,几乎可无失真译码,即译码 差错概率小于δ
定长编码定理： （1） 由L个符号组成，每个符号的熵为H(X) 的无记忆平稳信源X1X2…XL ,可用K个符号Y1， Y2，…,YK (每个符号有r种可能性）。 0, 0, log ( ) , K r H X L + 对任意的 只要 L 当 足够大，几乎可无失真译码，即译码 差错概率小于
定长编码定理 K logr≤H(x)-28, 译码失真为有限值,当L足够大,译码几 乎必出错
定长编码定理： （2） 反之 log ( ) 2 , K r H X L − 译码失真为有限值，当L足够大，译码几 乎必出错