定义:信源的相对率(信息效率)为信源实际的信息熵与同样 n=h(X/Hmax(x) 信源的冗我为减美相()也称为多余 度,剩余度或富余度。 冗余度:2=1-=(Hnm-H)/Hm
⚫ 定义:信源的相对率(信息效率)为信源实际的信息熵与同样 符号数的最大熵的比值; 信源的冗余度为1减去信源熵的相对率,冗余度也称为多余 度,剩余度或富余度。 max max 冗余度: 1 ( )/ = − = − H H H max max ( ) / ( ) ( ) / ( ) H X H X H X H X = 或 =
的份类: 可变长度码: 码中码字的长度不相同 非奇异码: 码字与信源符号一一对应 奇异码: 码字与信源符号不能一一对应
码的分类: 定长码: 码中所有码字的长度都相同。 可变长度码: 码中码字的长度不相同。 码字与信源符号一一对应 奇异码: 码字与信源符号不能一一对应。 非奇异码:
唯一可译码: 割为 码字,则称为唯一可译码 否则为非唯一可译码 任何一个码字不是其它码字的延长或前缀
唯一可译码: ⚫ 任意有限长度的码元序列,只能被唯一地分割为 一个个码字,则称为唯一可译码。 ⚫ 否则为非唯一可译码。 任何一个码字不是其它码字的延长或前缀
即时码与非即时码: 个唯一可译码,在接收端收到一个完整码字后,是否能 立即译码 能即时译码,为即时码。否则为非即时码
即时码与非即时码: ⚫ 一个唯一可译码,在接收端收到一个完整码字后,是否能 立即译码。 ⚫ 能即时译码,为即时码。否则为非即时码
唯一可译码定理 符 5N{a1424,又设码字为W{W12M 其码长分别为n1m2…n。则存在唯一可译码的充 分必要条件是:q,r,n(=12,,q满足克劳夫特 ( Kraft)不等式,即: r<1
唯一可译码定理 定理:设信源S的符号集为S:{s1 ,s2 ,…,sq},码符 号集X:{a1 ,a2 ,…,ar},又设码字为W:{w1 ,w2 ,…,wq} 其码长分别为n1 ,n2 ,…,nq。则存在唯一可译码的充 分必要条件是:q,r,ni (i=1,2,…,q)满足克劳夫特 (Kraft)不等式,即: = − q i ni r 1 1