信源编码:将信源输出的消息进行有效 变换,使其成为适合信道传输的符号序 列,且使该序列组成的新信源的剩余度 尽量减少。 S H=(x;x;…x;) 基本源编码 S;∈S={S1,S2,…Sa} W∈C=W1,W2,…W} 消息集合={x1,x2,…x} 码字集合 c1=(S;,S;,…S;、) N长源编码 S={ax1,a2,…a、} 所∈C={W1,W2,…WN S;k∈S={S1,S2,…S} 消息集合X={x1,x2;…x} 码字集合
信源编码：将信源输出的消息进行有效 变换，使其成为适合信道传输的符号序 列，且使该序列组成的新信源的剩余度 尽量减少。 基本源编码 Si ( ) 1 2 i l Wi xi xi xi = { , , } 1 2 r X = x x x { , , } Si S = S1 S2 Sq { , , } Wi C W1 W2 Wq = 消息集合 码字集合 N 长源编码 ( ) i i i 1 i 2 iN S S S S = = ( ) 1 2 i Wi xi xi xi = { , , } 1 2 r X = x x x { , , } Si k S = S1 S2 Sq { , , } 1 2 N q Wi C W W W = 消息集合 码字集合 { , , } 1 2 N q N S =
例 信源符号符号概率码1码2码3 码4码5 ( 00 10 10 01 01 1/80000100 10 1/8 11 0110000001 定义4-1:若某一种码的任意一串有限长的 码序列只能被唯一地译成所对应的信源符 号,则该码称为惟一可译码,反之为非惟一 可译码 例:对DMS进行无失真编码 S1,S2 =3 si 4 二次扩展信源编码 P(ai 码C SIS 9/16 0 SIS2 3/16 10 2 S2S1 3/16 110 3 1/16
例： 信源符号 si 符号概率 p(si) 码 1 码 2 码 3 码 4 码 5 S1 1／2 0 0 1 1 00 S2 1／4 11 10 10 01 01 S3 1／8 00 00 100 001 10 S4 1／8 11 01 1000 0001 11 定义 4－1：若某一种码的任意一串有限长的 码序列只能被唯一地译成所对应的信源符 号，则该码称为惟一可译码，反之为非惟一 可译码。 例：对 DMS 进行无失真编码。 = 4 1 , 4 3 , ( ) S1 S2 P s S i 二次扩展信源编码 ai P(ai) 码 C li S1S1 9/16 0 1 S1S2 3/16 10 2 S2S1 3/16 110 3 S2S2 1/16 111 3
定理4-4:香农第一定理(可变长无失真信源编码定理) DMS的N次扩展信源SN={a1,a2,,aqN}, 其熵为HS),并有码符号X={x,x2,….xr 对信源SN进行编码,总可以找到一种编码方法 构成惟一可译码,使信源S中每个信源符号所 需的平均码长满足: H(S).1 H(S) r og 且当N少∞时,有:limk=B,(s 其中,L=Σm为N长源编码的平均码长,M 是a所对应的码字长度。 表述二:若R>H(S,就存在惟一可译变长编码; 若R<H(S),惟一可译变长编码不存在,不能实 现无失真编码。(其中R=gr) 表述三:(无噪信道编码定理) 若信道的信息传输率R不大于信道容量C, 总能对信源的输出进行适当编码,使得在无损无 噪信道上能无差错地以最大信息传输率C传输 信息;但要使信道信息传输率R大于C而无差 错地传输则是不可能的
定理 4－4：香农第一定理（可变长无失真信源编码定理） DMS 的 N 次扩展信源 S N＝｛1，2，qN｝， 其熵为 H(SN)，并有码符号 X＝｛x1，x2， xr｝。 对信源 S N进行编码，总可以找到一种编码方法， 构成惟一可译码，使信源 S 中每个信源符号所 需的平均码长满足： r H S N L r N H S N log 1 ( ) log ( ) + 且当 N→时，有： ( ) log ( ) lim H S r H S N L r N N = = → 其中， = = N q i LN p ai i 1 ( ) 为 N 长源编码的平均码长，i 是i所对应的码字长度。 表述二：若 R>H(S)，就存在惟一可译变长编码； 若 R<H(S)，惟一可译变长编码不存在，不能实 现无失真编码。（其中 r N L R N '= log ） 表述三：（无噪信道编码定理） 若信道的信息传输率 R 不大于信道容量 C， 总能对信源的输出进行适当编码，使得在无损无 噪信道上能无差错地以最大信息传输率 C 传输 信息；但要使信道信息传输率 R 大于 C 而无差 错地传输则是不可能的
表述四: 设信源熵为H(比特/号),无噪无损信道 的信道容量为C(比特/秒),则总可以找到一种 编码方法对信源的输出进行无失真编码,使得在 信道上传输的平均码速率为(C/H-e)(符号/ 秒),其中ε为任意小的正数,但要使传输的平 均码速率大于CH(符号秒)是不可能的 信道编码概念小结: 目的:降低错误译码概率PE。 对象:信息序列(设码元间彼此无关且等概出 现)。 方法:在传输的信息码之中按一定规律产生一些 附加数字,经信道传输,在传输中若码字出现错 误,收端能利用编码规律发现码的内在相关性受 到破坏,从而按一定的译码规则自动纠正或发现 错误,降低误码率。 实质:在保持一定传输信息速率条件下,通过增 加一定的码元多余度,使输出的码字具有特定的 相关性,从而使收端易于发现或纠正由于信道噪 声而引起的传输错误
表述四： 设信源熵为 H（比特/符号），无噪无损信道 的信道容量为 C（比特 t /秒），则总可以找到一种 编码方法对信源的输出进行无失真编码，使得在 信道上传输的平均码速率为（Ct/H-ε）（符号/ 秒），其中ε为任意小的正数，但要使传输的平 均码速率大于 Ct/H（符号/秒）是不可能的。 信道编码概念小结： 目的：降低错误译码概率 PE。 对象：信息序列（设码元间彼此无关且等概出 现）。 方法：在传输的信息码之中按一定规律产生一些 附加数字，经信道传输，在传输中若码字出现错 误，收端能利用编码规律发现码的内在相关性受 到破坏，从而按一定的译码规则自动纠正或发现 错误，降低误码率。 实质：在保持一定传输信息速率条件下，通过增 加一定的码元多余度，使输出的码字具有特定的 相关性，从而使收端易于发现或纠正由于信道噪 声而引起的传输错误
香农第二定理(有噪信道编码定理) 设某离散无记忆信道有r个输入,s个输 出,信道容量为C,在输入严个符号中选出 M个码字组成一种码,设ε是任意小的正 数 1)若M≤2m(C°),则存在这样的码及相 应的译码规则,当n足够大时,使信道 输出的错误概率PE任意小 2)若M=2C+a则无论n多大,也找不 到一种编码,使译码错误概率PE任意 表述二: 若在信息传输率R不大于信道容量C (即R≤C),则存在一种编码,当码长n 足够大时,它可以使信道输出端的错误概率 任意小,而信息传输率无限接近C;如果 R>C,则不可能找到一种编码,使输出端错 误概率任意小
香农第二定理（有噪信道编码定理） 设某离散无记忆信道有 r 个输入，s 个输 出，信道容量为 C，在输入 r n个符号中选出 M 个码字组成一种码，设ε是任意小的正 数， 1） 若 M≤2 n(C-ε)，则存在这样的码及相 应的译码规则，当 n 足够大时，使信道 输出的错误概率 PE任意小； 2） 若 M=2n(C+ε)则无论 n 多大，也找不 到一种编码，使译码错误概率 PE 任意 小。 表述二： 若在信息传输率 R 不大于信道容量 C （即 R≤C），则存在一种编码，当码长 n 足够大时，它可以使信道输出端的错误概率 任意小，而信息传输率无限接近 C；如果 R>C，则不可能找到一种编码，使输出端错 误概率任意小
香农第三定理(保真度准则下的信源编码定理) 设R(D为一离散无记忆信源的信息率 失真函数,并且有有限的失真测度D,则对 于任意的D≥0,E>0,以及任意长的码长n, 定存在一种码字个数为M≥2叫R(D的信 源编码,使编码后的平均失真度DO)≤D+E。 表述二 设R(①D)为一离散无记忆信源的信息率 失真函数,并且规定了有限的失真测度,对 于任意的D≥0,ε>0,则: 1)若给定失真D,且R=ogMm≥ R(D),则存在长度为N的码,它的平均 失真度DO)≤D+;(正定理) 2)若R<R(D)时,无论采用什么编码, 其平均失真大于D。(逆定理)
香农第三定理（保真度准则下的信源编码定理） 设 R(D)为一离散无记忆信源的信息率 失真函数，并且有有限的失真测度 D，则对 于任意的 D≥0，ε>0，以及任意长的码长 n， 一定存在一种码字个数为 M≥2 n[R(D)+ε]的信 源编码，使编码后的平均失真度 D(C) D + 。 表述二： 设 R(D)为一离散无记忆信源的信息率 失真函数，并且规定了有限的失真测度，对 于任意的 D≥0，ε>0，则： 1） 若给定失真 D，且 R’=logM/n≥ R(D)，则存在长度为 N 的码，它的平均 失真度 D(C) D + ；（正定理） 2） 若 R’<R(D)时，无论采用什么编码， 其平均失真大于 D。（逆定理）
限无 无限 失失信 信失||失 真 真 信□层□后2信道上源源宿 源 信源编码 信编 道\信 信//信 源 码 码 编码 译码 译码 般通信系统框图
信源 限失真信源编码 无失真信源编码 信道编码 信道 信道译码 信宿 限失真信源译码 无失真信源译码 一般通信系统框图