吉祥5. 2两种典型的译码规则两种典型的译码规则：最佳译码规则、极大似然译码规则1、最佳译码规则：平均差错率最小的译码规则HXY信道译码DMCFA= (a,a.,..,a,)A={a,a,,a,)B= {bi,b2,*-,bs)NF(b,)=a,eA, b,eB。=Z P(b,)(1-P[F(b,)1b, ])HP(a, lb,)≥P(a, Ib,), a, E A按“后验概率最大”原P(b,)P(a, 1b,)≥ P(b,)P(a, 1b,)则定出，又称最大后验概P(a,,b,)≥ P(a,,b,)率译码规则F(b,)=a,eA, b, EB按“联合概率最大”F:原则定出，又称最大联P(a,,b,)≥ P(a,,b,),a,EA合概率译码规则
1 5.2 两种典型的译码规则 两种典型的译码规则：最佳译码规则、极大似然译码规则 1、最佳译码规则：平均差错率最小的译码规则。 X Y DMC 1 2 { , , , } A a a a r 1 2 { , , , } B b b b s 信道译码 F X ˆ 1 2 { , , , } A a a a r N 1 ( ) 1 ( ) | s e j j j j P P b P F b b * * ( | ) ( ) | ) ( , : , j j j j i j i j P a b P a F b a A b B F b a A * ( , ( , ) P a b P a b j j i j * ( ) ( | ) ( ) ( | ) P b P j j P a b a b j j i j b P * * ( , ( , ) ) ( , : , j j i j j j j P a b P a i F b a A b B F b a A 按“后验概率最大”原 则定出，又称最大后验概 率译码规则 按“联合概率最大” 原则定出，又称最大联 合概率译码规则
最大联合概率译码规则使用起来更方便，根据输入概率和转移概率，就可求出联合概率。1由联合概率算出输出概率，1然后才能求出后验概率，蒙福森
最大联合概率译码规则使用起来更方便。 根据输入概率和转移概率，就可求出联合 概率。 由联合概率算出输出概率，然后才能求出 后验概率
0.8例：求最佳译码规则ba10.2P(a)= 0.40.1求出最佳译码规则及平均差错率。a2b,0.9[P,]=[0.380.62]0.61[Px]=[0.411b,b21b,b2bb20.84210.320.1290[0.80.080.2ajaia[Pxir] -[Pyix ] =[Px]=0.10.15790.87100.9a20.06an0.54a21P(F)=1=ZP[F(b,),b,F(b)= aF(b)= αiFV疆=1-[P(a,b)+ P(a2,b,)]F(b,) = α2F(b2)= α2=1-(0.32+0.54)= 0.14已知的结[F(b) =a)F,(b)=az2[F(b)=aF(b)=a2论:FF2FF :(F,(b,)=a,F(b2)=aF(b,)=a2F(b,)=ajP(F)=0.4P(F)=0.14P(F)=0.86P(F)=0.6
3 例：求最佳译码规则 0.8 0.9 0.2 0.1 b2 a1 b1 a2 1 P a( ) 0.4 求出最佳译码规则及平均差错率。 [ ] 0.4 0.6 PX 1 1 2 2 | 0.8 0.2 [ ] 0.1 0.9 Y X a P b b a 1 2 1 2 0.08 [ ] 0 0.32 .06 0.54 XY b b a a P 3 1 1 3 3 2 2 ( ) : ( ) F b a F F b a 1 1 1 1 1 2 1 ( ) : ( ) F b a F F b a 4 1 2 4 4 2 1 ( ) : ( ) F b a F F b a 2 1 2 2 2 2 2 ( ) : ( ) F b a F F b a 已知的结 论： 1 ( ) 0.6 P F e 2 ( ) 0.4 P F e 3 ( ) 0.14 P F e 4 ( ) 0.86 P F e 1 2 1 2 | 0.1290 [ ] 0.1579 0.8421 0.8710 X Y b P b a a [ ] 0.38 0.62 PY 1 1 2 2 ( ) : ( ) F b a F F b a 1 1 2 2 ( ) : ( ) F b a F F b a 3 3 1 1 1 2 2 0. ( ) 1 ( ), 1 ( , ) ( , ) 1 (0.32 0.54) 14 s e j j j P F P F b b P a b P a b
吉群2、极大似然译码规则实际应用中，经常只知道信道的统计特性（转移概率）而不知道信源的统计特性（输入概率），这时求不出联合概率和后验概率，因此无法确定最佳译码规则，既然只知道转移概率，就只能按转移概率的某种约束条件制订译码规则。按最大转移概率条件来确定的译码规则，称为极大似然译码规则按“转移概率最大F(b,)=a,EA, b, EB原则定出，称为极大HP(b, la,)≥P(b,la), a, E A似然译码规则
4 2、极大似然译码规则 按“转移概率最大” 原则定出，称为极大 似然译码规则。 实际应用中，经常只知道信道的统计特性(转移概率)， 而不知道信源的统计特性(输入概率)，这时求不出联 合概率和后验概率，因此无法确定最佳译码规则。 既然只知道转移概率，就只能按转移概率的某种约束 条件制订译码规则。 按最大转移概率条件来确定的译码规则，称为极大似 然译码规则。 * * ( ) , : ( | ) ( | ) , j j j j j j i i F b a A b B F P b a P b a a A
例：极大似然译码规则0.50.20.3已知信道转移矩阵，0.50.20.3[Prix] =确定译码规则。10.30.40.3只已知转移概率，无法找出最佳译码规则，只能采用极大似然译码规则。将转移矩阵各列最大的转移概率标出，重写转移矩阵如下:招b,b,b3注：无法求出0.50.20.3a一-0.3平均差错率。[Pyix] =0.20.5az0.30.30.4aF(b)=a按“转移概率最FF(b2)=a(or a2,as大”原则确定极5大似然译码规则：F(b,) = aα2
5 例：极大似然译码规则 已知信道转移矩阵， 确定译码规则。 | 0.5 0.3 0.2 [ ] 0.2 0.3 0.5 0.3 0.3 0.4 PY X 只已知转移概率，无法找出最佳译码规则，只能采用极 大似然译码规则。 将转移矩阵各列最大的转移概率标出，重写转移矩阵如 下： 1 2 3 1 | 2 3 0.5 0.3 0 0.2 [ ] 0.2 0.3 0.3 0.3 0.4 .5 Y X b b b a P a a 1 1 2 1 2 3 3 2 ( ) : ( ) (or , ) ( ) F b a F F b a a a F b a 按“转移概率最 大”原则确定极 大似然译码规则： 注：无法求出 平均差错率
极大似然译码规则与最佳译码规则等价的条件洋买最佳译码规则极大似然译码规则F(b,)=a,eA, b, EB[F(b,)=a, εA, b, =BHFP(b,la,)≥ P(b, Ia,), a, e AP(a,,b,)≥ P(a,b,), a, E A结论：信道输入等概时，极大似然译码规则与最佳译码规则等价怡证明：P(a,)P(b, Ia,) ≥ P(a,)P(b, /a,)输入等概死 > P(a,)=P(a,)P(b, la,)≥ P(b, la,)P(a,b,)≥ P(a,b,)吉花（1）信道输入是近似等概的：因为信道前级有信源注编码器存在。（2）极大似然译码规则近似最佳，可以放心使用
6 极大似然译码规则与最佳译码规则等价的条件 * * ( | ) ( | ) ( ) , : , j j j P b a P b j j j i i F b a A b a a A B F * * ( , ( , ) ) ( , : , j j i j j j j P a b P a i F b a A b B F b a A 极大似然译码规则 最佳译码规则 结论：信道输入等概时，极大似然译码规则与最佳译码规则等价 * ( | ) ( | ) P b a P b a j j j i * ( , ( , ) P a b P a b j j i j 证明： 输入等概 * ( ) ( ) P a P a j i * * ( ) ( ( | ) ) ( | ) P a P a j P b a P b a j j j i i （1）信道输入是近似等概的：因为信道前级有信源 编码器存在。 （2）极大似然译码规则近似最佳，可以放心使用。 注
吉祥5.3平均差错率与信道编码P与译码规则有关，即使选择最佳译码规则，也只能使P有限地减小，难以满足信息传递系统的高可靠性要求要进一步降低P，必须在传送之前进行信道编码XUDMC例:DMS(a,a2)(b,b,)(u,u,)p= 0.99b=0q =0[Uu=1=0p=0.010.50.5Pup=0.01=1a =]b.p=0.99二元信源的消息个数：M-2无信道编码时：3b2F(b,)=a滴：H(U)=logM-1 bit/符号0.990.01[PxY]F(b,)=az0.010.99a由于信道输入等概，这时极大似然译码规则是最佳的。P, =1-p[b,IF(b,)]=1-(0.99 +0.99) =10-2
7 5.3 平均差错率与信道编码 Pe与译码规则有关，即使选择最佳译码规则，也只能使Pe有 限地减小，难以满足信息传递系统的高可靠性要求。 要进一步降低Pe，必须在传送之前进行信道编码。 p 0.99 p 0.99 p 0.01 p 0.01 1 a 0 2 a 1 1 b 0 2 b 1 X Y DMC 1 2 { , } a a 1 2 { , } b b U DMS 1 2 { , } u u 1 1 0 1 U 0.5 0.5 U u u P 二元信源的消息个数：M=2 熵：H(U)=logM=1 bit/符号 由于信道输入等概，这时极 大似然译码规则是最佳的。 1 2 1 2 0.99 0.01 [ ] 0.01 0.99 XY b b a P a 1 1 2 2 ( ) : ( ) F b a F F b a 2 1 1 1 1 | ( ) 1 (0.99 0.99) 10 2 s e j j j P P b F b r 无信道编码时： 例：
吉祥111编码1、“简单重复”1y3X3X3U信道编码信道译码Pyir3Ff(βi, β,..., βs)(α,a2,",ag)(u,u.)(u,u)111111/1111111111111111111Iβ, =00011111000二u, =0.>α11111β, = 001= 001α2F-1>α; =000β, = 010= 010αs1α4 =011β =10011>αs =10011111β4 = 011)αg=101111Iβ =101A= 111福α, =110>α1β, =110111111二→αgu, =1β: = 1111111111111111111111111111
1、 “简单重复”编码 信道译码 F 3 X ˆ 3 X 3 信道编码 Y f 1 2 8 { , , , } 1 2 8 { , , , } U 1 2 { , } u u 1 2 { , } u u 3 3 Y X| P 1 1 2 3 4 5 6 7 2 8 0 000 001 010 011 100 101 110 1 111 f f u u 1 2 3 5 4 6 7 8 000 001 010 100 011 101 110 111 1 8 000 111 F F
11111111-11111ββ4βaβsββsββ,1P3pp2ppppppp'pppa,Pp3pp?pp2pppp21p3αgppp1F(β)=α F(β,)=αl F(β)=αl F(β,)=αgF(β)=α F(β)=αg F(β,)=αg F(β)=αg11ZP[β,IF(β)]=1p+pp+pp+pp+p+)~3×10-43+p++2111111I111-1H(U)log Mlog 2bit/符号信道编码之后的信息率：RN33N1/1111111111111111111
3 3 1 2 3 4 5 6 7 8 3 2 2 2 2 2 2 3 1 | 3 2 2 2 2 2 2 3 8 [ ] Y X p p p p p pp p p pp pp p P p pp pp p p pp p p p p p 1 1 2 1 3 1 4 8 5 1 6 8 7 8 8 8 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) F F F F F F F F 8 3 2 2 2 2 2 2 3 4 1 1 1 1 | ( ) 1 ( ) 3 10 2 e l l l P P F p p p p p p p p p p p p p p r 信道编码之后的信息率： ( ) log log 2 1 3 3 H U M R N N bit/符号
1信道编码前后比较11无编码“重复2次”编码N=3N= 11P= 10-2P=3 × 10-41?log Mlog 2log M1log 2RR:13NN31bit/符号bit/符号“重复”编码的其它结果1结论：111N=5,P=10-5,bit/符号R=5随着“重复3次数的增加，P.下降，N=7,P=4 × 10-7,R=bit/符号7R也跟着下降。bit/符号R=1N=9,P=-10-9910
10 信道编码前后比较 无编码 N = 1 Pe = 10-2 bit/符号 log log 2 1 1 M R N “重复2次”编码 N=3 Pe=3×10-4 bit/符号 log log 2 1 3 3 M R N 结论： 随着“重复” 次数的增加，Pe下降， R 也跟着下降。 “重复”编码 的其它结果 N=5,Pe=10-5 , N=7,Pe=4×10-7 , N=9,Pe=10-9 , 1 5 R bit/符号 1 9 R bit/符号 bit/符号 1 7 R