第三章无失真信源编码 教你一个不被迷 注意:这份答案我是拿别人的仅是参考答案 惑的绝招啊就是 搞清楚他们的含 答案中会出现R、R、n、K 义和单位。 KL混用的,不过方法还是正确的,希望在 看的时候不要被它所迷惑啊 (1)C1C2c3C6 (2)c1,C3,C6 H()=-Log 2)+-Log4+4. -Log K1=3R1=HA=2 2=1+1 3+-4+-5+-6=2.12 H(X =0941 3=-1+-.2+亠3+2,4+5 16+166=225R3=H(x =0941 K32.125 s24+163+13+13+13=25=H2=2-03 3-2 1)因为A,BC,D四个字母,每个字母用两个码,每个码为0.5ms,所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2 平均信息传递速率为 H(2 =0.2bit/ms=200bit/s 10 (2)信源熵为 HX=1og+1og+元1g4+Log 3 =1985 H(2 0. 198bit/ms=198bit/ 3-3与上题相同 (1)24816326418128 H()F Log(2)+log(4)+。log(8)+log(16)+Log(32)+1og(64)+18 log(128)+-Iog(128)=1.984
第三章 无失真信源编码 注意：这份答案我是拿别人的,仅是参考答案. 答案中会出现 R、R ′ 、η、 K 、 KL混用的，不过方法还是正确的，希望在 看的时候不要被它所迷惑啊! 3-1 3-2 (1) 因为 A,B,C,D 四个字母,每个字母用两个码,每个码为 0.5ms, 所以每个字母用 10ms 当信源等概率分布时,信源熵为 H(X)=log(4)=2 平均信息传递速率为 bit/ms=200bit/s (2) 信源熵为 H(X)= =0.198bit/ms=198bit/s 3-3 与上题相同 3-5 (1) 1 2 1 4 1 8 1 16 1 32 1 64 1 128 1 128 H(U)= 1 2 Log(2) 1 4 + Log(4) 1 8 + Log(8) 1 16 + Log(16) 1 32 + Log(32) 1 64 + Log(64) 1 128 + Log(128) 1 128 + Log(128) = 1.984 教你一个不被迷 惑的绝招啊就是 搞清楚他们的含 义和单位
(2)每个信源使用3个二进制符号,出现0的次数为 出现1的次数为 1-+1-+2+1+1.一+2—+3 2.398 P(O=2398+0586 =0804 P(1)= 2398+0586 0661 (4)相应的香农编码 信源符号符号概率累加概率|- Logp(xi)码长Ki|码字 1/2 1/4 1/8 0.75 110 l/16 0.875 4 1110 l/32 0.938 l1l10 6 1/64 0.969 6 6 l1l110 l/128 0.984 1111110 l/128 0.992 11111110 相应的费诺码 信源符号概第 第三第四第五第六|第七|二元码 符号x率pi次分次分次分次分次分次分次分 X 1/4 1/8 0 110 1/16 1110 0 1/(64 111110 l/128 1111110 l/128 11111110 (5)香农码和费诺码相同 平均码长为E=1+2+13+14+15+16+7+1 了=1984 编码效率为:R HU 1984 1984
(2) 每个信源使用 3 个二进制符号,出现 0 的次数为 出现 1 的次数为 P(0)= P(1)= (3) (4) 相应的香农编码 信源符号 xi 符号概率 pi 累加概率 Pi -Logp(xi) 码长 Ki 码字 x1 1/2 0 1 1 0 x2 1/4 0.5 2 2 10 x3 1/8 0.75 3 3 110 x4 1/16 0.875 4 4 1110 x5 1/32 0.938 5 5 11110 x6 1/64 0.969 6 6 111110 x7 1/128 0.984 7 7 1111110 x8 1/128 0.992 7 7 11111110 相应的费诺码 信 源 符号xi 符号概 率 pi 第 一 次 分 组 第 二 次 分 组 第 三 次 分 组 第 四 次 分 组 第 五 次 分 组 第 六 次 分 组 第 七 次 分 组 二元码 x1 1/2 0 0 x2 1/4 1 0 10 x3 1/8 1 0 110 x4 1/16 1 0 1110 x5 1/32 1 0 11110 x6 1/64 1 0 111110 x7 1/128 1 0 1111110 x8 1/128 1 11111110 （5）香农码和费诺码相同 平均码长为 编码效率为：
3-7 1 (1)p2累加概率为P∑马 累加概率分别为 符号x1x1x2 概率1/214181/161/321641/128|1/256 累加 0 0.50.750.8750.9380.9690.9840.992 概率 码长 11011011010101 元码 (2)信源的信息量为 H(=-Log 2)+Log(4+-Log(8)+- Log(16+.+Log2)+ 平均码长为: -1 码字的平均信息传输率为 H(X (3)编码效率 HA=100% K (1)H(X 37Log(037-025L0g(0.25+0.18Log(0.18-0.1Log(0.1)-007Log(007-003Lg(003=1338 (2) 信源符号符号概率 编码过程 编码 长 0.37 0.37 0.38 0.62 00 0 →0.25→0.25 × 0.38 01 0.18 0209025 0.10 →0.10 0.18 100 0.07 1010 X6 0.03 10114
3-7 （1） pi= 累加概率为 Pi= 累加概率分别为 符号 x1 x1 x2 x3 x4 x5 x6 x7 … 概率 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/256 … 累加 概率 0 0.5 0.75 0.875 0.938 0.969 0.984 0.992 … 码长 1 2 3 4 5 6 7 8 二 元码 0 10 110 1110 11110 111110 1111110 11111110 … （2）信源的信息量为 平均码长为： 码字的平均信息传输率为 R＝ bit/码 （3）编码效率 R＝ 100％ 3-10 （1）H(X)＝ （2） 信源符号 xi 符号概率 pi 编码过程 编码 码 长 x1 0.37 0.37 0.37 0.38 0.62 1 00 2 x2 0.25 0.25 0.25 0.37 0.38 01 2 x3 0.18 0.18 0.20 0.25 11 2 x4 0.10 0.10 0.18 100 3 x5 0.07 0.10 1010 4 x6 0.03 1011 4
K=0372+0252+0182+0.103+0074+0034=23 H(=13 K 3-11 (1)信源熵 HQ=-032Log(032)-022Log(022-018Log018-016L8016)-08Log008)-004L8(04=2352 (2)香农编码: 信源符号符号概率累加概率|-Logp(x)码长Ki码字 0.32 1644 0.22 0.32 2.184 010 0.54 2.474 0.16 0.72 2 644 101 0.08 0.88 3.644 1110 6 0.04 0.96 4644 l1110 平均码长: K=0322+0223+0.18.3+0.163+0084+0045=284 编码效率为 R=H(2Q 2352 =0828 K 费诺编码为 信源符符号 3 编码|码长 XI 0.22 01 0.18 10 0 110 「xs0.08 0 l110 222344 0.04 1111 平均码长为:K=0322+0222+0182+0163+0084+0044=24 编码效率:R=224-0845 K284 (4)哈夫曼编码
3-11 （1）信源熵 （2）香农编码： 信源符号 xi 符号概率 pi 累加概率 Pi -Logp(xi) 码长 Ki 码字 x1 0.32 0 1.644 2 00 x2 0.22 0.32 2.184 3 010 x3 0.18 0.54 2.474 3 100 x4 0.16 0.72 2.644 3 101 x5 0.08 0.88 3.644 4 1110 x6 0.04 0.96 4.644 5 11110 平均码长： 编码效率为 （3） 费诺编码为 信源符 号 xi 符号概 率 pi 1 2 3 4 编码 码长 x1 0.32 0 0 00 2 x2 0.22 1 01 2 x3 0.18 1 0 10 2 x4 0.16 1 0 110 3 x5 0.08 1 0 1110 4 x6 0.04 1 1111 4 平均码长为： 编码效率： （4）哈夫曼编码
信源符号符号概率 编码过程 编码 长 0.32 0.32 0.40 0.22 0.22 0.32 10 0.18 →0.18 0.22 →0.12 04 00l14 平均码长为:K=0322+0222+0182+0163+0084+0044=24 编码效率:R=H224-0845 K284 3-12 (1)信源熵 H)=-01Log(1)-0.8Log(013-04L0804-005Log005-006L。g00o-0Lo1-0mLog(00-004L8(004=252 信息传输速率2.552bits 信源|符号概 编码过程 符号率pi 编码码长 X 0.4 04→0.4→0.4 0.6 0.18 →0.180.18 0.23、0270041001 3 0.1 0.18 0.190/N0.23 O11 0.1 4 0.09 0100 0.07 0101 0.05 00010 x80.04 000ll K=041+0183+013+014+0074+0064+0055+0045=261 R=H(XQ=2.552 =097 K 61 (3)香农编码
信源符号 xi 符号概率 pi 编码过程 编码 码 长 x1 0.32 0.32 0.38 0.40 0.60 1 01 2 x2 0.22 0.22 0.32 0.38 0.40 10 2 x3 0.18 0.18 0.22 0.32 11 2 x4 0.16 0.16 0.18 000 3 x5 0.08 0.12 0010 4 x6 0.04 0011 4 平均码长为： 编码效率： 3-12 （1） 信源熵 信息传输速率 2.552bit/s (2) 信 源 符 号 xi 符号概 率 pi 编码过程 编码 码长 x1 0.4 0.4 0.4 0.4 0.4 0.4 0.6 1 1 x2 0.18 0.18 0.18 0.19 0.23 0.27 0.4 001 3 x3 0.1 0.1 0.13 0.18 0.19 0.23 011 3 x4 0.1 0.1 0.1 0.13 0.18 0000 4 x5 0.07 0.09 0.1 0.1 0100 4 x6 0.06 0.07 0.09 0101 4 x7 0.05 0.06 00010 5 x8 0.04 00011 5 (3) 香农编码
信源符号符号概率累加概率|-Logp(xi)码长Ki码字 X 0.4 0.18 0.4 2.474 01l 0.1 3.32 x4 0.1 0.68 3.322 4 1010 0.07 837 l100 0.85 「4059 11011 0.05 4.322 11101 0.04 0.96 4.644 l1l10 平均码长 K=042+0.183+014+0.14+0074+0065+0055+0045=317 R=Hx=252 (4)费诺编码: 信源符符号概 率 码长 号 0.18 0.1 0.1 101 0.07 0 100 1101 l110 0.04 1111 K=042+0.182+0.13+0.13+0074+0064+0054+0044=264 H(_2552 K 264=0967
信源符号 xi 符号概率 pi 累加概率 Pi -Logp(xi) 码长 Ki 码字 x1 0.4 0 1.322 2 00 x2 0.18 0.4 2.474 3 011 x3 0.1 0.58 3.322 4 1001 x4 0.1 0.68 3.322 4 1010 x5 0.07 0.78 3.837 4 1100 x6 0.06 0.85 4.059 5 11011 x7 0.05 0.91 4.322 5 11101 x8 0.04 0.96 4.644 5 11110 平均码长: (4) 费诺编码： 信源符 号 xi 符号概 率 pi 码 码长 x1 0.4 0 0 00 2 x2 0.18 1 01 2 x3 0.1 1 0 0 100 3 x4 0.1 1 101 3 x5 0.07 1 0 0 1100 4 x6 0.06 1 1101 4 x7 0.05 1 0 1110 4 x8 0.04 1 1111 4 3-14
信源符号概 符号率pi 编码过程 编码|码长 1/9 2/9 1/3 4 /9 10 1/27 l100 1101 H=2Log(3+2Log9+3Log(27)=2289 9 K=12+12+13+13+14+14+14=244 H(X3)-2289 K 2444
信 源 符 号 xi 符号概 率 pi 编码过程 编码 码长 x1 1/3 1/3 1/3 1/3 1/3 2/3 00 2 x 2 1/3 1/3 1/3 1/3 1/3 1/3 01 2 x3 1/9 1/9 1/9 2/9 1/3 100 3 x4 1/9 1/9 1/9 1/9 101 3 x5 1/27 2/27 1/9 111 3 x6 1/27 1/27 1100 4 x7 1/27 1101 4
第四章限失真信源编码 01 失真矩阵为d 4-2 1011 信源熵为H(x)=Log(4)=2 Dmax =mini 3333 i R(Dmax)= Dmin=OR(Dmin=R(O-H(X)=log(4)=2 p(yl),p(y2),p(y3),p(y4)只要满足p(yl)+p(y2)+p(y3)+p(y4)=1在[0,1区间可以任意取
第四章 限失真信源编码 4-1 失真矩阵为 4-2 d 0 1 1 1 1 0 1 1 1 1 0 1 1 1 1 0 信源熵为 H(x) = Log(4) = 2 Dmax =min{ 3 4 , 3 4 , 3 4 , 3 4 } R(Dmax)=0 Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2 p(y1)p(y2)p(y3)p(y4) 只要满足 p(y1)+p(y2)+p(y3)+p(y4)=1 在[0,1]区间可以任意取 值
