香农编码 计算出给定信源香农码的平均码长 K=0.25×2×2+(0.2+0.15)×3+0.10×4+0.05×5=27(比特/符号) 若对上述信源采用等长编码,要做到无失真译码,每个符号至少要用3 个比特表示。相比较,香农编码对信源进行了压缩 由离散无记忆信源熵定义,可计算出: H(X)=∑p(x)log2p(x)=242(比特/符号) ■对上述信源采用香农编码的信息率为 R=02、21g22=2.7这里L=1,m=2 K L ■编码效率为信源熵和信息率之比。则η H(X)242 8963% R 7 可以看出,编码效率并不是很高香农编码 n 计算出给定信源香农码的平均码长 n 若对上述信源采用等长编码，要做到无失真译码，每个符号至少要用3 个比特表示。相比较，香农编码对信源进行了压缩。 n 由离散无记忆信源熵定义，可计算出： n 对上述信源采用香农编码的信息率为 n 编码效率为信源熵和信息率之比。则 n 可以看出，编码效率并不是很高。 K  0.25  2  2  (0.2  0.15)  3  0.10  4  0.05  5  2.7(比特 / 符号) 2 2 2.7 log log 2 2.7 1, 2 1 K R m L m L    这里   ( ) 2.42 89.63% 2.7 H X R     6 2 1 ( ) ( )log ( ) 2.42( / ) i i i H X p x p x     比特 符号