信息熵冗余 信息熵是指一组数据所携带的信息量,它定义为 H=∑;0N- P;log,P N为数据类数或码元个数,P为码元y发生的概率 ■为使信息编码单位数据量d接近于或等于H,应设: d=∑=0Pb0y) 其中b0)是分配给码元y的比特数,理论上应取 b()=og2P,实际一般取b(b/=b)=…=b0 ■例如,英文字母编码码元长为7bit,即 b(/=b(y)=…=b0kx=7,这样d必然大于H,由 此带来的冗余称为信息熵冗余或编码冗余信息熵冗余 ◼ 信息熵是指一组数据所携带的信息量，它定义为： H=-∑i=0 N-1Pi log2Pi N为数据类数或码元个数， Pi为码元yi发生的概率. ◼ 为使信息编码单位数据量d接近于或等于H，应设： d=∑i=0 N-1Pi b(yi ) 其中b(yi )是分配给码元yi的比特数， 理论上应取 b(yi )=-log2Pi . 实际一般取b(y0 )=b(y1 )=…=b(yK-1 ). ◼ 例如， 英文字母编码码元长为7bit， 即 b(y0 )=b(y1 )= … =b(yK-1 )=7， 这样d必然大于H， 由 此带来的冗余称为信息熵冗余或编码冗余