第三节信息熵的基本性质 性质1:非负性 H(X)≥0 由于0≤pi≤1,所以 logpi≤0, ogpi≥0,则总有H(X)≥0。 性质2:对称性 H(12P2…pn)=H(pn2P1,P2…Pn=1) 根据加法交换律可以证明,当变量交换顺序时熵函数的 值不变 信源的熵只与概率空间的总体结构有关,而与个概率分 量对应的状态顺序无关;第三节 信息熵的基本性质 性质1：非负性 H(X)≥0 由于0≤pi≤1,所以logpi≤0 logpi≥0，则总有H(X)≥0。 性质2：对称性 H p p pn H pn p p pn ( , ,... ) ( , , ,... ) 1 2 = 1 2 −1 根据加法交换律可以证明，当变量交换顺序时熵函数的 值不变。 信源的熵只与概率空间的总体结构有关，而与个概率分 量对应的状态顺序无关；