定理2-1:对于离散平稳信源,当H1(X)< 时,有 1)条件熵H(XNⅩ12,XN1)随N的增加是 非递增的,即: H(XNX1,XN1)≤H(XN1|X1,XN2)≤…≤H(X2X1)≤H(X1) 2)N给定时,平均符号熵大于条件熵, 即:H(X)≥H(XNX1, 3)平均符号熵随N的增加是非递增的, 即 0≤HN(X)≤HN1(X))≤…≤H2(X)≤H1(X)≤∞ 4)H=lmH(X,且 lim HN(X)=lim H(XNX ..XN-I) N→∞ 称H为平稳信源的极限熵或极限信息 量 最大离散熵定理: 个有q个符号的DMS,必满足: H(P1,P2,…,Pq)≤H(1/q,1{q,…1q)=ogq定理 2-1：对于离散平稳信源，当 H1(X)< ∞时，有： 1） 条件熵 H(XN|X1,…,XN-1)随 N 的增加是 非递增的，即： H(XN|X1,…XN-1)≤H(XN-1|X1,…XN-2)≤…≤H(X2|X1)≤H(X1) 2） N 给定时，平均符号熵大于条件熵， 即：HN(X)≥H(XN|X1,…XN-1) 3） 平均符号熵随 N 的增加是非递增的， 即：0≤HN(X) ≤HN-1(X) )≤…≤H2(X) ≤H1(X) ≤∞ 4） H lim HN (X),且 N →  = lim ( ) lim ( ) 1 −1 → → = N N N N N H X H X X X 称 H∞为平稳信源的极限熵或极限信息 量。 最大离散熵定理： 一个有 q 个符号的 DMS，必满足： H(P1,P2,…,Pq)≤H(1/q, 1/q, …1/q)=logq