熵的基本特性 引理3.1( Jensen不等式),假定f是区间r上 的一个连续的严格凸函数,∑a=1a1>0115那么 ∑af(x)≤∑axx∈l1si≤n 当且仅当x=x2=…=x时等号成立。 ·定理31假定X是有概率分布nnP的随机 变量,其中 p1>01si≤n, H(X)slogan, 当 P1=-1si≤n 即样本点是等概率分布)时取等号,即均匀 分布下集X的不确定性最大。熵的基本特性 • 引理3.1 （Jensen不等式） 假定f是区间I 上 的一个连续的严格凸函数， 。那么 。 当且仅当 时等号成立。 • 定理 3.1 假定X是有概率分布 的随机 变量，其中 ，则 ，当 （即样本点是等概率分布）时取等号，即均匀 分布下集X的不确定性最大。 a ai i n n i  i =    = 1, 0,1 1   = =        n i n i i i i i a f x f a x 1 1 ( ) xi  I,1 i  n n x = x == x 1 2 p p pn , , , 1 2  pi  0,1  i  n H(X)  log 2 n i n n pi = ,1   1