3.2信息量和熵 定义3.1设随机变量x={=12…,n,x出现 的概率为p(x)≥0且∑mx)=1。则Ⅹ的不确 定性或熵( Entropy)定义为 H(X)=∑p(x,)g2p(x,)3.2 信息量和熵 • 定义3.1 设随机变量 ，出现 的概率为 。则 X 的不确 定性或熵（Entropy）定义为 X = xi i =1,2,  ,n i x =  = n i i i p x p x 1 ( ) 0,且 ( ) 1 = = − n i i i H X p x p x 1 2 ( ) ( )log ( )