2息量和信熵基本定义(2) 网络安金 NETWORK SECURIY 定义:给定一离散集合X={x;i=1,2,…,n}, 令x出现的概率是p(x)≥0且∑px)=1。事件xi 包含的信息量I(x)=- log p(x1)(21) 通常=2,此时相应的信息量单位是bit Shannon定义信息的数学期望为信息熵,即 信源的平均信息量。2. 信息量和信息熵基本定义(2) 定义：给定一离散集合X={xi; i=1,2,…,n}， 令xi出现的概率是 且 。事件xi 包含的信息量 通常=2，此时相应的信息量单位是bit。 Shannon定义信息的数学期望为信息熵，即 信源的平均信息量。 ( ) 0 i p x  1 ( ) 1 n i i p x =  = ( ) log ( ) i a i I x = − P x (2.1)