反映了集中事件出现的平均不确定性,或为确 定集中出现一个事件平均所需的信息量(观测 之前),或集中每出现一个事件平均给出的信 量(观测之后)。如果从编码的角度来考虑 的鞋成用最优的三进的编妈形式表示 0·log20=0 采用以2为底的对数时,相应的信息单位称作 比特(Bt)。 如果集X为均匀分布时,即p1=1/n,1≤i≤n, 则H(X)=lg2n H(X)≥0,当X为确定性的事件时,即X概率 分布为p(X=a)=1,则H(X)=0• 反映了集中事件出现的平均不确定性，或为确 定集中出现一个事件平均所需的信息量（观测 之前），或集中每出现一个事件平均给出的信 息量（观测之后）。如果从编码的角度来考虑， 熵也可以理解成用最优的二进制编码形式表示 所需的比特数。 • 采用以2为底的对数时，相应的信息单位称作 比特（Bit）。 • 如果集X为均匀分布时，即 ， 则 。 • ，当X为确定性的事件时，即X概率 分布为 ，则 。 0log 2 0 = 0 pi =1/ n, 1 i  n H(X) = log 2 n H(X )  0 p(X = a) = 1 H(X ) = 0