平均信息量(熵)问题 设某一实验可能有N种结果,它们出现的概率分别为p1…,则 事先告诉你将出现第评种结果的信息,其信息量为-log21,而该 实验的不确定性则可用这组信息的平均信息量(或熵) H=∑plog2P来表示 例15投掷一枚骼子的结果有六种,即出现16点、出现每 种情况的概率均为1/6,故熵H-log6≈2.585(比特)。 投掷一枚硬币的结果为正、反面两种,出现的概率均为 1/2,故熵H=og2=1(比特)。 向石块上猛摔一只鸡蛋,其结果必然是将鸡蛋摔破,出 现的概率为1,故熵H-og21=0 从例子可以看出,熵实质上反映的是问题的“模糊度”,熵为 零时问题是完全清楚的,熵越大则问题的模糊程度也越大平均信息量（熵）问题 设某一实验可能有N种结果，它们出现的概率分别为p1 ,…,pN ,则 事先告诉你将出现第i种结果的信息，其信息量为－log2 pi，而该 实验的不确定性则可用这组信息的平均信息量（或熵）  来表示 = = − N i i i H p p 1 2 log 例15 投掷一枚骼子的结果有六种，即出现1—6点、出现每 种情况的概率均为1/6，故熵 H=log2 6≈2.585（比特）。 投掷一枚硬币的结果为正、反面两种，出现的概率均为 1/2，故熵 H=log2 2=1（比特）。 向石块上猛摔一只鸡蛋，其结果必然是将鸡蛋摔破，出 现的概率为1，故熵H=log2 1=0 从例子可以看出，熵实质上反映的是问题的“模糊度”，熵为 零时问题是完全清楚的，熵越大则问题的模糊程度也越大