米制定度量信息的方法 #消息“量”≠信息量 例:“明天降雨量将有一毫米”-信息量 明天降雨量将达到一米”-信息量 大 “明日太阳将从东方升起”-信息量 零 #信息量I=IP(x)],P(x)-发生概率 #定义:I=log[1/P(x)=-ogP(x) #通常取a=2,此时单位为“比特”。 #对于一个等概率、二进制码元 /PU /2 比特55 *制定度量信息的方法 # 消息“量”  信息量 # 例：“明天降雨量将有一毫米”-- 信息量 小 “明天降雨量将达到一米” -- 信息量 大 “明日太阳将从东方升起” -- 信息量 零 # 信息量 I = I [ P(x) ]，P(x) -- 发生概率 # 定义：I = loga [1/P(x)] = -logaP(x) # 通常取 a = 2, 此时单位为“比特”。 # 对于一个等概率、二进制码元： I = log2 [1/P(x)] = log2 [1/(1/2)] = 1 比特