4)熵与信息关联 广泛概念信息海洋 信息本质:对事物肯定程度的大小 起减小或消除不确定性的作用 可供选择的可能性越小—肯定程度越高 信 息量越大 信息熵:H=khn=kh2bg2n=bg2n(bt 常数可能情况数 信息熵越大,信息量越小。4) 熵与信息关联 广泛概念 信息海洋 信息本质： 对事物肯定程度的大小 起减小或消除不确定性的作用 可供选择的可能性越小——肯定程度越高 —— 信 息量越大 信息熵越大，信息量越小。 信息熵： ln ln 2log log (bit) H = k n = k 2 n = 2 n 常数 可能情况数