信息科学概念 学根植于理性的理论框架中,并与不定性、概率、熵、有序 化、变异度等概念密切相关。 L.V.R. Hartley:信息是选择的自由度(1928) C.E. Shannon:信息是用来减少随机不定性的东西(1948); N. Wiener:信息是指人们适应外部世界,并使这种适应为外部世 界所感知的过程中,同外部世界交换的东西的名称(1948) L. Brillouin:信息就是负熵,是系统组织结构和有序程度的度量 (1951) eW.R. Ashby:信息是集合的变异度(1956)。 般说来,设随机事件×(1×2…Xn),每个事件(状态)发生的概 率为P(p1,p2,…,pn),那么这一随机事件提供的信息量为 I(x)=-logP,而整个信源的信息熵为H(X)=-∑ P logP5 信息·科学概念 科学概念根植于理性的理论框架中，并与不定性、概率、熵、有序 化、变异度等概念密切相关。 L. V. R. Hartley：信息是选择的自由度（1928）； C. E. Shannon：信息是用来减少随机不定性的东西（1948）； N. Wiener：信息是指人们适应外部世界，并使这种适应为外部世 界所感知的过程中，同外部世界交换的东西的名称（1948）； L. Brillouin：信息就是负熵，是系统组织结构和有序程度的度量 （1951）； W. R. Ashby：信息是集合的变异度（1956）。 一般说来，设随机事件X(x1 , x2 , …, xn )，每个事件（状态）发生的概 率为P(p1 , p2 , …, pn )，那么这一随机事件提供的信息量为 I(xi )=﹣㏒Pi，而整个信源的信息熵为H(X)=﹣∑Pi㏒Pi