2.1信息量、熵和互信息量 信息量定义: 美国科学家 L VR. Hartley于1928年给出了信息的度量方法。 定义若信源发出一符号x,由于信道存在干扰,收到 的不是x而是y,从y冲获取有关x信息量用I Xi;y)表示,称为互信息量 定义上述情况,若信道无干扰,收到的就是x/本身, 这样I(x;y就可以用I(x;XD表示,或简单记 作I(XD,并称为自信息量。2．1 信息量、熵和互信息量 ◼ 信息量定义： 美国科学家L.V.R.Hartley 于1928年给出了信息的度量方法。 定义 若信源发出一符号xi ，由于信道存在干扰，收到 的不是 x i 而是 y i ，从 y i中获取有关 x i的信息量用 I ( x i ；y i) 表示，称为互信息量。 定义 上述情况，若信道无干扰，收到的就是x i 本身， 这样I (x i ；y i) 就可以用 I (x i ；x i) 表示，或简单记 作 I( x i)，并称为自信息量