2.1信息量、熵和互信息量 信息量定义: 个离散无记忆信源是由n个符号消息组成的集合:X={x1, x2…xn},这个件号消息的概率分布为: 称为符号x的先验概率,散信源数学模型表示为: 12 P」Lp(x1)p(x2)P(x3)…p(xn) 称为概率空间,其中p(x)20.∑x)+1 从概率的角度看,可以将符号消息x看一个随机事 件。因此x具有不确定性。一个离散无记忆信源是由n个符号消息组成的集合:X={ x1， x2 ···xn }，这n个符号消息的概率分布为了： 称为符号xi 的先验概率, 散信源数学模型表示为： 称为概率空间, 其中 从概率的角度看，可以将符号消息 xi 看一个随机事 件。因此 xi 具有不确定性。 2．1 信息量、熵和互信息量 ◼ 信息量定义： { ( ), ( ), ( )} p = p x1 p x2 p xn       =      ( ) ( ) ( ) ( ) 1 2 3 1 2 3 n n p x p x p x p x x x x x P X   =  = n i p xi p xi 1 ( ) 0, ( ) 1