从客观事实和人们的习惯概念出发,函数 I(a,)=f[P(a,)](i=1,2,,r)义必须满足以下四个 公理性条件: 1)I(a,)=fIP(a,】是先验概率的单调递减函数。 若0<P(a,),P(a)1,且P(a,)>P(a,)则 I(a,)<I(a,) 2)若P(a,)=0,则I(a,)→∞ 3)若P(a,)=1,则I(a)=0 4)统计独立事件的联合信息量,等于它们各自 信息量之和。在数学上可以证明,满足以上四个 公理条件的函数为 单位由对数的底决定) 第一章绪论 信息理论与编码第一章 绪论 信息理论与编码 11 从客观事实和人们的习惯概念出发,函数 必须满足以下四个 公理性条件: 1) 是先验概率的单调递减函数。 若0< , <1,且 > ,则 < 2)若 =0,则 ∞ 3)若 =1,则 =0 4)统计独立事件的联合信息量,等于它们各自 信息量之和。在数学上可以证明,满足以上四个 公理条件的函数为 单位由对数的底决定 ( ) [ ( )] i i I a f P a ( 1,2,..., ) i r ( ) [ ( )] i i I a f P a ( ) P ai ( ) P ai ( ) P aj ( ) P aj ( )i I a ( )j I a ( ) P ai ( )i I a( )i ( ) I a P ai 1 ( ) log log ( ) ( ) i i i I a P a P a