同理，随机变量Z在参数日条件下的平均对数似然函数为 1(=)p(= (4.9) 定义 I(0:0)E Inp(=e)-ElInp(=1) -En2(=l) p(=l0) (4.10) 1g,9)称KuHback-Leibler信息测度。若令x=PEO4.1） p(=10 则x>0,并利用不等式nx≤x-1,于是有 In p(=l0)p(=l0 (4.12) pz8)厂pz0 因p(e,)>0，上述不等式两边同乘p(z%),再对z积 分，则有 )Ind(4.13) p(=le 0 10 同理，随机变量Z在参数  条件下的平均对数似然函数为 0 0 ( | ) ln ( | ) L l z E p z L     ⎯⎯⎯⎯⎯⎯⎯→   →   (4.9) 称Kullback-Leibler信息测度。若令 0 0 I E p z E p z ( , ) ln ( | ) ln ( | )                  − 0 | ln | p z E p z                             = (4.10) 0 I( , )   0 | | p z x p z               = (4.11) 则 x0 ，并利用不等式 ln 1 x x  − ，于是有 0 0 | | ln 1 | | p z p z p z p z                              − (4.12) 因 ，上述不等式两边同乘以 ，再对Z积 分，则有 0 p z( | ) 0   0 p z( | )  0 0 0 | ( )ln ( ) ( ) | p z p z dz p z dz p z dz p z                      −    − − − (4.13) 定义