相对熵(relative entropy举例 ●举例：假设某字符发射器随机发出0和1两种字符。且其真实发出概率 分布为A。现在有两人的观察概率分布B与C。各个分布如下： A(0)=1/2,A(1)=1/2 B(0)=1/4,B(1)=3/4 C(0)=1/8,C(1)=7/8 则B和C哪个更接近实际分布A? ●求解过程： 用公式Du(PIQ)=∑exP(og ,则 ·Dx(4B)=log()+21g() ·D(4lC)=1og()+g(3) 结果： ■DK(AIB)=0.14, ■Dk(AIC)=0.41 哈尔滨工业大学计算机学院刘远超 7 相对熵(relative entropy)举例 l 举例：假设某字符发射器随机发出0和1两种字符。且其真实发出概率 分布为A。现在有两人的观察概率分布B与C。各个分布如下： A(0)=1/2，A(1)=1/2 B(0)=1/4，B(1)=3/4 C(0)=1/8，C(1)=7/8 则B和C哪个更接近实际分布A？ 哈尔滨工业大学计算机学院 刘远超 7 l 求解过程： 用公式 �/0(�| � = ∑1∈2 � � ��� 3(1) 6(1) ，则 n �/0(�| � = ! " log !/" !/8 + ! " log( !/" 9/8 ) n �/0(�| � = ! " log !/" !/: + ! " log( !/" ;/: ) 结果： n �/0(�| � =0.14, n �/0(�| � = 0.41