相对熵relative entropy) 也称为KL散度(Kullback-Leibler divergence,简称KLD)、信息散度 (information divergence)、信息增益(information gain)。 ●相对熵的定义：是交叉熵与信息熵的差值。表示用分布Q模拟真实分 布P,所需的额外信息。 ·计算公式为 Dku(PIQ)=∑P(iog( =.P()iog Q() P(x) 交叉熵 信息熵 哈尔滨工业大学计算机学院刘远超 6相对熵(relative entropy) l 也称为KL散度(Kullback–Leibler divergence，简称KLD)、信息散度 (information divergence)、信息增益(information gain)。 l 相对熵的定义：是交叉熵与信息熵的差值。表示⽤分布Q模拟真实分 布P，所需的额外信息。 l 计算公式为 ���(�| � = 1 �∈� � � ��� � � � − 1 �∈� � � ��� � � � = 1 �∈� � � ��� �(�) �(�) 哈尔滨工业大学计算机学院 刘远超 6 交叉熵 信息熵