交叉熵(cross entropy) ·定义：交叉熵是信息论中一个重要的概念，用于表征两个变量概率分布 P,Q(假设P表示真实分布，Q为模型预测的分布)的差异性。交叉熵越 大，两个变量差异程度越大。 ●交叉熵公式： .Pogc) 哈尔滨工业大学计算机学院刘远超 5 交叉熵(cross entropy) l 定义：交叉熵是信息论中一个重要的概念, 用于表征两 个变量概率分布 P, Q（假设P表示真实分布, Q为模型预测的分布）的差异性 。交叉熵越 大 , 两个变量差异程度越大。 l 交叉熵公式： � �, � = − 1 �∈� � � ���� � = 1 �∈� � � ��� � � � 哈尔滨工业大学计算机学院 刘远超 5