相对熵的性质 ●相对熵(KL散度)有两个主要的性质： ■相对熵(KL散度)不具有对称性，即DKL(PQ)≠Dk(QIIP)。 例如 Dku(4B)=1og(份)+1g(券=-0.1438， DxL.(BIIA)=log(+log(=0.1308 即DKL(AIB)≠DK(BIA) ■相对熵具有非负性。即DK(PIQ)≥0 哈尔滨工业大学计算机学院刘远超 8相对熵的性质 l 相对熵（KL散度）有两个主要的性质： n 相对熵（KL散度）不具有对称性，即�/0(�| � ≠ �/0(�| � 。 例如 �/0(�| � = ! " log !/" !/8 + ! " log( !/" 9/8 ) =0.1438, �/0(�| � = ! 8 log !/8 !/" + 9 8 log( 9/8 !/" ) =0.1308 即���(�| � ≠ ���(�| � n 相对熵具有非负性。 即�/0(�| � ≥ 0 哈尔滨工业大学计算机学院 刘远超 8