n进制信源的熵 设:信源有n种可能出现的消息,并用P表示第个消息的 出现概率, 则由熵的定义可以写出此信源的熵M=∑Pbg2P i=1 ■熵的最大值: 令上式对P的导数等于0,求H的最大值。 由于P=1-(B+P2+…+P1+…+Pn1) 故当P变时,可仅使P随之变化,并保持其他P为常数 于是得到【Hd (Pk log 2 Pk-Pn log 2 Pn) dP 利用求导数公式 du log gae 上式变为=-1b2e-g2P+P p ogre+ log 2 Pn 或H=k g3 ➢ n 进制信源的熵 ◼ 设：信源有n种可能出现的消息，并用Pi表示第i个消息的 出现概率， 则由熵的定义可以写出此信源的熵 ◼ 熵的最大值： 令上式对Pk的导数等于0，求H的最大值。 由于 故当Pk变时，可仅使Pn随之变化，并保持其他Pi为常数。 于是得到 利用求导数公式 上式变为 或 1 ( ) Pn = − P1 + P2 ++ Pi ++ Pn−1 = = − n i H Pi Pi 1 2 log ( log log ) k 2 k n 2 n k k P P P P dP d dP dH = − − dx du e u u dx d a a log 1 log = n n k n k k k e P P e P P P P dP dH 2 2 2 2 log log 1 log log 1 = − − + + k n k P P dP dH 2 = log