离散无记忆简单DMS 离散 信源(DMS)「X4且边n p(r) 信源 离散有记 忆信源 信 源 时间离散简单连续信源 连续 的连续源 X||(a,b) R P(x)」Lp(x)Lp(x) 信源 随机波形且∫p(x)d=:或p(x)=1 源 定义2-1:设离散信源X,其概率空间为: X 1, p(x)[Lp(a1),p(a2),…,p(an)分 则其中事件a的自信息为: 1(ai)=log m(a)=-gp(a,(=,q)定义 2-1：设离散信源 X，其概率空间为： , ( ) 1 ( ), ( ), , ( ) , , , ( ) 1 2 1 1 2  =      =       = q i i q q p a p a p a p a a a a p x X   则其中事件 ai的自信息为： log ( ), ( 1, ) ( ) 1 ( ) log p a i q p a I a i i i = = − =  信 源 离散 信源 连续 信源 离散无记忆 信源（DMS） 离散有记 忆信源 时间离散 的连续源 随机波形 源 简单 DMS： , 1 ( ) 1 1 1  =      =      = q i i q q p p p a a p x X 且：   复杂信源： ( ) ( ) ( ) ( ) DMS ( ) , 1 ( ) 1 ( ) ( ) ( ), , ( ) ( ) 1 1 1 1 1 1 1 1 1 + + + + + − = = = = = =         = =  =        i i i N i i i i N i i N N k i k q i i q q q q N p x x x p x p x x p x x x p x p i q p p p a a a a p x X N N N           对有记忆信源有： 其中，对 有 ： 且 ：      简单连续信源：   = =             =      R b a p x dx p x dx p x R p x a b p x X ( ) 1, ( ) 1 ( ) ( ) ( , ) ( ) 且： 或 或