第2章信息的度量2.1基本要求通过本章学习，了解信源的模型和分类，掌握自信息量和互信息的定义和性质、离散信源的及其性质、平均互信息的性质、无记忆信源的扩展，了解离散有记忆信源的熵、马尔可夫信源的摘，掌握离散信源的信息率的概念、连续信源的微分以及微分的极大化，了解连续信源的功率的概念。2.2学习要点2.2.1信源的分类2.2.1.1根据信源的参数和值分类信源在t，时刻输出的X，是随机变量，取值于Ex符号表，表示为(x，teT），其中,X,EEx。根据参数和值的性质，可将信源分为四类：空间离散信源时间离散信源时间离散空间离散信源：T和Ex均离散时间离散空间连续信源：T离散，E连续空间连续信源时间连续信源【时间连续空间离散信源：T连续，E离散（波形信源）时间连续空间连续信源：T和E，均连续为了数字化存储与传输的要求，时间连续信源均要通过采样变为时间离散信源，因此通常简单化表示如下：空间离散信源→离散信源空间连续信源→连续信源2.2.1.2根据信源的记忆特性分类无记忆信源N维分布函数：Fx ()-IFx, (,)(2.1)各符号间统计无关。有记忆信源各符号间统计相关。10
10 第2章 信息的度量 2.1 基本要求 通过本章学习，了解信源的模型和分类，掌握自信息量和互信息的定义和性质、离散信 源的熵及其性质、平均互信息的性质、无记忆信源的扩展，了解离散有记忆信源的熵、马尔 可夫信源的熵，掌握离散信源的信息率的概念、连续信源的微分熵以及微分熵的极大化，了 解连续信源的熵功率的概念。 2.2 学习要点 2.2.1 信源的分类 2.2.1.1 根据信源的参数和值分类 信源在 k t 时刻输出的 k Xt 是随机变量，取值于 EX 符号表，表示为 Xt tk T k , ，其 中， k Xt EX 。 根据参数和值的性质，可将信源分为四类： 时间离散空间离散信源：T 和 EX 均离散 时间离散空间连续信源：T 离散， EX 连续 时间连续空间离散信源：T 连续， EX 离散 时间连续空间连续信源：T 和 EX 均连续 为了数字化存储与传输的要求，时间连续信源均要通过采样变为时间离散信源，因此通 常简单化表示如下： 空间离散信源→离散信源 空间连续信源→连续信源 2.2.1.2 根据信源的记忆特性分类 无记忆信源 N 维分布函数： N i X X N X i F x x x F x i t tN t 1 1 2 ( , , , ) ( ) 1 （2.1） 各符号间统计无关。 有记忆信源各符号间统计相关。 空间离散信源 空间连续信源 （波形信源） 时间离散信源 时间连续信源
2.2.1.3根据信源的平稳特性分类平稳信源：序列的统计特性与时间的推移无关。(2.2)Fx--w (X1,X2X)=Fx (X1,2,",Xn)平稳信源也是有记忆的，只是记忆的长度有限。N阶平稳信源：任一时刻t,的输出，只与前面N-1时刻tk-(N-I)）、s--的输出有关。平稳信源只需考虑任意N个相邻时刻的输出序列：XN-X,X,.XN(2.3)独立同分布信源：无记忆信源各个时刻的随机变量是同分布的。非平稳信源：不满足上面条件的信源。2.2.2信源的数学模型2.2.2.1离散无记忆信源的数学模型离散无记忆信源（DMS）的数学模型可用概率空间表示：(2.4)[X, Px]=[x, P(x)|k =1,2,--,K]也可用下式表示XTXXX(2.5)[Px]-[P(x) P(x2) -.. P(xx)]若满足约束条件Zp(x)=1，则称为完备信源。K二2.2.2.2非理想观察模型非理想观察模型是实际通信或信息传递系统的抽象，由它可引出信息传递的一些共性问题，并能简明的解释一些理论问题。对信源X进行观察，观察结果为y（j=1,2，",J），y，是信源Y的取值。一般来说，由于有干扰存在，观察过程是非理想的。图2.1是K=2、J=3的非理想观察过程。11
11 2.2.1.3 根据信源的平稳特性分类 平稳信源：序列的统计特性与时间的推移无关。 ( , , , ) ( , , , ) 1 2 1 2 1 1 X X N X X N F x x x F x x x t tN t tN （2.2） 平稳信源也是有记忆的，只是记忆的长度有限。 N 阶平稳信源：任一时刻 kt 的输出，只与前面 N-1 时刻 k(N1) t 、.、 k1 t 的输出有关。 平稳信源只需考虑任意 N 个相邻时刻的输出序列： N N X X1X2 X （2.3） 独立同分布信源：无记忆信源各个时刻的随机变量是同分布的。 非平稳信源：不满足上面条件的信源。 2.2.2 信源的数学模型 2.2.2.1 离散无记忆信源的数学模型 离散无记忆信源（DMS）的数学模型可用概率空间表示： [X, P ] [x , P(x ) | k 1, 2, ,K] X k k （2.4） 也可用下式表示 ( ) ( ) ( ) 2 2 1 1 K K X P x x P x x P x x P X （2.5） 若满足约束条件 1 ()1 K k k p x ，则称为完备信源。 2.2.2.2 非理想观察模型 非理想观察模型是实际通信或信息传递系统的抽象，由它可引出信息传递的一些共性问 题，并能简明的解释一些理论问题。 对信源 X 进行观察，观察结果为 j y （ j 1,2,, J ）， j y 是信源Y 的取值。一般来 说，由于有干扰存在，观察过程是非理想的。图 2.1 是 K 2、 J 3的非理想观察过程
P(y /x)x,1P(y2/x)P(y, Ix)y2P(y, /x,)P(y2 /x2)X2yP(y, /x,)图2.1非理想观察过程条件概率P(y，|x），表示了观察过程中干扰的有害影响。条件概率P(xIy,），表示观察到y,之后，输入x的概率，称为符号x的后验概率。[X,Px][Y,Px]观察过程信源I Pyur非理想观察模型见图2.2所示。图2.2非理想观察模型信息是不确定性的减小，通过对信源输出的观察，认识主体所获得的信息为(2.6)信息=先验不确定性一后验不确定性2.2.2.3连续信源的数学模型若X是连续信源（连续随机变量），其取值区间[a,b]，统计特性由定义于[a,b]上的概率密度函数fx(x）描述。则连续信源X的数学模型为：[X, Px]=[x, fx(x)/xe[a,b]](2.7)fx(x)≥0, ' fx(x)dx=12.2.3离散信源的自信息信源的自信息分为自信息量、条件自信息量和联合自信息量三种，用于度量信息的不确定性的大小。2.2.3.1自信息量设信源X取值x的概率为P(x），x的自信息量定义为12
12 条件概率 ( | ) j k P y x ，表示了观察过程中干扰的有害影响。 条件概率 ( | ) k j P x y ，表示观察到 j y 之后，输入 k x 的概率，称为符号 k x 的后验概率。 非理想观察模型见图 2.2 所示。 图 2.2 非理想观察模型 信息是不确定性的减小，通过对信源输出的观察，认识主体所获得的信息为 信息 = 先验不确定性 后验不确定性 （2.6） 2.2.2.3 连续信源的数学模型 若 X 是连续信源（连续随机变量），其取值区间[a,b]，统计特性由定义于[a,b]上的概 率密度函数 ( ) Xf x 描述。则连续信源 X 的数学模型为： b a X X f x f x dx X P x f x x a b ( ) 0 , ( ) 1 [ , ] [ , ( ) | [ , ]] X X （2.7） 2.2.3 离散信源的自信息 信源的自信息分为自信息量、条件自信息量和联合自信息量三种，用于度量信息的不确 定性的大小。 2.2.3.1 自信息量 设信源 X 取值 k x 的概率为 ( ) k P x ， k x 的自信息量定义为 图 2.1 非理想观察过程 1 1 Py x (|) 1 x 2 x 3 y 2 y 1 y 2 2 Py x (|) 2 1 Py x ( |) 1 2 Py x (|) 3 1 Py x ( |) 3 2 Py x (|) 信源 观察过程 [ , ] X PX PY|X [ , ] Y PX |Y
1(2.8)=-logP(x) ，k=1,2,,KI(x)=logP(xk)I(x）表示X取值x的先验不确定性的大小。若对数底为2，单位为比特（bit)；若对数底为e，单位为奈特（nat)；若对数底为10，单位为迪特（dit）或哈特（Hart）；对数取正整数r为底，则称为r进制单位。2.2.3.2联合自信息量联合自信息量是自信息量的自然推广。考虑信源X和Y的联合空间，即Z=XY，其概率空间为：(2.9)[XY,Pxr] =[(x,y,),P(x,y,)/k =1,2,",K;j =1,2,"-,J]且联合概率是完备的，即22P(xx.y,)=1(2.10)二j=二元联合符号（x，y）的联合自信息量定义为(2.11)bit/二元符号I(x.y,)=-log P(xx,y))它表示代表联合符号（xk，y）的先验不确定性。2.2.3.3条件自信息量定义x在条件y,下的条件自信息量I(xy）为bit/符号(2.12)I(xly,)=-logP(xly,)y,在条件x下的条件自信息量I(y,Ix）可类似定义。I(xly,）表示在观察到符号y,的条件下关于x,还剩下的不确定性。Iy,lx）代表输入x,且观察到y，时干扰引入的不确定性。2.2.3.4自信息量的性质(1）概率为0时，相应的自信息量无意义。(2）非负性。三种自信息量均非负。(3)可加性。1(x,y,)=I(x)+I(y,/x)=I(y,)+1(x/y,)推广到多维空间：13
13 1 ( ) log log ( ) ( ) k k k I x Px P x ，k 1,2,,K （2.8） ( ) k I x 表示 X 取值 k x 的先验不确定性的大小。若对数底为 2，单位为比特（bit）；若对 数底为e ，单位为奈特（nat）；若对数底为 10，单位为迪特（dit）或哈特（Hart）；对数取 正整数 r 为底，则称为 r 进制单位。 2.2.3.2 联合自信息量 联合自信息量是自信息量的自然推广。考虑信源 X 和Y 的联合空间，即 Z XY ，其 概率空间为： [XY, P ] [(x , y ),P(x , y ) | k 1,2, ,K; j 1,2, , J ] XY k j k j （2.9） 且联合概率是完备的，即 ( , ) 1 1 1 K k J j k j P x y （2.10） 二元联合符号( , ) k j x y 的联合自信息量定义为 ( , ) log ( , ) k j k j I x y P x y bit /二元符号 （2.11） 它表示代表联合符号( , ) k j x y 的先验不确定性。 2.2.3.3 条件自信息量 定义 k x 在条件 j y 下的条件自信息量 ( | ) k j I x y 为 ( | ) log ( | ) k j k j I x y P x y bit /符号 （2.12） j y 在条件 k x 下的条件自信息量 ( | ) j k I y x 可类似定义。 ( | ) k j I x y 表示在观察到符号 j y 的条件下关于 k x 还剩下的不确定性。 ( | ) j k I y x 代表 输入 k x 且观察到 j y 时干扰引入的不确定性。 2.2.3.4 自信息量的性质 (1) 概率为 0 时，相应的自信息量无意义。 (2) 非负性。三种自信息量均非负。 (3) 可加性。 (, ) () ( | ) () ( | ) kj k jk j k j I x y Ix Iy x Iy Ix y 推广到多维空间：
(2.13)I(u,u,"",u)=I(u)+I(u /u)+I(u uu,)+...+I( |uu,...un-1)该式称为自信息量可加性的链公式。若所有变量均统计独立，则有(2.14)I(u,u2,"",un)=I(u,)+I(u)+I(u)+...+I(un)2.2.4离散信源的互信息量及其性质2.2.4.1互信息量的定义当观察输入为x，观察结果为y，，从观察结果y，中得到的有关输入符号x,的信息，记为I(y,），表示x与y，之间的互信息量。(2.15)I(x,y,)=I(x)-I(xly,)互信息量的概率计算式：P(x,y)(2.16)I(x:y)=1og P(x)P()2.2.4.2互信息量的性质(1)互易性：I(x,y,)=I(yj;x)(2)独立变量的互信息量为0：当x与y,统计独立时，1(xy,）=I(yjx）=0（(3）互信息量可正可负。当互信息量I(x；y）为正，意味着J，的出现有助于减小x的不确定性；当I(xy）为负，意味着y，的出现增大了x的不确定性。（4）互信息量不可能大于符号的实在信息，即1(x)(2.17)I(xy,)= I(yj,x)≤I(y,)2.2.5离散信源熵自信息量是针对信源的单个符号而言的，表示单个符号的不确定性。摘表示信源的平均不确定性，是对所有符号的自信息量的统计平均。2.2.5.1离散摘的定义对于DMS信源X，离散摘定义为14
14 1 2 1 2 1 3 12 12 1 (, , , ) () ( | ) ( | ) ( | ) N NN I u u u I u I u u I u uu I u uu u （2.13） 该式称为自信息量可加性的链公式。若所有变量均统计独立，则有 ( , , , ) ( ) ( ) ( ) ( ) 1 2 N 1 2 3 uN I u u u I u I u I u I （2.14） 2.2.4 离散信源的互信息量及其性质 2.2.4.1 互信息量的定义 当观察输入为 k x ，观察结果为 j y ，从观察结果 j y 中得到的有关输入符号 k x 的信息， 记为 ( ; ) k j I x y ，表示 k x 与 j y 之间的互信息量。 ( ; ) ( ) ( | ) k j k k j I x y I x I x y （2.15） 互信息量的概率计算式： (, ) ( ; ) log ( )( ) k j k j k j Px y Ix y Px Py （2.16） 2.2.4.2 互信息量的性质 (1) 互易性： ( ; ) ( ; ) k j j k I x y I y x (2) 独立变量的互信息量为 0：当 k x 与 j y 统计独立时， I(xk ; y j ) I( y j ; xk ) 0 (3) 互信息量可正可负。 当互信息量 ( ; ) k j I x y 为正，意味着 j y 的出现有助于减小 k x 的不确定性；当 ( ; ) k j I x y 为负，意味着 j y 的出现增大了 k x 的不确定性。 (4) 互信息量不可能大于符号的实在信息，即 ( ) ( ) ( ; ) ( ; ) j k k j j k I y I x I x y I y x （2.17） 2.2.5 离散信源熵 自信息量是针对信源的单个符号而言的，表示单个符号的不确定性。熵表示信源的平均 不确定性，是对所有符号的自信息量的统计平均。 2.2.5.1 离散熵的定义 对于 DMS 信源 X ，离散熵定义为
(2.18)H(X)=H(pl,P2,*,pk)=ZpeI(x)=-ZplogPkk=lk表示信源X的统计平均不确定性，单位可以取bit/符号、nat/符号、dit/符号或r进制单位/符号。2.2.5.2离散摘的性质(1)对称性(2.19)H(pr,P2,**, Pk)= H(pm(),Pm(2),***, Pm(k))其中(P,P2,,Pk)是K个信源符号的概率，(m(1),m(2),,m(K)是(1,2,,K)的任意置换。(2)可扩展性H(pr,P2,.*,Pk)=H(O,P,P2,*,pk)=..=H(p,",P,O, Pi,.,Pk)(2.20)=H(pi,P2,*,Pk,0)加入零概率事件不会改变摘。(3)非负性(2.21)H(pl,P2,*",Pk)= H(P)≥0等号成立的充要条件是：只有一个符号概率为1，其余概率均为0，即确定性概率分布。(4）强可加性KH(,.kq.,q)=H(l,2)+ZH(q.,qu)k=l(2.22)其中，qu=p(Y=yX=x），是符号x和y,之间的转移概率。(5）可加性当X、Y统计独立，(2.23)H( q,,q, q)=H(2)+H(qq,)其中，Px={p,P2,",Pk)，Py=(qi,2,"",qj}。(6)渐化性（递增性）H(pi,P2,P*,k)(2.24)piP2= H(p + P2,P, ",Pk)+(p, +p2)H(P+P2P+p215
15 k k k K k H(X ) H( p , p , , pK ) pk I(xk ) p log p 1 1 2 （2.18） 表示信源 X 的统计平均不确定性，单位可以取 bit /符号、 nat /符号、 dit /符号或 r 进制 单位/符号。 2.2.5.2 离散熵的性质 (1) 对称性 ( , , , ) ( , , , ) H p1 p2 pK H pm(1) pm(2) pm(K) （2.19） 其中 1 2 {, , , }K p p p 是 K 个信源符号的概率，{m(1) ,m( 2),,m(K)}是{1,2,,K}的任 意置换。 (2) 可扩展性 12 12 1 1 1 2 ( , , , ) (0 , , , , ) ( , , ,0, , , ) ( , , , ,0) K K ii K K Hp p p H p p p Hp p p p Hp p p （2.20） 加入零概率事件不会改变熵。 (3) 非负性 ( , , , ) ( ) 0 H p1 p2 pK H P （2.21） 等号成立的充要条件是：只有一个符号概率为 1，其余概率均为 0，即确定性概率分布。 (4) 强可加性 1 11 1 1 1 1 2 1 1 ( , , , , , ) (, , , ) ( , , ) K J K K K KJ K k k kJ k H pq pq p q p q H p p p p H q q （2.22） 其中， ( ) kj j k q pY y X x ，是符号 k x 和 j y 之间的转移概率。 (5) 可加性 当 X、Y 统计独立， 11 1 1 1 2 1 2 ( , , , , , ) (, , , ) (, , ) H pq pq p q p q H p p p H q q q J K KJ K J （2.23） 其中， 1 2 {, , , } P pp p X K ， 1 2 {, , , } P qq q Y J 。 (6) 渐化性（递增性） 1 2 2 1 2 1 1 2 3 1 2 1 2 3 ( , , ) ( ) , ( , , , ) p p p p p p H p p p p p p H H p p p p K K （2.24）
（7）凸状性H(,P2"",k）是(p,P2，",Pk）空间的上凸函数。(8）极值性11H(pi,P2,*, Pk)≤H= log K(2.25)KK对以上性质的证明，将用到两个重要不等式：信息论不等式和香农不等式。信息论不等式：Inz≤z-1式中，对于任意实数=0，当且仅当z=1时，等式成立。香农不等式：KKZp log pk≤--Epklogqk(2.26)k=lk=lK当且仅当p=k，等式成立。其中，0≤kk≤1,=1,2..，且=1，2q=1。k=lk=l2.2.6联合炳和条件2.2.6.1联合摘的定义联合信源XY的炳H(XY）称为联合摘，是联合自信息量I(x，y）的统计平均值：H(XY) =EP(x,y,)I(xx.y,)=-EP(xx,y,)log P(xx,y,)(2.27)k,jk.推广到多个信源X,X联合的情形H(XX,.X) =-Z P(x,x",x)log P(x,,x)(2.28)jh.in2.2.6.2条件摘的定义条件摘H(X|Y）定义为条件自信息量I(xIy,）的统计平均值：H(XIY) =ZEP(xsy,)I(x ly,)=-ZP(x,y,)log P(x ly)(2.29)k.jkjH(YIX）可类似定义。H(XY）表示获得信道输出Y后，有关X的后验平均不确定性：H(YX）则是干扰引入的平均不确定性。2.2.7各类滴之间的关系16
16 (7) 凸状性 1 2 (, , ) Hp p p K 是 1 2 {, , , }K p p p 空间的上凸函数。 (8) 极值性 K K K H p p pK H log 1 , , 1 ( , , , ) 1 2 （2.25） 对以上性质的证明，将用到两个重要不等式：信息论不等式和香农不等式。 信息论不等式： ln z z 1 式中，对于任意实数 z 0 ，当且仅当 z 1时，等式成立。 香农不等式： K k k k K k pk pk p q 1 1 log log （2.26） 当且仅当 pk qk ，等式成立。其中，0 , 1, 1, 2,., k k pq k K ，且 1 1 K k k p ， 1 1 K k k q 。 2.2.6 联合熵和条件熵 2.2.6.1 联合熵的定义 联合信源 XY 的熵 H(XY) 称为联合熵，是联合自信息量 (, ) k j I x y 的统计平均值： , , ( ) ( , ) ( , ) ( , )log ( , ) kj kj kj kj kj kj H XY P x y I x y P x y P x y （2.27） 推广到多个信源 X1X N 联合的情形： 12 12 1 2 1 2 , ( ) ( , , , )log ( , , , ) N N N N ii i ii i ii i H XX X Px x x Px x x （2.28） 2.2.6.2 条件熵的定义 条件熵 H(X | Y) 定义为条件自信息量 ( | ) k j I x y 的统计平均值： , ( | ) ( , ) ( | ) ( , )log ( | ) kj k j kj k j k j kj H X Y Px y Ix y Px y Px y （2.29） H(Y | X ) 可类似定义。 H(X | Y) 表示获得信道输出Y 后，有关 X 的后验平均不确定性；H(Y | X ) 则是干扰 引入的平均不确定性。 2.2.7 各类熵之间的关系
摘、联合摘和条件摘之间的关系如下所示：(2.30)H(XY)= H(X)+H(Y IX)= H(Y)+ H(X|Y)上式是焰的强可加性的另一种表达方式。当X与Y统计无关时，H(XY）=H(X)+H(Y）。以上关系可进一步推广成H(X,X, ... XN)= H(X)+H(X, IX,)+H(X, / X,X,)(2.31)+..+H(XN IX, .. Xn)2.2.8平均互信息量及其性质2.2.8.1平均互信息量的定义信源X与Y之间的平均互信息量I(X；Y），是统计平均意义下的先验不确定性与后验不确定性之差，也是互信息量I(xJ）的统计平均：(2.32)I(X;Y)= H(X)-H(X[Y) =ZP(xx-y,)(x:y)k.j2.2.8.2平均互信息量的性质(1)互易性，即I(X,Y)=I(Y,X)。（2）非负性，即I(X;Y）≥0。由非负性可得出摘的一个有用性质。因为I(X;Y)=H(X)-H(XY)≥0，故有H(X |Y)≤ H(X)(2.33)说明条件摘不会大于无条件，增加条件只可能使不确定性减小；进一步推广，条件多的不会大于条件少的炳，即(2.34)H(XIY,Y, ...YN)≤ H(XIY,Y, ...Y-)≤...≤H(X)（3）有界性，即[H(X)= I(X)(2.35)I(X;Y)= I(Y;,X)≤(H(Y) = I(Y)各种摘以及平均互信息量之间的关系可用以下文氏图表示。17
17 熵、联合熵和条件熵之间的关系如下所示： H(XY) H(X ) H(Y | X ) H(Y) H(X | Y) （2.30） 上式是熵的强可加性的另一种表达方式。当 X 与Y 统计无关时，H XY H X H Y ( ) ( ) () 。 以上关系可进一步推广成 ( | ) ( ) ( ) ( | ) ( | ) 1 1 1 2 1 2 1 3 1 2 N N N H X X X H X X X H X H X X H X X X （2.31） 2.2.8 平均互信息量及其性质 2.2.8.1 平均互信息量的定义 信源 X 与Y 之间的平均互信息量 I(X;Y) ，是统计平均意义下的先验不确定性与后验 不确定性之差，也是互信息量 ( ; ) k j I x y 的统计平均： , ( ; ) ( ) ( | ) ( , )( ; ) kj kj k j I XY H X H X Y Px y Ix y （2.32） 2.2.8.2 平均互信息量的性质 （1）互易性，即 I(X;Y) I(Y; X ) 。 （2）非负性，即 I(X;Y) 0。 由非负性可得出熵的一个有用性质。因为 IXY HX HX Y (;) ( ) ( |) 0 ，故有 H(X | Y) H(X ) （2.33） 说明条件熵不会大于无条件熵，增加条件只可能使不确定性减小；进一步推广，条件多的熵 不会大于条件少的熵，即 ( | ) ( | ) ( ) H X Y1Y2 YN H X Y1Y2 YN1 H X （2.34） （3）有界性，即 ( ) ( ) ( ) ( ) ( ; ) ( ; ) H Y I Y H X I X I X Y I Y X （2.35） 各种熵以及平均互信息量之间的关系可用以下文氏图表示
H(X)H(Y)H(YIX)H(XIY) (1(X;)H(XY)图2.3摘、平均互信息量关系的文氏图2.2.9离散无记忆扩展信源的炳离散无记忆信源X，考虑任意N个相邻时刻的输出符号序列X=XX，X，看成是一个新的离散无记忆信源的输出，称为X的N次扩展信源。XN的熵为H(XN)= H(X,)+H(X,)+...+ H(X)= NH(X)(2.36)2.2.10离散有记忆信源的滴考虑离散有记忆N阶平稳信源X，用两种摘描述不确定性：平均符号摘和条件摘。联合摘H(X)= H(X,X, .XN)(2.37)表示N长符号序列的平均不确定性。平均符号熵H(X")-H(XX,.-)Hn(X)= -(2.38)NN条件焰H(XNX,X, ... XN-)= H(XnXN-I)(2.39)对于一般的离散有记忆信源，需考虑N→0时的极限摘，可以证明：H(XX,.. )= Iim (XwXX,.. X-)H.(X)= lim H~(X)= limN(2.40)2.2.11马尔可夫信源的信息炳2.2.11.1马尔可夫信源设信源所处的状态序列为u,u2,",u,"E{Si,S,S，在每一个状态下可能输出的符号序列为x,X2,x，Eai,a2a}。若信源输出的符号序列和状态序列满足下18
18 2.2.9 离散无记忆扩展信源的熵 离散无记忆信源 X ，考虑任意 N 个相邻时刻的输出符号序列 N N X X1X2 X ，看 成是一个新的离散无记忆信源的输出，称为 X 的 N 次扩展信源。 N X 的熵为 ( ) ( ) ( ) ( ) ( ) H X H X1 H X2 H X N NH X N （2.36） 2.2.10 离散有记忆信源的熵 考虑离散有记忆 N 阶平稳信源 X ，用两种熵描述不确定性：平均符号熵和条件熵。 联合熵 ( ) ( ) 1 2 N N H X H X X X （2.37） 表示 N 长符号序列的平均不确定性。 平均符号熵 1 2 1 1 () ( ) ( ) N H X H X H XX X N N N N （2.38） 条件熵 1 12 1 ( )( ) N H X XX X H X X N NN （2.39） 对于一般的离散有记忆信源，需考虑 N 时的极限熵，可以证明： 12 12 1 1 ( ) lim ( ) lim ( ) lim ( ) N N NN NN N H X H X H XX X H X XX X N （2.40） 2.2.11 马尔可夫信源的信息熵 2.2.11.1 马尔可夫信源 设信源所处的状态序列为u1 ,u2 ,,ui , { , , , } S1 S2 SJ ，在每一个状态下可能输出 的符号序列为 x1 , x2 ,, xi , { , , , } 1 2 q a a a 。若信源输出的符号序列和状态序列满足下 图 2.3 熵、平均互信息量关系的文氏图 I(X;Y) H(X ) H(Y) H(XY) H(X | Y) H(Y | X )
列条件，则为马尔可夫信源：（1）某一时刻信源符号的输出只与当时的信源状态有关，而与以前的状态无关，即(2.41)p(x=a, [u=S,- =a_,u--=S,.)=p(x =a, [u=S)其中，ak,ak e(ai,a2,",ag) :S,,S, E(St,S2,"",S,)。（2）信源状态只由当前输出符号和前一时刻信源状态唯一确定，即(1(2.42)p(u, = S, Ix, =ak,ui-- = S,)=[o]对于一般的m阶（记忆长度为m+1）马尔可夫信源，状态空间可表述为[S,S,..S.(2.43)p(S,IS)其中，i,je(1,2,q")。2.2.11.2马尔可夫信源的信息在状态S，下发出一个符号的条件熵为ZP(a,IS,)log P(a, IS,)(2.44)H(X|u=S,)=-)k=l一般马尔可夫信源的信息焰只能是其平均符号焰的极限值。即1(2.45)H. =H.(X)= lim --H(X,X,..XN-XN)N N2.2.12离散信源的信息率和信息含量效率离散信源的信息率定义为平均一个符号所携带的信息量，在数值上等于信源的极限焰：(2.46)R=I(X)=H.(X)信源的信息含量效率n定义为实际的实在信息与最大的实在信息之比：I(X)H.(X)0≤n≤1(2.47)n:Imx(X) Hmax(X)当且仅当X是DMS且等概率分布时，n=1。定义信源X的相对穴余度为H(X)1Hmax (X)-H.(X)y=1-n=1-(2.48)Hmax (X)Hmax (X)19
19 列条件，则为马尔可夫信源： （1）某一时刻信源符号的输出只与当时的信源状态有关，而与以前的状态无关，即 1 1 1 ( | , , ,) ( | ) ll l l k l jl k l i l k l j px a u S x a u S px a u S （2.41） 其中， 1 1 2 , ( , , , ) l l kk q a a aa a ； 1 2 , (, , ) ij J S S SS S 。 （2）信源状态只由当前输出符号和前一时刻信源状态唯一确定，即 1 1 (|, ) 0 l i l kl j pu S x a u S （2.42） 对于一般的 m 阶（记忆长度为 m 1）马尔可夫信源，状态空间可表述为 ( | ) 1 2 j i q p S S S S S m （2.43） 其中， , (1,2, , ) m i j q 。 2.2.11.2 马尔可夫信源的信息熵 在状态 S j 下发出一个符号的条件熵为 ( | ) ( | )log ( | ) 1 k j q k j k j H X u S P a S P a S （2.44） 一般马尔可夫信源的信息熵只能是其平均符号熵的极限值。即 ( ) 1 ( ) lim 1 2 N-1 N N H X X X X N H H X （2.45） 2.2.12 离散信源的信息率和信息含量效率 离散信源的信息率定义为平均一个符号所携带的信息量，在数值上等于信源的极限熵： R IX H X () () （2.46） 信源的信息含量效率 定义为实际的实在信息与最大的实在信息之比： max max ( ) ( ) () () I X H X I XHX ，0 1 （2.47） 当且仅当 X 是 DMS 且等概率分布时， 1。 定义信源 X 的相对冗余度为 max max max ( ) () () 1 1 () () H X H X HX HX HX （2.48）