、（速）率和信息含量效率2.10离散信源的信息一、信息率R：定义为平均一个符号所携带的信息量，即信源的实在信息，数值上等于信源的极限：R-1XE月二、信息速率！借源在单位简β发出的平均信息量，若信源平均t秒发出一个符号，则R =R_ H()bit/秒三、信息含量效率n：实际的实在信息与最大的实在信息之比
2.10 离散信源的信息（速）率和信息含量效率 一、信息率R：定义为平均一个符号所携带的信息 量，即信源的实在信息，数值上等于信源的极限 熵： R=I(X)=H∞ (X) bit/符号 二、信息速率Rt：信源在单位时间内发出的平均信 息量，若信源平均 t s秒发出一个符号，则 ( ) / t s s R H X R bit t t 秒 三、信息含量效率η ：实际的实在信息与最大的 实在信息之比
I(X)H(X)n=Imax(X)Hmax(X)显然,0≤m≤1,当且仅当X为DMS且等概分布时，n=1对于DMS而言，H（X)=H(X)四、相对穴余度y：表示信源含无效成份的程度H.(X)Hmax(X)-H.(X)X=l-n=1-Hmax(X)Hmax(X)maxma五、说明：如果要传送信源输出的信息符号，从提高信息传递效率出发，必须先对信源进行改造（变换），使改造之后的等效信源的穴余最大限度地减小
max max ( ) ( ) ( ) ( ) I X H X I X H X 0 1, X DMS 1 ( ) ( ) X H X 显然， 当且仅当 为 且等概分布时， 对于DMS而言，H 四、相对冗余度γ ：表示信源含无效成份的程度 max max max ( ) ( ) ( ) 1 1 ( ) ( ) H X H X H X H X H X 五、说明：如果要传送信源输出的信息符号，从 提高信息传递效率出发，必须先对信源进行改造 （变换），使改造之后的等效信源的冗余最大限 度地减小
例 2.9 设信源为X=[xj,X2,x3],p(x1)=1/2,p(x2)=1/3。求信息的含量效率和相对穴余度log 2 += log 3 +=log 6H(X)362~92%n=Hmaxlog3(X)maxx=1-n=0.08
例 2.9 设信源为X＝[x1 ,x2 ,x3 ]，p(x1 )=1/2, p(x2 )=1/3。求信息的含量效率和相对冗余度。 max 1 1 1 log 2 log3 log 6 ( ) 2 3 6 92% ( ) log3 1 0.08 H X H X
2.1连续随机变量的和平均互信息量2.1.1连续随机变量的熵连续随机变量可以看作是离散随机变量的极限，故可采用离散随机变量来逼近。下面，将采用这一观点讨论连续信源的信息炳与信息量
2.1.1 连续随机变量的熵 连续随机变量可以看作是离散随机变量的 极限，故可采用离散随机变量来逼近。 下面，将采用这一观点讨论连续信源的信 息熵与信息量。 2.1 连续随机变量的熵和平均互信息量
可得单变量连首先类比概率p,与概率密度p(x)，续信源的数学模型：RX并满足[,fx(x)dx =1f(x))fx (x)第k个区间令xE［a,b」，且a<b,现将它均匀的划分为K份，每份宽度为戈=(b-a)/K，则x处于第k个区间的概率为pk，则ba+(k-1^aa+ka
首先类比概率pi与概率密度p(x)，可得单变量连 续信源的数学模型： : ( ) 1 ( ) X R R X f x dx f x 并满足 令x∈［a,b］，且 a<b,现将它均匀的划分 为K份，每份宽度为△ ＝(b-a)/K，则x处于第k a a+(k-1)△ a+k△ 个区间的概率为pk，则 第 k 个区间 xk b fX (x)
a+k△pk=[f (x)dxα+(k-l)△= fx(x)·a+(k-l)△≤x≤a+k（积分中值定理）当f(x)为x的连续函数时，由中值定理，必存在一个x值，亻使上式成立。这样得到一个离散随机变量X，其概率空间为
( ) ( 1) ( ) ( 1) k x X k k a k p f x dx a k f x a k x a k 积分中值定理 △ △ △ △ △ 当f(x)为x的连续函数时，由中值定 理，必存在一个xk值，使上式成立。 这样得到一个离散随机变量XΔ ,其概 率空间为
X1-Xi:XkX2PxLfx(x)A, fx(x2)A... fx(x)A且概率空间是完备的：21 (a.)4k=1Kca+k△fx(x)dx = ( fx(x)dx = 1a+(k-1)△k=l
1 2 1 2 , , ( ) , ( ) ( ) k X X X X k X x x x P f x f x f x 且概率空间是完备的： 1 ( 1) 1 ( ) ( ) ( ) 1 K X k k K a k b X X a k a k f x f x dx f x dx
根据离散公式，有H(X)=- pi·log piil=-E[fx(xi)·].log[fx(xi) ]= - fx(xi) · A[log fx(xi)+ log A)= - fx(xi) log fx(xi)△ -(log△)Z fx(xi) ·△= -Z fx (xi)log fx(xi)A-log △
根据离散熵公式，有 1 ( ) log ( ) log[ ( ) ] ( ) [log ( ) log ] ( )log ( ) (log ) ( ) ( )log ( ) log K i i i i i X X i i i X X i i i i X X X i i i i X X i H X p p f x f x f x f x f x f x f x f x f x
将区间[a,b]无限细分，即K趋于无穷大，即△趋于零，对H(X）取极限即得连续熵H(X)的实际值H(X) = lim H(X)k>04-0= -J~ x (x) log fx(x)dx - lim log △k>80△>0= -f~ fx (x)log fx (x)dx + c0
将区间[a,b]无限细分，即K趋于无穷大，即 Δ 趋于零，对H(XΔ )取极限即得连续熵H(X)的 实际值 0 0 ( )log ( ) log ( ) ( ) li log m ) lim ( ) ( k b X X X X a k b a H X H X f x f x dx f f x x dx
按离散概念推出的连续摘为无穷大，失去意义但上式第一项作为连续的相对值仍有一定意义，为了与连续熵的实际值相区别，称其为随机变量的微分熵，记为h(X)h(X)=-[~ fx(x) log fx(x)dx微分熵更一般的定义式为：h(X)=-/ fx(x)log fx(x)dx = -(, fx(x)log fx(x)dx
按离散熵概念推出的连续熵为无穷大，失去意义， 但上式第一项作为连续熵的相对值仍有一定意义， 为了与连续熵的实际值相区别，称其为随机变量 的微分熵，记为h(X) ( ) ( )log ( ) X X b a h X d f x f x x 微分熵更一般的定义式为： ( ) ( )log ( ) ( )log ( ) X X X R X h X f x f x f x f dx d x x