第二章信源及信源熵 (P36-2133 417 (3P1=2 7 2 (3H(x=6Log36+15L 4337 4 H(=o0+21030)+3e2)+4 362)+3613)+324+33 Lo =3.274 =0014 100 =6644 9+m01100=0 (3 Log(4 25%75% %0.375-1080375=1415 2-4 ELog 8 +7Log(4)+log(4+ Iog(8)=1.906 601906=114.36 25(12(21)共两种1o(2)=47 (16(610(25)(5234(43)共六种1o16 2.585 2-6014个1--13个2--12个3--6个 14/,13,、12 8111(1=87811 2-7Log(2)=1Iog(4)=2Log(8)=3 2-8“一”用三个脉冲“●”用一个脉冲 (1)I(●)=Log(4=2I(一 0415
第二章 信源及信源熵 2-1 (4) 2-2 2-3 2-4 3 8 Log 8 3 1 4 + Log(4) 1 4 + Log(4) 1 8 + Log(8) = 1.906 601.906 = 114.36 2-5 (1,2) (2,1) 共两种 Log 36 2 = 4.17 (1,6) (6,1) (2,5) (5,2) (3,4) (4,3) 共六种 Log 36 6 = 2.585 2-6 0—14 个 1---13 个 2----12 个 3---6 个 P= I= 2-7 Log(2) = 1 Log(4) = 2 Log(8) = 3 2-8 “－” 用三个脉冲 “●”用一个脉冲 (1) I(●)= Log(4) = 2 I(－)＝Log 4 3 = 0.415
g (4)+=Log 3/=081 2.9 (1)Log(3)+=Logl 2=098 (2)P(黑/黑)= 14P自/黑=10 HY黑公m/-031 10 10 (3)P黑白)14P白白)=14 HY/白;Loe L 9/=09 (4)P黑严1P(白尸3 Lo =0918 2-10(1)H(色) 38)+18 38 (2)P(色数)=H(色数)=Log38)=5248 (3)H(数色)=H(色数}H(色)=5248-1245=4003 H(XYF 7)+1og(24)+0+-Log(24)+Log(4)+2A Log(24)+0+;1og(24 g(yD=7+1+0→1 2442|得到p0 244243 17 171 p(y3)=0+ (3)H(X/Y)=H(XY)-H(Y=2301-1.585=0716 2-12(1)恿X)=1球Y=1 H(XY=-Log8+-Lof 823+1083-181 H(YA=HXYH()=1811-1=0811 H(Y=HxY)HY)1811-1=0811 (3)1×Y=H0HwY=1-0811=0189 2-13
(2) H= 1 4 Log(4) 3 4 Log 4 3 + = 0.811 2.9 (2) P(黑/黑)= P(白/黑)= H(Y/黑)= (3) P(黑/白)= P(白/白)= H(Y/白)= (4) P(黑)= P(白)= H(Y)= 2-10 (1) H(色)= (2) P(色数)= H(色数)= (3) H(数/色)= H(色数)- H(色)= 2-11 (1) H(XY)= 7 24 Log 24 7 1 24 + Log(24) + 0 1 24 + Log(24) 1 4 + Log(4) 1 24 + Log(24) + 0 1 24 + Log(24) 7 24 Log 24 7 + = 2.301 (2) P= 得到 H(Y)= (3) H(X/Y)=H(XY)-H(Y)= 2-12 (1) H(X) = 1 H(Y) = 1 (2) (3) 2-13
P0= 1-43 1-41-5 10 430 P()= 1-21-3 P()= 810 10 6366 6 Hu=421ag+211og10+211g150+311og30+11og(12-345 2-14 31 P() 22/P0=)25 p0=3+1→2p0y=2+7→ (2)方法1:Y=p0)0+y0y1)=1048+026-031 7 方法2: 6-712 =0311 8 2 2-15 P(n尸 e1-8 pCbl=p(b2)=2 p(al/b1)=PCaD)'p(bl-a2= 2 1- (a1: b 1)= Logl L =Lod21-2 2 p(1b2=ya)(2a)= 11: b2)= Log/ p(al-b2 R(ar =logle 2-16 (1)HX=-(03Lg(03+07Log07)=0881
P(i)= P(ij)= H(IJ)= 2-14 (1) P(ij)= P(i/j)= (2) 方法 1: = 方法 2: 2-15 P(j/i)= 2-16 (1)
黑 (2)设最后平稳概率为W1,W2 0914300857 0208 WE w 得W1=07W2=0.3 H(Y黑)=-09143L0g(09143)-00857Log(00857)=0422 H(Y/白)=-02Iog(02)-08Iog(08)=0722 H(Y/X=W1H(Y黑)+W2H(Y/白)=070422+030722=0512 0.0857 0.8 0.914 黑 白 0.2 -L0 X 2 =1000L0g10000=1329×10 1000 10000 2-24 P1 (1)Hx=1og4+Lo2=081 =2m+(100-m)Log/4 3)=13m+40 3)H(12…×100=H1)+Hx2)+.…+11)=100H(X=10011=811 2-25 P0=(0235075 解方程组
(2) 设最后平稳概率为 W1,W2 得 W1=07 W2=0.3 H(Y/黑)= −0.9143Log(0.9143) − 0.0857Log(0.0857) = 0.422 H(Y/白)= −0.2Log(0.2) − 0.8Log(0.8) = 0.722 H(Y/X)=W1 H(Y/黑)+ W2 H(Y/白)= 2-17 (1) (2) 2-24 (1) H(X)= (2) = (3) 2-25 解方程组 1 1 黑 白 黑 白
Pw=w 解得 Wl=0.4W2=0.6 P)303|解方程组102w2|=2求得W=036 l/3 /3 2-27 求平稳概率 00011011 00(0802 00(080200 符号条件概率01|0505状态转移概率01000505 100505 10050500 解方程组 0.143 w,+w+w,+w,=1得到014 0357 2-28
P T W W W1 W2 + 1 即 0.25 0.75 0.5 0.5 W1 W2 W1 W2 解得 W1=0.4 W2=0.6 2-26 P(j/i)= 解方程组 求得 W= 2-27 求平稳概率 符号条件概率 状态转移概率 解方程组 得到 W= 2-28 S1 S2 S3 1/3 1/2 1/2 2/3 1/3 2/3
(1)求平稳概率Pj/)=33 解方程组 W 得到 +Log3=0918 H(S/s2)=0 信源熵为 HS=WH(S/1)+W2H(S/s2)=0918+-0=0688 2-29 333 332 W2=W2 P(/1) 解方程组 333 w3/(w)得到W=2,W2=,W3= W1+W2+W3=1 HC/a)=Log(3=1.585 HC2)=Log(3=1.58 HC/c)= Log(2) H=+2/)+W+21)++=1og3+231g+1og2)-149
(1) 求平稳概率 P(j/i)= 解方程组 得到 (2) 信源熵为: 2-29 P(j/i)= 解方程组 得到 W1= , W2= , W3= 2-30
Pi)=/21 解方程组3 得W1=W2=W 11 33 HW/1=Log) H2)=Log() 信源熵为H∞X=HXU)+-H(X1)+=H(x2)=Log 2-31 1-40 (XF 4 33/P(X XH188 12 (1)H012×2)=H1)+H02X1)+H2×+2)=H1)+H021)+H02×2) H(X1F-Log(2+-Log4)+=Log(4)= 1.5 b.求H(X2/X1)有两种方法: 方法1:H2a)=Lo2+Log4+Lo4=15 +0+Log3=0918 3°2 +Loe3+0=0918 HC2X=p12a1)+H02/a2)+H02/a3)==15+09:8+-0918=1.209 方法2:H(X/X1)=∑P(Xx1X2)log(x2/x) 180+21084+21089+212(3)+1 2)19g*2 +:Log3=1.209 c.求H(X/X2) P(X2)= 则
P(i/j)= 解方程组 得 W1=W2=W3= 信源熵为 2-31 P(X1)= P(j/i)= P(X1X2)= （1） a. b. 求 H(X2/X1)有两种方法： 方法 1： 方法 2：H(X2/X1)=∑P(x1x2)log(x2/x1) = c. 求 H(X3/X2) P(X2)= 则
方法1 PXAF12%A+2+2+A3=215+5 0918+0918=1257 方法2:P(X/X Log2)+一Log4+-Log4 L 3662/n Log) d.最后 H12×3)=H(1)+Hx21)+H032×1+2)=H(1)+H21)+H(x22) 1.5+1209+1.257=3966 (2)首先求解稳定情况下的概率 解方程组 得到W4 2 HoD()=W: Hm?/a1)+W2 H(/a2)+W3 H?/a3) 15+-0918+-0918=1251 (3)不做 p P(i)=1-p 2 pp 求解方程组 (1-p)Wl+W2+W3=W1 p W1+(1-p).W2+W3= W2 Pw1+卫w2+(1-p)W=W3 1+W2+W3=1
方法 1： P(X3/X2)= ) + + = 方法 2：P(X3/X2)= d. 最后 ＝ （2）首先求解稳定情况下的概率 解方程组 得到 W1 ）＋W2 ＋W3 = (3) 不做 2-32 (1) P(j/i)= 求解方程组 得 p(0)=p(1)=p(2)=
(2) HOX0-=H/1=H2F(1-p)log(p)-P21o0b Hoo)=-(1-p). Log(1-p)-pLop (3)H(X)=og(3)=1.58 (4)4Hp)=1-B ln(2(1-p)ln(2 当p=时H∞达到最大值1.58 当p=0时H(X)=0 当p=1时H(X)=1 2-33 1-p0p P00=p1-p 解方程组 (1 -pW1+pW2= w1 (1-p)W2+pW=W2 pW1+(1-p)W=W3 W1+W2+W3=1 得p(0)=p(1)元p2)3 H(/O=HW/1=H(X2)=-(1-p). Log(1-p)-pLogp HOD(=H(O)+-*HX/1)+H(2)=-(1-p). Log( 1-p)-pLog( 当p=0或p=1时信源熵为0
(2) (3) H(X)=log(3)=1.58 (4) = P= 当 p= 时 达到最大值 1.58 当 p 0 时 H(X) 0 当 p 1 时 H(X) 1 2-33 (1) 解方程组: 得 p(0)=p(1)=p(2)= (2) (3) 当 p=0 或 p=1 时 信源熵为 0