《统计信号处理 Statistical Signal Processing》课程电子教案（2018讲稿）第四章 参数估计理论

第四章参数估计理论

第四章 参数估计理论

第一节引言问题提出：信号处理：从观测中提取有用信息参数估计检测 ＋ 确定波形估计功率谱、高阶谱估计（时特征估计一一谱估计间)空间谱—一阵列信号处理（角度谱）有用信息VX

第一节 引言 x 问题提出： 信号处理： 从观测中提取有用信息 检测 + 确定 参数估计√ 波形估计 特征估计——谱估计 功率谱、高阶谱估计（时 间） 空间谱——阵列信号处理 有用信息 （角度谱）

第一节引言参数估计的图形化表示：p(0)0准则规则源p(x[0)X估计量观测空间准则：N-PXMAPp(0|x)Ymin PEXminc(o,0)YminC→minR~ 风险Yminmax C既然其它两种准则都是贝叶斯准则的特例，下面先来讨论贝叶斯估计

3 / 30 第一节 引言 源 x   ˆ p x θ θ x θ 准则 规则 观测空间 估计量 N P MAP min PE minC minmaxC X √ X √ √ p θ x   ˆ C θ,θ min min ~ C R  准则： 风险 p   参数估计的图形化表示： 既然其它两种准则都是贝叶斯准则的特例，下面先来讨论贝叶斯估计

第二节贝叶斯估计贝叶斯估计的定义：>0(x)=?min R=E[C(0, 0)]风险:R= J J。c(o,)p(x,0)dxdo-了J。c(o,0)p(0x)p(x)dxdeop(0x)为后验概率密度函数p(0x) = P(x/0) p(0)[ tJ。 c(0,0)p(0|x)d0] p(x)dxp(x)条件风险：min R(o|x)=J。c(6,0)p(0x)d0 >0↑min R(0)= [ R(0|x) p(x)dxC(0, 0)=?

第二节 贝叶斯估计 贝叶斯估计的定义： 风险： 条件风险： min = [ ( )] R E C ˆ θ,θ   ˆ ? θB x                  ˆ , ˆ ˆ [ ] R C p d d C p p d d C p d p d                    θ,θ x θ x θ θ,θ θ x x x θ θ,θ θ x θ x x p θ x 为后验概率密度函数             min = 0 ˆ ˆ min ˆ ˆ R C p d R R p d        θ x θ,θ θ x θ θ θ x x x         p p p p  x θ θ θ x x ˆ C( )= θ,θ ？

第二节贝叶斯估计三种典型代价函数：c(0,0)满足:① c(0,0)≥0② c(o,0)=c(0,0) , c(0-)=c(-0-0 c(0,-0)≥c(,-0),若 -≥[ -3（1）平均误差代价函数：c(a)标量：C(0,0)-(0-0) =-2C(0,0)=(0-0) (0-0)矢量：8=0-0c(0,0) =(0-0)(0-0)

第二节 贝叶斯估计 三种典型代价函数： ① ② ， ③ ， （1）平均误差代价函数： 标量： 矢量：   C ˆ θ,θ 满足：   ˆ C θ,θ  0     C C ˆ ˆ θ,θ  θ,θ  1 2    C C ˆ ˆ θ - θ  θ - θ     C C ˆ ˆ θ - θ   θ - θ 1 2 ˆ ˆ 若 θ - θ  θ - θ            ˆ ˆ ˆ ,ˆ ˆ ˆ , C C     θ θ θ - θ θ - θ θ θ θ - θ θ - θ     2 2 ˆ ˆ C      , -   C  2  ˆ 0   

第二节贝叶斯估计(2）绝对误差代价函数：标量：c(0,0) =[6 -0|=|slc(0,0) =[0-0-Z0 -0k矢量：（3）均匀误差代价函数：1810-170△-△=0-0三种代价函数对应的贝叶斯估计：

第二节 贝叶斯估计 （2）绝对误差代价函数： 标量： 矢量： （3）均匀误差代价函数：   ˆ ˆ C      ,    ˆ 0, ˆ , ˆ 1, C           θ - θ θ θ θ - θ   1 ˆ ˆ ˆ , = N k k k C  θ θ  θ - θ  θ - θ 1 ˆ      C  0 三种代价函数对应的贝叶斯估计：

第二节贝叶斯估计2.1：最小均方误差估计：ém0m =arg(min E[(o-0)(o-0)min R(o|x)= [ (-0) p(0|x)d6标量：aR(0|x)[ 2(0-0)p(0|x)d0=0a01f- p(0|x)do- op(0|x)do = 0: [- p(0|x)do =1,: 0g =[ 0p(0|x)d0=E(0|x)后验均值: min R(0|x)min R=E[c(0,0)]=E (@-0)

2.1：最小均方误差估计: 标量： 第二节 贝叶斯估计    ˆ ˆ =arg{min } ˆ ˆ ms E      θ   θ θ - θ θ - θ ˆ  ms       2 min R p d ˆ ˆ           x x           ˆ ˆ 2 =0 ˆ ˆ 0 R p d p d p d                             x x x x           2 1, min ( | ) min = ,ˆ ˆ ˆB p d = d E E p R R C E                                    x x x x 后验均值

第二节贝叶斯估计可见，在平方误差代价函数时，ms = E(0|x)因此也叫后验均值估计矢量：R(0|x)= [ (@-0) (6-0)p(0|x)de(0-0aRb(0x)dea000J 2(@-0) p(0|x)d0=0→ [ 2(@, -0.) p(α x)de, = 0,i=1, 2,., M= 0ms = E(0x)=[ op(o|x)do后验均值

第二节 贝叶斯估计 可见，在平方误差代价函数时，         R p d ˆ ˆ ˆ      θ x θ - θ θ - θ θ x θ   ˆ   ms  E x                     ˆ ˆ ˆ ˆ ˆ ˆ 2 = ˆ 2 0, 1, 2,., ˆ i i s i m i R p d p E p d d     p d i M                              θ x θ θ θ θ x θ θ x θ θ θ x θ θ θ θ θ θ x θ 0 x θ 因此也叫后验均值估计 后验均值 矢量：

第二节贝叶斯估计条件中值估计：2.2:ed=arg(min E(l@-0)标量：min R(0|x)= [[o-0p(0|x)deAaR(0)x0|x)d0=0a0000-0DdeHaa0f p(o|x)do -J。 p(o|x)de = 0. p(o|x)d0 = J° p(0|x) do条件中值.. 0mea : J p(0]x) do = J p(0|x) de量: 0med=(0ma, 0(2d,.,om)),oma : Jom p(ox)do = Jat, p(o|x)de

第二节 贝叶斯估计 2.2：条件中值估计:     min R p d ˆ ˆ            x x                 ˆ ˆ ˆ ˆ ˆ ˆ 0 ˆ ˆ ˆ ˆ ˆ ˆ 0 R p d p d p d p d p d                                                       x x x x x x         ˆ ˆ ˆ ˆ ˆ : med p d d p d p d p                            x x x x ˆ θmed  ˆ ˆ =arg{min ˆ } med E  θ θ θ θ 标量： 条件中值 矢量：     ( ) ( ) ˆ (1) (2) ( ) ( ) ˆ ˆ =( , ,., ) , : ˆ ˆ ˆ ˆ k med k med M T k med med med med med p d p d                θ x x

第二节贝叶斯估计02.3:最大后验概率估计：mapmap=arg (min R(0|x)R(0x) = Jo-α/a P(0x)d0 =1-Jdp(0xmin R(0x) ma Ji-0s P(|x)d0 ~ →0, 0→ = Ji- P(0x)0=p(0x)d0: min R(0|x)max p(o|x) = 0mp=arg(max p(o|x)↑aln p(0|x)p(0x)= 0= 00=0m0=0,0000nOO后验方程Op(0, xaln p(0,x= 0=00=0,0=0map0000ma

第二节 贝叶斯估计 2.3：最大后验概率估计：       ˆ ˆ ˆ R p d p d 1          θ θ θ θ θ x θ x θ θ x θ ˆ θmap    ˆ = arg max map  p θ θ θ x     ˆ min max ~ R p d ˆ      θ θ θ x θ x θ ˆ    0，θ θ     ˆ p d p d      θ θ θ x θ θ x θ   ˆ ln map p     θ θ θ x 0 θ   ˆ ln , map p     θ θ θ x 0 θ   ˆ map p     θ θ θ x 0 θ   ˆ , map p     θ θ θ x 0 θ  ˆ   ˆ = arg min ˆ map R θ θ θ x   ˆ   min ( | ) max R p ˆ θ θ θ x θ x 后验方程