估计的数学问题>必须估计一组参数的值>例如：雷达，声纳，语音，图像分析，生物医学，通信，控制，地震学等>参数估计问题：假设有N点数据集，它与未知参数有关，我们希望为θ定义一个估计量： = g(x[0], x[1], x[2]... x[N -1])>用PDF（概率密度函数）来描述数据模型：PDF以未知量 为参数，即：p(x;の)>是确定参数/随机参数→经典估计/贝叶斯估计
¾ 必须估计一组参数的值 ¾ 例如：雷达，声纳，语音，图像分析，生物医学，通 信 ,控制， 地震学等 ¾ 参数估计问题： 假设有N点数据集，它与未知参数有 关，我们希望为 定义一个估计量： ¾ 用PDF（概率密度函数）来描述数据模型：PDF以未知 量 为参数，即： ¾ 是确定参数/随机参数 经典估计/贝叶斯估计。 ˆ θ = g x x x xN ( [0], [1], [2] [ 1]) " − θ 估计的数学问题 p(; ) x θ θ θ
估计量性能评估>估计量的性能评估一估计量是否接近参数的真实值？一是否还有更好的估计？一eg.样本平均 vs.X[0]>估计量是随机变量，它的性能只能由统计或者PDF来描述>为了评估估计性能，采用计算机模拟将永远不会得出明确的结论，尽管它在洞察一些问题和促进作一些推测方面相当有价值。>性能与计算复杂性之间的折衷
¾ 估计量的性能评估 —估计量是否接近参数的真实值？ —是否还有更好的估计？ — eg.样本平均 vs. X[0] ¾ 估计量是随机变量，它的性能只能由统计或者PDF 来描述 ¾ 为了评估估计性能，采用计算机模拟将永远不会得出明 确的结论，尽管它在洞察一些问题和促进作一些推测方 面相当有价值。 ¾ 性能与计算复杂性之间的折衷 估计量性能评估
性能评价指标无偏性:1b= E(0)-6一致性:lim-。 = 0(w.p.1)■方差（有效性）：E[(-)(-)]1分布：估计误差的渐进分布（理想正态）/N(@-0)~ N(O,C)
性能评价指标 无偏性: 一致性: 方差（有效性）: 分布:估计误差的渐进分布（理想正态） ˆ b E = ( ) θ − θ ˆ lim ( . .1) N→∞ θ θ = w p ˆ ˆ [( )( ) ] T E θ − − θθ θ ˆ ( ) (0, ) d N NC θ θ− ∼
无偏性>无偏估计意味着估计量的平均值是未知参数的真值>估计量是无偏的，如果参数θ满足E(①)=0,当0是确定信号时，E(①)=E(0),当0是随机信号>无偏估计不一定总是存在，并且它们可能很难计算>无偏估计的性质在经过函数变换后并不是不变的
¾ 无偏估计意味着估计量的平均值是未知参数的真值 ¾ 估计量是无偏的，如果参数 满足 ¾ 无偏估计不一定总是存在，并且它们可能很难计算 ¾ 无偏估计的性质在经过函数变换后并不是不变的 θ ˆ () , ˆ ( ) ( ), E E E θθθ θ θθ = = 当 是确定信号时， 当 是随机信号 无偏性
一致性对于任意的ε>0.如果lim Pr - 0 >|=(N→80此时的估计量e称为一致估计（consistent）
一致性 { } 0, ˆ lim Pr 0 ˆ N ε θθ ε θ →∞ > −> = 对于任意的 如果 此时的估计量 称为一致估计（consistent）
有效性>方差衡量了估计量的性能>估计量的有效性可以通过比较θ与所有无偏估计的最小误差方差的大小来进行评价>如果Var（é,）如果一个估计值是无偏的并且达到了C一R的下限那它被称为有效的>两个基于观测值的估计值T,和T,的相对有效性为：Var(T,(N)Var(T(N))
¾ 方差衡量了估计量的性能 ¾ 估计量的有效性可以通过比较 与所有无偏估计的最小 误差方差的大小来进行评价 ¾ 如果Var（ ）< Var（ ）并且E（ ）=E（ ）, 那么， 的有效性比 的有效性好 ¾ 如果一个估计值是无偏的并且达到了 如果一个估计值是无偏的并且达到了C—R的下限那它 被称为有效的 ¾ 两个基于观测值的估计值T1和T2的相对有效性为: ˆ θ 1 ˆ θ 1ˆ 2 θ ˆθ 2ˆθ 2 ˆ 1 θ ˆ θ 2 1 ( ( )) ( ( )) Var T N Var T N 有效性
MSE:meansquareerror最小均方误差准则MSE = E[(-)?]>最佳的估计准则：MSE = E([(-E(①))+(E(①)-0)})= Var(0)+ bias?(0)>E.g. 对于 x[n] = A + w[n],n = 0,1... N - 1令=αx[n] 为均值样本估计值N我们试图找一个a，使MSE最小
¾最佳的估计准则： 2 ˆ MSE E = − （ ） [ ] θ θ 2 2 ˆˆ ˆ {[( ( )) ( ( ) ] } ˆ ( ) ( ) MSE E E E Var bias θ θ θθ θ θ = −+− = + ） ¾ E.g. 对于 xn A wn n N [ ] [ ], 0,1 1 = += − " 1 0 1 [ ] Nn A a x N −= = ∑ n 令 为均值样本估计值 我们试图找一个a，使MSE最小。 最小均方误差准则 MSE: mean square error
最小均方误差准则E(A)=aA, Var(A) = α’2 / N我们得到：α22+ (a -1)2 A2MSE(A) =N对MSE求导，令其导数为零，可得到A?>不可实现的aoptA?+2/ N
对MSE求导，令其导数为零，可得到： 2 2 2 / opt A a A N σ = ⎯⎯→ + 不可实现的 最小均方误差准则 2 2 Var A a N () / = σ 我们得到： 2 2 2 2 ( ) ( 1) a M SE A a A Nσ = +− E A aA () , =
MVU:Minimumvarianceunbiased最小方差无偏估计>一般来说，MSE最小的估计量是不可实现的>当 A是一个未知的确定性参数时，使MSE最小的估计量是一个典型的有偏估计量。>从实际的观点来看，需要放弃最小MSE估计。另一种方法就是约束偏差为零，从而求出使方差最小的估计量一最小方差无偏(MVU)估计量。>或者在允许较小偏差情况下运用MSE准则。允许较小偏差可以有效地减小MSE。>一个使MSE最小的无偏估计量也是一个最小方差估计量
¾ 一般来说，MSE最小的估计量是不可实现的 ¾ 当 是一个未知的确定性参数时，使MSE最小的估计 量是一个典型的有偏估计量 。 ¾ 从实际的观点来看，需要放弃最小MSE估计。另一种方法 就是约束偏差为零，从而求出使方差最小的估计量－最小 方差无偏(MVU)估计量。 ¾ 或者在允许较小偏差情况下运用MSE准则。允许较小偏 差可以有效地减小MSE。 ¾ 一个使MSE最小的无偏估计量也是一个最小方差估计量。 ˆ θ 最小方差无偏估计 MVU: Minimum variance unbiased
最小方差无偏估计>无偏估计量：例子：白色高斯白噪声中DC电平的无偏估计量x[n]= A+ w[n],n =O,1,... N -1 ， A是要估计的参数，w[nj是WGN-8<A<8—→A=1ZNx[n]N》有偏估计量：例子：E(A)± AN-ZAx[n]n=02N
¾ 无偏估计量： 例子：白色高斯白噪声中DC电平的无偏估计量 ， A是要 估计的参数，w[n]是WGN ¾ 有偏估计量： 例子： xn A wn n N [ ] [ ], 0,1, 1 = + = .− 1 0 1 ˆ [ ] Nn A A xn N −= −∞ < < ∞ ⎯⎯→ = ∑ ( ) EA A ˆ ≠ 1 0 1 ˆ [ ] 2 Nn A x n N −= = ∑ 最小方差无偏估计