估计量总结引言1经典估计方法贝叶斯估计方法线性模型茶估计量的选择
估计量总结 引言 经典估计方法 贝叶斯估计方法 线性模型 估计量的选择
引言对于一个特定的应用，选择好的估计量与许多因素有关，最基本的考虑因素是选择一个好的数据模型，它的复杂性应该足以描述数据的基本特征，但是与此同时要简单得足以允许估计量是最佳的且易于实现。■对于信号处理问题，选择一个合适的估计量要从易于实现的最佳估计量开始。如果这种寻找没有效果，那么就应该考察准最佳估计量
引言 对于一个特定的应用，选择好的估计量与许多 因素有关，最基本的考虑因素是选择一个好的 最基本的考虑因素是选择一个好的 数据模型，它的复杂性应该足以描述数据的基 数据模型，它的复杂性应该足以描述数据的基 本特征，但是与此同时要简单得足以允许估计 本特征，但是与此同时要简单得足以允许估计 量是最佳的且易于实现。 量是最佳的且易于实现。 对于信号处理问题，选择一个合适的估计量要 对于信号处理问题，选择一个合适的估计量要 从易于实现的最佳估计量开始。如果这种寻找 从易于实现的最佳估计量开始。如果这种寻找 没有效果，那么就应该考察准最佳估计量。 没有效果，那么就应该考察准最佳估计量
估计方法在经典方法中，数据信息总结在概率密度函数p(x;θ)中，其中PDF是θ的函数。在贝叶斯方法中，由于先验PDFpθ)描述了有关θ的知识而增加了数据的信息。数据信息总结在联合PDFp(x,θ)中，或者等效地总结在条件PDFp(x/)(数据信息)和先验PDFPDFp(）中（先验信息）中
估计方法 在经典方法中，数据信息总结在概率密度函数 p(x;θ)中，其中PDF是θ的函数。 在贝叶斯方法中，由于先验PDFp(θ)描述了有 关θ的知识而增加了数据的信息。数据信息总 结在联合PDF p(x,θ)中，或者等效地总结在条 件PDF p(x|θ)(数据信息)和先验PDF PDFp(θ) 中（先验信息）中
CRLB1.Cramer-Rao下限（CRLB）a.数据模型/假设经典估计方法PDFp(x;)是已知的。b.估计量alnp(x; 0)如果CRLB等号条件=I(0)(g(x）-①)满足，那么估计量00是=g(x）。其中I()是只与有关的p×p矩阵，g(x)是数据x的p维函数。C.最佳/误差准则达到CRLB,即任何无偏估计量的方差的下限，因此也是最小方差无偏估计量（MVU）。在所有无偏估计量中，MVU估计量每个分量是最小的
经 典 估 计 方 法 1. ( )( ( ) ) ˆ ˆ , Cramer Rao I g CRLB θ θ θ θ θ θ θθ θ − ∂ = − ∂ × 下限（CRLB） a.数据模型/假设 PDFp(x; )是已知的。 b.估计量 lnp(x; ) 如果CRLB等号条件 x 满足，那么估计量 是 ＝g(x)。其中I( )是只与 有关的p p矩阵，g(x)是数据x的 p维函数。 c.最佳/误差准则 达到 即任何无偏估计量的方差的下限，因此也是最小方差 无偏估计量（MVU）。在所有无偏估计量中，MVU估计量每个分量 是最小的。 CRLB
CRLBd.性能它是无偏的且具有最小方差。E(é.)=0,, var(0) =[1-l()l, i =1,2, . p,aln p(x; 0) a ln p(x; 0)其中[I(0)],= E00,a0e.说明有效估计量可能不存在，因此这种方法可能失败
CRLB ˆ ˆ 1 , var( ) [ ( )] , 1, 2, , ln ( ; ) ln ( ; ) [ ( )] ii ij i j Ii p p p I E θθ θ θ θ θ θ θ θ − = = ⎡ ⎤ ∂ ∂ = ⎢ ⎥ ⎢ ⎥ ∂ ∂ ⎣ ⎦ ii i " d.性能 它是无偏的且具有最小方差。 E( )= x x 其中 e.说明 有效估计量可能不存在，因此这种方法可能失败
RBLS2.Rao - Blackwell - Lehmann - Scheffea.数据模型/假设经典估计方法PDFp(x;の)是已知的。b.估计量i通过将PDF因式分解为p(x;①)=g(T(x)，①)h(x)来求出一个充分统计量T(x)，其中T(x)是x的一个p维函数，g只与T和6有关，h只与x有关。ii.如果E[T（x)]=O,那么θ=T（x）;如果不是，我们必须求一个p维函数g,以便E[g(T)]=θ,那么=g(T)
经 典 估 计 方 法 2. . ˆ Rao Blackwell Lehmann Scheffe i PDF θ θ θ θ θ θ − −− a.数据模型/假设 PDFp(x; )是已知的。 b.估计量 通过将 因式分解为p(x; )=g(T(x), )h(x)来求出一个 充分统计量T(x),其中T(x)是x的一个p维函数，g只与T和 有关，h只与x有关。 ii.如果E[T(x)]= ,那么 ＝T(x);如果不是，我们必须求一 个p维 ˆ 函数g,以便E[g(T)]= 那么 ＝g(T)。 θ θ , RBLS
RBLSC.最佳/误差准则是MVU估计量。d.性能é(i=1,2,p)是无偏的。方差与PDF有关一没有一般的公式。e.说明另外，必须检查充分统计量的完备性，p维的充分估计量可能不存在，因此这种方法可能失败
RBLS ˆ ˆ 1, 2, i i p θ θ = " c.最佳/误差准则 是MVU估计量。 d.性能 ( )是无偏的。方差与PDF有关－没有一般的公式。 e.说明 另外，必须检查充分统计量的完备性，p维的充分估计量可能 不存在，因此这种方法可能失败
BLUE3.最佳线性无偏估计量（BLUE）a.数据模型/假设经典估计方法E(x)=HO其中H是N×p(N>p)的已知矩阵，x的协方差矩阵C是已知的，等效地我们有x=H+w，其中E(w)=0和C=C。b.估计量-(H'C-"H)"H"C-xC.最佳/误差准则é(i=1,2,p)在所有的线性（在x中）无偏估计量中具有最小方差
经 典 估 计 方 法 ( ) 1 1 1 3. ˆ ˆ 1, 2, T i C HC H HC i p θ θ θ θ − − − × = = " w T 最佳线性无偏估计量（BLUE） a.数据模型/假设 E(x)=H 其中H是N p(N>p)的已知矩阵，x的协方差矩阵C是已知的， 等效地我们有x=H +w,其中E(w)=0和C 。 b.估计量 ＝ x c.最佳/误差准则 ( )在所有的线性（在x中）无偏估计量中具有 最小方差。 BLUE
BLUEd. 性能e(i=1,2,p)是无偏的。方差为var ()=| (H'C-"H)"i=1,2,.. pe.说明如果w是高斯随机矢量，即w～N（O，C），那么也是MVU估计量（对所有x的线性和非线性函数的估计量）
BLUE ( ) 1 1 ˆ 1, 2, ˆ 1, 2, ˆ i i ii i p CH i p MVU θ θ θ − − = ⎡ ⎤ = ⎢ ⎥ ⎣ ⎦ Ν " " ∼ T d.性能 ( )是无偏的。方差为 var( )= H e.说明 如果w是高斯随机矢量，即w （0，C）,那么 也是 估计量（对所有x的线性和非线性函数的估计量）
MLE4.最大似然估计量（MLE）a.数据模型/假设经典估计方法PDFp（x)是已知的。b.估计量是使p(x;の)达到最大的值，其中x由观测数据样本代替。C.最佳/误差准则一般来说没有最佳的估计量。然而在PDF一定的条件下，对于大数据记录或当N→8时（渐进），MLE是有效的。因而它是渐进MVU估计量
经 典 估 计 方 法 4. ˆ θ θ θ → ∞ 最大似然估计量（MLE） a.数据模型/假设 PDFp(x; )是已知的。 b.估计量 是使p(x; )达到最大的值，其中x由观测数据样本代替。 c.最佳/误差准则 一般来说没有最佳的估计量。然而在PDF一定的条件下， 对于大数据记录或当N 时（渐进），MLE是有效的。 因而它是渐进MVU估计量 MLE