内容提要上次课的回顾线性模型LM一般MVU估计一RBLS最佳线性无偏估计量BLUE应用实例
内容提要 上次课的回顾 线性模型LM 一般MVU估计－RBLS 最佳线性无偏估计量 最佳线性无偏估计量BLUE 应用实例
希腊字母表读音参考序号大写小写英文名中文名国际音标1alpha['alfa]阿尔法Aα2Bbeta["bi:te,beita]贝塔B3伽玛y['ga:ma]gammar4delta8['delta]德尔塔45epsilon[ep'sailan,'epsilan]伊普西龙eB6截塔5['zi:ta]zetaz7艾塔7eta['i:ta,'eita]H8西塔8theta['wi:ta]?9约塔iota[ai'outa]I110["kopa]卡帕kappaKx11['lamda]lambda兰布达AR12缪umu[mju:]MO13纽[nju:]NnuV145xi克塞[gzai,ksai,zai]8150[ou'maikran]欧密克绒0omicron16pi派[pai]元II17rho肉p[rou]P18sigma['sigme]西格马2a19tau[tr:]套TT20yupsilon[ju:p'sailan,jupsilan]宇普西龙r21phi[fai]佛爱?Φ22chi[kai]赛xx23psi普赛W[psai]T24[oumige]噢米伽@Qomega
Reviewofthelastlecture上次课的回顾信号参量估计一点估计和区间估计1估计的性能评估■无偏性一从数学期望考察有效性（优效性)一从方差（均方误差）考察一致性一希望随着观测次数N的增加，估计量的质量有所提高，即估计值趋于被估计值的真值，或者估计的均方误差逐步减小■充分性（充分统计量）
上次课的回顾 信号参量估计－点估计和区间估计 信号参量估计－点估计和区间估计 估计的性能评估 估计的性能评估 无偏性－从数学期望考察 无偏性－从数学期望考察 有效性 (优效性 )－从方差（均方误差）考察 －从方差（均方误差）考察 一致性－希望随着观测次数 一致性－希望随着观测次数 N的增加，估计 量的质量有所提高，即估计值趋于被估计值 量的质量有所提高，即估计值趋于被估计值 的真值，或者估计的均方误差逐步减小 的真值，或者估计的均方误差逐步减小 充分性（充分统计量） 充分性（充分统计量） Review of the last lecture Review of the last lecture
Reviewofthelastlecture上次课的回顾直接判断一个无偏估计量的均方误差是否达到最小通常是困难的。为此，需要研究任意无偏估计量均方误差的下界及取下界的条件。确定这样一个下界的好处如果被估计量A的任意无偏估计量A的均方误差达到该下界那么它就是最小均方误差无偏估计量（或最小方差无偏估计量)如果无偏估计量的均方误差达不到该下界，则该下界为比较无偏估计量的性能提供了一个标准同时提醒我们，不可能求得均方误差小于下界的无偏估计量尽管存在多种这样的界，但是，克拉美一罗（Cramer-Rao）界是较容易确定的
上次课的回顾 直接判断一个无偏估计量的均方误差是否达到最小通 直接判断一个无偏估计量的均方误差是否达到最小通 常是困难的。为此，需要研究任意无偏估计量均方误 常是困难的。为此，需要研究任意无偏估计量均方误 差的下界及取下界的条件。 差的下界及取下界的条件。 确定这样一个下界的好处 确定这样一个下界的好处 如果被估计量 的任意无偏估计量 的均方误差达到该下界， 那么它就是最小均方误差无偏估计量（或最小方差无偏估计 量） 如果无偏估计量的均方误差达不到该下界，则该下界为比较 无偏估计量的性能提供了一个标准 同时提醒我们，不可能求得均方误差小于下界的无偏估计量 尽管存在多种这样的界，但是，克拉美－罗 尽管存在多种这样的界，但是，克拉美－罗 （Cramer -Rao）界是较容易确定的。 ）界是较容易确定的。 θ ˆθ Review of the last lecture Review of the last lecture
Reviewofthelastlecture上次课的回顾定理3.1CRLB一标量参数假设pdfp(x;O)满足正则条件aln p(x;0)E对于所有的0:0a0数学期望是对p(x;の)求取的。那么，任何无偏估计量9的方1差必须满足var(@) ≥ In p(x;0)-E00?其中导数是在的真值处计算的，数学期望是对p(x;の)求取的。而且对于某个函数g,I，当且仅当下式成立时，对所有θ达到下限的无偏估计量就可以求得。aln p(x;0)= I(0)(g(x)-0)00该估计量是θ=g(x)，它是MVU估计量，最小方差是 1/ I(①)
上次课的回顾 定理3.1 CRLB－标量参数 假设pdf 满足正则条件 数学期望是对 求取的。那么，任何无偏估计量 的方 差必须满足 其中导数是在θ的真值处计算的，数学期望是对 求取的。 而且对于某个函数 ，当且仅当下式成立时，对所有θ 达到 下限的无偏估计量就可以求得。 p(x; ) θ ln (x; ) 0 p E θ θ θ ⎡ ⎤ ∂ = ⎢ ⎥ ⎣ ⎦ ∂ 对于所有的 ˆθ 2 2 1 ˆ var( ) ln (x; ) p E θ θ θ ≥ ⎡ ∂ ⎤ − ⎢ ⎥ ⎣ ∂ ⎦ p(x; ) θ g I, ln (x; ) ( )( (x) ) p I g θ θ θ θ ∂ = − ∂ ˆ 该估计量是 ，它是 θ = g(x) MVU估计量，最小方差是 1/ ( ) I θ p(x; ) θ Review of the last lecture Review of the last lecture
Review ofthelastlecture上次课的回顾即使一个MVU存在我们可能也无法求解，目前还不存在一种普遍的方法。以下是几种寻找MVU的途径：确定Cramer-RaoLowerBound(CRLB)并检查是否有估计量满足该条件。应用Rao一Blackwell一Lehmann一Scheffe(RBLS)定理。进一步限定估计量为线性的，然后在这些限制中寻找最小方差估计（BestLinearUnbiasedEstimators-BLUE)
上次课的回顾 确定Cramer -Rao Lower Bound(CRLB Bound(CRLB )并检查是 否有估计量满足该条件。 否有估计量满足该条件。 应用Rao －Blackwell Blackwell －Lehmann Lehmann －Scheffe(RBLS Scheffe(RBLS ) 定理。 进一步限定估计量为线性的，然后在这些限制中寻找 进一步限定估计量为线性的，然后在这些限制中寻找 最小方差估计(Best Linear Unbiased Estimators (Best Linear Unbiased Estimators - BLUE) 。 即使一个MVU存在我们可能也无法求解，目前还 存在我们可能也无法求解，目前还 不存在一种普遍的方法。以下是几种寻找 不存在一种普遍的方法。以下是几种寻找MVU 的 途径： Review of the last lecture Review of the last lecture
LinearModels线性模型一引言MVU估计量的确定一般来说是一项很困难的任务，但是如果信号模型符合线性模型，那么不仅可以立即确定MVU估计量，而且也可以很自然地得到它的统计性能。寻找最佳估计量的关键就是按照线性模型来构造问题，以便充分利用线性模型的独特性质（线性模型的MVU估计量的高斯特性允许我们精确地确定统计性能）
线性模型－引言 MVU估计量的确定一般来说是一项很困难的 估计量的确定一般来说是一项很困难的 任务，但是如果信号模型符合线性模型，那么 任务，但是如果信号模型符合线性模型，那么 不仅可以立即确定 不仅可以立即确定MVU估计量，而且也可以 估计量，而且也可以 很自然地得到它的统计性能。 很自然地得到它的统计性能。 寻找最佳估计量的关键就是按照线性模型来构 寻找最佳估计量的关键就是按照线性模型来构 造问题，以便充分利用线性模型的独特性质 造问题，以便充分利用线性模型的独特性质 （线性模型的MVU估计量的高斯特性允许我 估计量的高斯特性允许我 们精确地确定统计性能）。 们精确地确定统计性能）。 Linear Models Linear Models
LinearModels直线拟合问题中的线性模型利用一条直线来拟合受到噪声污染的数据。我们的数据模型选择为r[n]=A+Bn+wn]n=0,1,...,N-1其中w[n］是WGN,要估计的是斜率B和截距A。利用如下的矩阵形式表示将更为紧凑，即X=HO+w(4.1)其中01[[0] r[1] *.[N - 1]7.11H=[w[0]w[1]...w[N-1]W：0[A B]I1N-1矩阵H是N×2的已知矩阵，称为观测矩阵。在H作用到e后将观测到数据x。另外，注意噪声失量具有统计特性W~N（0，gI)，（4.1）式的数据模型称为线性模型。在线性模型的定义中，我们假定噪声失量是高斯的，尽管其他作者对于任意噪声的PDF使用了更一般的术语
直线拟合问题中的线性模型 Linear Models Linear Models
LinearModels直线拟合问题中的线性模型正如在第3章所讨论的那样，如果CRLB定理的等号成立条件满足，那么确定MVU估计量有时是可能的。根据定理3.2,如果对于某个函数g0lnp(x; 0)= I(0)(g(x) - 0)(4.2)20那么，=g（x）将是MVU估计量。而且，的协方差将是I-（0）。对于（4.1)式的线性模型，为了确定这个条件是否满足，我们有alnp(x;0)0ln(2g2(x-HO)T(x-HO)2020080般情况下要验18证其是否可逆[xT×-2xHe+@THTHO]120200假定H'H是可逆的，HTH8lnp(x;0)(HH)-"H× -0)(4.4)8092
直线拟合问题中的线性模型 Linear Models Linear Models 一般情况下要验 证其是否可逆
LinearModels直线拟合问题中的线性模型对比(4.4)式和(4.2)式可得=(HTH)-IHTx(4.5)HTHI(0)(4.6)2因此，6的MVU估计量由（4.5）式给出，它的协方差矩阵是Cg = I-1(0) = g2(HTH)-)(4.7)另外，线性模型的MVU估计量是有效的，它达到了CRLB当且仅当H的列是线性独立时HTH的逆存在（或当且仅当H的列是线性独立时，HTH是正定的，因而也是可逆的）
直线拟合问题中的线性模型 对比(4.4)式和(4.2)式可得 Linear Models Linear Models 当且仅当 H的列是线性独立时 的列是线性独立时 H T H的逆存在（或当且仅当 的逆存在（或当且仅当 H的列是线性独立时， 的列是线性独立时， H T H是正定的，因而也是可逆的） 是正定的，因而也是可逆的）