内容提要上次课的回顾MLEMLE的性质MLE的数值确定1小结与应用实例
内容提要 上次课的回顾 MLE MLE的性质 MLE的数值确定 小结与应用实例 小结与应用实例
Reviewofthelastlecture上次课的回顾线性模型一LM一般MVU估计一RBLS最佳线性无偏估计一BLUE
上次课的回顾 线性模型－LM 一般MVU估计－RBLS 最佳线性无偏估计－ 最佳线性无偏估计－BLUE Review of the last lecture Review of the last lecture
Reviewofthelastlecture一般线性模型的MVU定理4.2如果观测数据可以表示为：x=H0+s+w其中x是N×1的观测矢量,H是已知的NXp（N>p）观测矩阵,秩为p。是pX1的待估计的参数向量，s是NX1的已知信号样本量，W是NX1的噪声矢量，并且PDF为N(O,C),则MVU估计为：=(HTC-"H)-IHTC-I(x-s)协方差矩阵为C=(H'C-"H)-对于一般的线性模型，MVU估计量是有效的，它达到了CRLB
一般线性模型的MVU x= +s+ H w θ N C (0, ) 定理4.2 如果观测数据可以表示为: 其中 x 是 N × 1的观测矢量,H是已知的 N × p （N>p）观测矩 阵,秩为 p。 是 p × 1的待估计的参数向量， s 是 N × 1的已知 信号样本矢量 , w 是 N × 1的噪声矢量, 并且PDF 为 ,则 MVU估计为: 对于一般的线性模型, MVU估计量是有效的，它达到了CRLB 11 1 1 1 ˆ ˆ ( ) () ( ) T T T HC H HC C HC H θ θ − − = － － － ＝ x-s 协方差矩阵为 θ Review of the last lecture Review of the last lecture
ReviewofthelastlectureNeyman-Fisher因子分解定理定理5.1（Neyman-Fisher因子分解）如果我们能够将PDF分解为(5.3)p(x; ) = g(T(x),0)h(x)其中g为仅通过7x)才与x有关的函数，h是仅依赖于x的函数，那么x)是 的充分统计量。反过来，如果x)是θ的充分统计量，那么PDF可以分解为上式。理解：若诸样本随机变量的联合概率密度函数可以分解为某统计量的密度函数与某一完全不含参数的函数之乘积，那么该统计量必是该参数的充分统计量，反之亦然
Neyman-Fisher因子分解定理 定理5.1（Neyman-Fisher因子分解）如果我们能 够将PDF分解为 其中 g为仅通过 T(x)才与 x有关的函数， h是仅依赖 于 x的函数，那么 T(x)是θ的充分统计量。反过 来，如果 T(x)是θ的充分统计量，那么PDF可以分 解为上式。 理解：若诸样本随机变量的联合概率密度函数可以分解为某统计量 的密度函数与某一完全不含参数的函数之乘积，那么该统计量必是 该参数的充分统计量，反之亦然。 p gT h ( ; ) ( ( ), ) ( ) (5.3) x xx θ = θ Review of the last lecture Review of the last lecture
ReviewofthelastlectureRBLS定理定理5.2（Rao-Blackwell-Lehmann-Scheffe）如果是θ的无偏估计量，T(x)是θ的充分统计量，那么=E(IT(x))是:1.θ的一个适用的估计量（与θ无关）；2.无偏的;3.对于所有的θ，它的方差要小于或等于i的方差另外，如果充分估计量是完备的，那么θ是MVU估计量。 = E(|T(x) = / Op(0T(x)dgg(T(x))=
RBLS定理 定理5.2（Rao-Blackwell-Lehmann-Scheffe）如果 是θ的无偏估计量，T(x)是θ的充分统计量，那么 是： 1.θ的一个适用的估计量（与θ无关）； 2.无偏的； 3.对于所有的θ，它的方差要小于或等于 的方差 另外，如果充分估计量是完备的，那么 是MVU估计量。 ˆθ Review of the last lecture Review of the last lecture
ReviewofthelastlectureBLUE定理6.1高斯-马尔可夫定理如果数据具有线性模型的形式，即x=HO+w，H是已知的N×p矩阵，0是px1的待估计参数矢量，W是N×1的均值为零，协方差为C的噪声矢量，则A的BLUE是：=(HTC-H)-H'C-x(6.19);的最小方差为：var(é,)=[(H"C"H)"li(6.20)0的协方差矩阵为：C。=(HTC-H)(6.21)
定理 6.1 高斯-马尔可夫定理 -1 -1 ii -1 -1 ˆ N p p1 N 1 BLUE ˆ (6.19) ˆ ˆ var =[( ) ] (6.20) ˆ =( ) (6.21) T T i i θ θ θ × × × T -1 -1 T -1 x=Hθ + w H θ w C θ θ=(H C H) H C x HCH θ C HCH 如果数据具有线性模型的形式，即 ， 是已知的 矩阵， 是 的待估计参数矢量， 是 的均值为零，协方差为 的噪声矢量，则 的 是： 的最小方差为： ( ) 的协方差矩阵为： BLUE Review of the last lecture Review of the last lecture
Maximumlikelihoodestimation最大似然估计基于最大似然原理的估计，是人们获得实用估计的最通用的方法。该方法在MVU估计量不存在或者存在但不能求解的情况下是很有效的。利用它可以简便地实现对复杂的估计问题的求解。对于绝大多数适用的最大似然估计，当观测数据足够多时，其性能是最优的，非常接近于MVU估计量。，几乎所有适用的估计都是基于最大似然原理
最大似然估计 基于最大似然原理的估计，是人们获得实用估 基于最大似然原理的估计，是人们获得实用估 计的最通用的方法。该方法在 计的最通用的方法。该方法在MVU估计量不存 在或者存在但不能求解的情况下是很有效的。 在或者存在但不能求解的情况下是很有效的。 利用它可以简便地实现对复杂的估计问题的求 利用它可以简便地实现对复杂的估计问题的求 解。 对于绝大多数适用的最大似然估计，当观测数 对于绝大多数适用的最大似然估计，当观测数 据足够多时，其性能是最优的，非常接近于 据足够多时，其性能是最优的，非常接近于 MVU估计量。 几乎所有适用的估计都是基于最大似然原理。 几乎所有适用的估计都是基于最大似然原理。 Maximum likelihood estimation Maximum likelihood estimation
最大似然估计例7.1：高斯白噪声中的DC电平一修正α[n] = A+ w[n] n =0, 1,..., N- 1A为正的未知电平，W[n]具有未知方差AN-111(e[n] - A)2p(x; A)2A(2元A)号n=0CRLBN-1N-1Nalnp(x; A)Z(Z(a[n] - A)2(α[n] -A)A2A22A0An=0n=0?I(A)(A - A)A2var(A) N(A + 1/2)
最大似然估计 例7.1：高斯白噪声中的DC电平－修正 A为正的未知电平，w[n]具有未知方差 A CRLB
考虑充分统计量理论V1([nI + NA)exp(Nexp(2元A) en=0h(x)ZN= *[m],AA的一个充分统计量是：T(x) = ZN= a2[m]我们需要找到一个函数g使满足：N-1E[g(a[m)] = A VA >0n=0
考虑充分统计量理论 A的一个充分统计量是： 我们需要找到一个函数g 使满足：
N-1由于：ZEα?[n]= NE[?[n]n=oN[var([n]) + E?(α[n])二N(A+A2)一→如何选择g是不清楚的？当A是任意一个无偏估计量时，需要确定条件数学期望E(A|N= α?[n])比如A=α[0］时，看起来是一个艰巨的任务？一→计算条件数学期望的难度看起来非常大
由于： 如何选择g是不清楚的？ 当 是任意一个无偏估计量时，需要确定条件数学期望 比如 时，看起来是一个艰巨的任务？ 计算条件数学期望的难度看起来非常大