第六章极大似然法辨识 矿极大似然法是现代辨识的参数估计方法 之一。它是由Fshe发展起来的,基本思 想可追溯到高斯(1809年)。 矿思路:构造一个以观测值和未知参数为 自变量的似然函数,并通过极大化这个 似然函数来获得模型的参数估值
第六章 极大似然法辨识 极大似然法是现代辨识的参数估计方法 之一。它是由Fisher发展起来的，基本思 想可追溯到高斯（1809年）。 思路：构造一个以观测值和未知参数为 自变量的似然函数，并通过极大化这个 似然函数来获得模型的参数估值
611用极大似然法求估计量 设X1,X2,…X是总体的一个样本 19 2,",x,为样本的观测值,则兰体 X的分布律P{X=x}=p(x)或分布密度 p(x)冲中含有未知参数时, 记p(x)=p(x;, 称(O)= (x;O为似然函数,而称使 L()取极大的估计值为e极大似然 估计值
6.1.1 用极大似然法求估计量 设X1 , X2 , , Xn 是总体X的一个样本， x1 , x2 , , xn 为样本的观测值，则当总 体 X的分布律P{X = x} = p(x)或分布密度 p(x)中含有未知参数时， 记p(x) = p(x; ), 称 为似然函数，而称使 = = n i L p x 1 ( ) ( ; ) L( )取极大的估计值 ˆ L 为的极大似然 估计值
一般步骤: (1)构成似然函数L(0); (2)写出nL(0); (3)以0为自变量求nL(0的导数或偏导数; (4)令nL(0的导数或偏导数等于零解方程;
一般步骤： (1) 构成似然函数L(θ)； (2) 写出lnL(θ)； (3)以θ为自变量求lnL(θ)的导数或偏导数； (4)令lnL(θ)的导数或偏导数等于零解方程；
例1:已知独立同分布的随机过程1x0),在参数 条件下随机变量x的概率密度为p(x|)=2xe-,0>0 求参数O的极大似然估计。 解设x=[x()x(2)…x(N)表示随机变量x的N 个观测值向量,则随机变量x在参数O条件下的似然 函数为 (x10)=∏lx(4)0)=02∏x(k,cx-0>xk =1 k=1 对上式等号两边取对数,可得 hL(x|6)=2Nh+∑hx(k)-0∑x) k=1 k=1 求上式对θ的偏导数,并且令偏导数等于0,可得 an L(0) 2N y ∑x(k)=0 k=1
例1：已知独立同分布的随机过程 ，在参数 条件下随机变量 的概率密度为 求参数 的极大似然估计。 解 设 表示随机变量 的N 个观测值向量，则随机变量 在参数 条件下的似然 函数为 对上式等号两边取对数，可得 求上式对 的偏导数，并且令偏导数等于0，可得 {x(t)} = = = = = − N k N k N k N N L x p x k x k x k 1 1 1 2 ( |) ( ( ) |) ( ) exp ( ) x ( | ) , 0 2 = − x p x x e T xN = [x(1) x(2) x(N)] x x = = = + − N k N k N L x N x k x k 1 1 ln ( | ) 2 ln ln ( ) ( ) ( ) 0 ln ( | ) 2 1 = − = = N k N x k L x N
因而可得参数θ的极大似然估计 2N ML ∑x() 了又由于 8hn L(x 8 2N <0 ae 2 0M 了故m使似然函数达到了最大值。因此Bm是参 数的极大似然估计
因而可得参数 的极大似然估计 又由于 故 使似然函数达到了最大值。因此 是参 数 的极大似然估计。 = = N k ML x k N 1 ^ ( ) 2 0 ln ( | ) 2 2 ^ 2 2 ^ = − ML L xN N M L ML ^ ML ^
了例2:设是独立分布随机序列,其概率密度为 4x 2 e x> p(x a) 2 0.x0为待估参数,求a的极大似然估计 了解设xN=[x(1)x(2)…x(N)表示随机序列{x(k)} 的N个观测值向量,根据题意可得随机变量x在参 数a条件下的似然函数 4 N L(x|a)=m(x()a)= 3n ∏x(),e-2x k=1 丌 k=1
例2：设 是独立分布随机序列，其概率密度为 式中 为待估参数，求 的极大似然估计 解 设 表示随机序列 的N个观测值向量，根据题意可得随机变量 在参 数 条件下的似然函数 − = 0, 0 exp , 0 4 ( | ) 2 2 3 2 x x a x a x p x a a 0 a T xN = [x(1) x(2) x(N)] {x(k)} x a = = − = − = = N k N k N N N k N x k a L x a p x k a a x k 1 1 2 2 3 2 1 ( ) 1 ( ) exp 4 ( | ) ( ( ) | )
对上式等号两边取对数,有 hn L(xx (a)=NIn-3NIna+hn[x2(k)-22x(k) k=1 求上式对a的偏导数并令其为0,可得 aIn L(xn a) 3N 2 aa +∑x2(k)=0 k=1 了因而可得a的极大似然估计 2 aml= ∑x2( 3N k1 了考虑到x是独立同分布随机变量,则有 2 2 DaMni 13N ∑E{x2(k)} V3N A ∑Ex2}=12E{x2
对上式等号两边取对数，有 求上式对 的偏导数并令其为0，可得 因而可得 的极大似然估计 考虑到 是独立同分布随机变量，则有 = = = − + − N k N k N x k a L x a N N a x k 1 2 2 1 2 ( ) 1 3 ln ln ( ) 4 ln ( | ) ln x a a ( ) 0 ln ( | ) 3 2 1 2 3 = − + = = N k N x k a a N a L x a = = N k ML x k N a 1 2 ^ ( ) 3 2 { } 3 2 { } 3 2 { ( )} 3 2 { } 2 1 2 1 2 ^ E x E x N E x k N E a N k N k ML = = = = =
了式中 E(x=lrp(x a)dx-ro 4r? x 3 2 e 了故有 Eam=a 了可见aM是无偏估计,又由于 imaM→>12E{x}=a 了因而aM又是一致性估计
式中 故有 可见 是无偏估计，又由于 因而 又是一致性估计。 E{a ML} = a ^ 2 0 2 2 3 4 0 2 2 2 3 exp( ) 4 { } ( | ) dx a a x a x E x = x p x a dx = − = a ML ^ a ML E x a N → = → { } 3 2 lim 2 ^ a ML ^
矿以上例子说明,如果随机变量观测值的 概率密度函数已知,可以很容易地求出 参数的极大似然估计。一般,极大似然 估计量都具有良好的渐进性质和无偏性 矿但渐进性质是极大似然估计量的普遍特 性,而无偏性却不是所有极大似然估计 量都具有的性质
以上例子说明，如果随机变量观测值的 概率密度函数已知，可以很容易地求出 参数的极大似然估计。一般，极大似然 估计量都具有良好的渐进性质和无偏性。 但渐进性质是极大似然估计量的普遍特 性，而无偏性却不是所有极大似然估计 量都具有的性质
6.12系统参数的极大似然估计 了设系统的差分方程为 a(z)y(k)=b(二)(k)+(k) 了式中 a(=-)=1+a12-+…+anz b(z-)=b+b2z-+…+bnz 了则可建立向量一矩阵方程 Y=①6+5
6.1.2 系统参数的极大似然估计 设系统的差分方程为 式中 则可建立向量－矩阵方程 ( ) ( ) ( ) ( ) ( ) 1 1 a z y k = b z u k + k − − n n n n b z b b z b z a z a z a z − − − − − − = + + + = + + + 1 0 1 1 1 1 1 ( ) ( ) 1 YN N N = +