安徽理工大学：《系统辨识与建模》课程电子教案（PPT教学课件）CH04 极大似然辨识

CH4 极大似然辨识

1 CH4 极大似然辨识

第4章 极大似然法辨识方法 要点： ·极大似然法辨识概念 ·动态系统模型参数的极大似然估计 ·协方差阵未知时的极大似然参数估计 ·递推的极大似然参数估计 ·似然递推法辨识MATLAB仿真程序剖析 难点： ·协方差阵未知时的极大似然参数估计 ·似然递推法辨识MATLAB仿真程序剖析

2 第4章 极大似然法辨识方法 要点： •极大似然法辨识概念 •动态系统模型参数的极大似然估计 •协方差阵未知时的极大似然参数估计 •递推的极大似然参数估计 •似然递推法辨识MATLAB仿真程序剖析 难点： •协方差阵未知时的极大似然参数估计 •似然递推法辨识MATLAB仿真程序剖析

第4章 极大似然法辨识方法 4 4.3 结 动态 引 习 递推的极大似然参数估 言 计 温 极大似然参数辨识原理

3 小 结 习 题 退 出 4.4 递 推 的 极 大 似 然 参 数 估 计 4.3 动态 系统 参数 模型 的极 大似 然估 计 4.2 极 大 似 然 参 数 辨 识 原 理 第4章 极大似然法辨识方法 4.1 引 言

4.1引言 极大似然法是现代辨识的参数估计方法之一。它是由 Fisher发展起来的，其基本思想可追溯到高斯(1809年) 。这种估计方法用于动态系统辨识，可以获得良好的估计 效果。 除了相关分析法的古典辨识方法之外，前面已经讨论过 两类现代辨识方法，一类是最小二乘方法，另一类是梯度 校正法。它们不仅计算简单，而且参数估计量具有许多优 良的统计性质，对噪声特性的先验知识要求也不高。本章 主要讨论极大似然辨识方法，这类辨识方法的基本思想与 前两类方法完全不同。对于极大似然法来说，需要构造一 个以测量数据和未知参数有关的似然函数，并通过极大化 这个函数获得模型的参数辨识

4 4.1 引言 极大似然法是现代辨识的参数估计方法之一。它是由 Fisher发展起来的，其基本思想可追溯到高斯(1809年) 。这种估计方法用于动态系统辨识，可以获得良好的估计 效果。 除了相关分析法的古典辨识方法之外，前面已经讨论过 两类现代辨识方法，一类是最小二乘方法，另一类是梯度 校正法。它们不仅计算简单，而且参数估计量具有许多优 良的统计性质，对噪声特性的先验知识要求也不高。本章 主要讨论极大似然辨识方法，这类辨识方法的基本思想与 前两类方法完全不同。对于极大似然法来说，需要构造一 个以测量数据和未知参数有关的似然函数，并通过极大化 这个函数获得模型的参数辨识

据此，极大似然法通常要求具有能够写出输出量的条 件概率密度函数的先验知识，因而，计算工作量较大。 但是，极大似然参数估计方法可以对具有有色噪声的系 统模型进行辨识，在动态系统辨识中有着广泛的应用。 它和最小二乘法以及预报误差方法存在着一定的联系。 本章首先介绍极大似然参数辨识原理；其次讨论动态系 统模型参数的极大似然估计，其中包括系统动态模型及 噪声模型的分类与特点、极大似然估计与最小二乘估计 的关系、协方差阵未知时的极大似然参数估计：最后， 讨论递推的极大似然参数估计，其中包括极大似然递推 算法的原理及方法、对开发的似然递推法辨识MATLAB仿 真程序进行了剖析

5 据此，极大似然法通常要求具有能够写出输出量的条 件概率密度函数的先验知识，因而，计算工作量较大。 但是，极大似然参数估计方法可以对具有有色噪声的系 统模型进行辨识，在动态系统辨识中有着广泛的应用。 它和最小二乘法以及预报误差方法存在着一定的联系。 本章首先介绍极大似然参数辨识原理；其次讨论动态系 统模型参数的极大似然估计，其中包括系统动态模型及 噪声模型的分类与特点、极大似然估计与最小二乘估计 的关系、协方差阵未知时的极大似然参数估计；最后， 讨论递推的极大似然参数估计，其中包括极大似然递推 算法的原理及方法、对开发的似然递推法辨识MATLAB仿 真程序进行了剖析

4.2极大似然参数辨识原理 设Z是一个随机变量，在参数B条件下Z的概率密度 函数为pz),Z的L个观测值构成一个随机序列z(k)} 如果把这L个观测值记作2，=[z(①)，2(2)，…，z(L)]严，则z,的 联合概率密度为(z,1),那么B的极大似然估计就是使 pz,l),=max的参数估计值，即有 ap(|0) =0 ∂8 (4.1) ML 或 am p(=10)=0 a0 (4.2) 6

6 4.2 极大似然参数辨识原理 设Z是一个随机变量，在参数 条件下Z的概率密度 函数为 ，Z的L个观测值构成一个随机序列 如果把这L个观测值记作 , 则 的 联合概率密度为 ,那么 的极大似然估计就是使 的参数估计值，即有 p(z| )   {z(k)} ( ) | L p z  [ (1), (2), , ( )] L z z z z L =  L z  (z | )|ˆ max L ML p   = 0 ( | ) ˆ =         ML L p z     0 ln ( | ) ˆ =         ML L p z     (4.1) 或 (4.2)

上式表示对联合概率密度p(z,1)取自然对数，然后对参 数0求导。显然，对一组确定的数据2，p(z,0)只是参数 O的函数，已不再是概率密度函数了。这时的p(z,)称 作B的函数，有时记作p(z,。可见，概率密度函数和 似然函数物理含义不同，但它们的数学表达式相同，即 L(2/)=p(z)。因此极大似然原理又可表述成 aL(=,0) =0 a0 (4.3) OML 或 oinL(z,10) =0 (4.4) 60 OML

7 上式表示对联合概率密度 取自然对数，然后对参 数 求导。显然，对一组确定的数据 ， 只是参数 的函数，已不再是概率密度函数了。这时的 称 作 的函数，有时记作 。可见，概率密度函数和 似然函数物理含义不同，但它们的数学表达式相同，即 。因此极大似然原理又可表述成 ( | ) L p z   L z ( | ) L p z   ( | ) L p z   ( | ) L p z  ( ) ( | ) L L L z p z   = ( | ) 0 ˆ L L z ML                =  (4.3) 或 ln ( | ) 0 ˆ L L z ML                =  (4.4)

其中，lnL(e,O)称作对数似然函数；Om称作极大似然参数 估计值，它使得似然函数或对数似然函数到达最大值。 （4.3)或(4.4)式就是极大似然函数原理的数学表示。 它们的物理意义是：对一组确定的随机序列2，设法找到 参数估计值OM，使得随机变量Z在日M条件下的概率密 度函数最大可能地逼近随机变量Z在0，（真值）条件下的 概率密度函数，即应有 p(z1lv)maxp(z) (4.5) 上式含是指当pz)取极大值时，对应的估值8ML才和真 值。误差最小，因此，它反映了极大似然原理的本质，但 是数学上不好实现。 8

8 其中， 称作对数似然函数； 称作极大似然参数 估计值，它使得似然函数或对数似然函数到达最大值。 （4.3）或（4.4）式就是极大似然函数原理的数学表示。 它们的物理意义是：对一组确定的随机序列 ，设法找到 参数估计值 ，使得随机变量Z在 条件下的概率密 度函数最大可能地逼近随机变量Z在 （真值）条件下的 概率密度函数，即应有 ln ( | ) L L z  ˆ ML  L z ˆ ML  ˆ ML  0  0 ( | ) ( | ) ˆ max L ML p z p z   ⎯⎯⎯⎯⎯⎯→ (4.5) 上式含是指当 取极大值时，对应的估值 才和真 值 误差最小，因此，它反映了极大似然原理的本质，但 是数学上不好实现。 p z( | )  ˆ ML  0 

可以证明(4.3)或(4.4)式是实现(4.5)式的数学形式，下 面论述这一事实。 设z①)，(2)，，z(巴)是一组在独立观测条件下获得的随 机序列，或者说是母集的一组互相独立的样本，那么随机 变量z在参数条件下的似然函数为 L(3,1O)=p(z()10)p(z(2)l0)…p(z(L)10) -( (4.6) 对应的对数似然函数为 e,l9=n(.o9=含Inpe(k9 (4.7) 平均对数似然函数为 I(-)-(k))n( (4.8)

9 可以证明(4.3)或(4.4)式是实现(4.5)式的数学形式，下 面论述这一事实。 设 是一组在独立观测条件下获得的随 机序列，或者说是母集的一组互相独立的样本，那么随机 变量z在参数 条件下的似然函数为 z z z L (1), (2), , ( )  ( | ) ( (1)| ) ( (2)| ) ( ( )| ) L L z p z p z p z L     =  1 ( ( )| ) L k p z k  = = (4.6) 对应的对数似然函数为 1 ( | ) ln ( | ) ln ( ( ) ) L L L k l z L z p z k    = = =  (4.7) 平均对数似然函数为 1 1 ( | ) ln ( ( ) ) ln ( | ) L L k l z p z k E p z L L      ⎯⎯⎯⎯⎯⎯⎯→     = =  → (4.8)

同理，随机变量Z在参数日条件下的平均对数似然函数为 1(=)p(= (4.9) 定义 I(0:0)E Inp(=e)-ElInp(=1) -En2(=l) p(=l0) (4.10) 1g,9)称KuHback-Leibler信息测度。若令x=PEO4.1） p(=10 则x>0,并利用不等式nx≤x-1,于是有 In p(=l0)p(=l0 (4.12) pz8)厂pz0 因p(e,)>0，上述不等式两边同乘p(z%),再对z积 分，则有 )Ind(4.13) p(=le 0

10 同理，随机变量Z在参数  条件下的平均对数似然函数为 0 0 ( | ) ln ( | ) L l z E p z L     ⎯⎯⎯⎯⎯⎯⎯→   →   (4.9) 称Kullback-Leibler信息测度。若令 0 0 I E p z E p z ( , ) ln ( | ) ln ( | )                  − 0 | ln | p z E p z                             = (4.10) 0 I( , )   0 | | p z x p z               = (4.11) 则 x0 ，并利用不等式 ln 1 x x  − ，于是有 0 0 | | ln 1 | | p z p z p z p z                              − (4.12) 因 ，上述不等式两边同乘以 ，再对Z积 分，则有 0 p z( | ) 0   0 p z( | )  0 0 0 | ( )ln ( ) ( ) | p z p z dz p z dz p z dz p z                      −    − − − (4.13) 定义