《系统辨识》课程教学课件（讲稿）第3章 最小二乘参数辨识方法及原理

2016/10/26本章内容1、最小二乘辨识的基本概念系统辩识2、一般最小二乘辨识方法3、加权最小二乘辨识方法第3章最小二乘参数辨识方法4、递推最小二乘参数辨识方法5、处理有色噪声的最小二乘法6、多变量最小二乘辨识方法1、问题的提出例：表中是在不同温度下测量同一热教电阻的阻值，根据本章的学习目的测量值确定该电阻的教学模型1、掌握最小二乘参数辨识方法的基本原理电阳表ioeR2、掌握常用的最小二乘辨识方法温度计热敏电阳3、熟练应用最小二乘参数辨识方法进行模型参数辨识热敏电阻的测量值4、能够编程实现最小二乘参数辨识t(°C)2010101032CR=a+bt+y1、问题的提出1、问题的提出辨识目的：根据过程所提供的测量信息，在某种准则意辨识目的：根据过程所提供的测量信息，在某种准则意义下，估计模型的未知参数。义下，估计模型的未知参数。InputProcessOutputInputOutputProcesst(℃)R(2)2076532826工程实践目模型结构的5187373942R=a+bt+y881010模型确定模型校验参数辨识95a,b10321

2016/10/26 1 系统辨识 第3章 最小二乘参数辨识方法 1、最小二乘辨识的基本概念 2、一般最小二乘辨识方法 3、加权最小二乘辨识方法 4、递推最小二乘参数辨识方法 5、处理有色噪声的最小二乘法 6、多变量最小二乘辨识方法 本章内容 本章的学习目的 1、掌握最小二乘参数辨识方法的基本原理 2、掌握常用的最小二乘辨识方法 3、熟练应用最小二乘参数辨识方法进行模型参数辨识 4、能够编程实现最小二乘参数辨识 1、问题的提出 热敏电阻的测量值 t C)( 20 32 51 73 88 95 R )( 765 826 873 942 1010 1032 例：表中是在不同温度下测量同一热敏电阻的阻值，根据 测量值确定该电阻的数学模型。 aR  bt  v 1、问题的提出 辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。 Input Process Output 工程实践 目 的 模型结构 模型确定 模型校验 参数辨识 1、问题的提出 辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。 Input Process Output aR bt  v t(℃) 20 32 51 73 88 95 R(Ω) 765 826 873 942 1010 a, b 1032

2016/10/261、问题的提出1、问题的提出般人会想，只发一枪便打中，猎人命中的概率一般例子：O大于该同学命中的概率，看来这一枪是猎人射中的某位同学与一位猎人一起外出打猎一只野兔从前方审过80该例子所作的推断已体现了极大似然法的基本思想只听一声枪响，野免应声倒下，辨识准则：以观测值的出现概率最大为准则。思路：设一随机试验已知有若干个结果A，B,C，如果在如果要你推测，次试验中A发生了，则可认为当时的条件最有利于A发生，故应如此选择分布的参数，使发生A的率最大。是谁打中的呢？K你会如何想呢？InputProcess-Output1、问题的提出1、问题的提出InputInputProcessOutputProcessOutput极大似然：构造一个以数据和未知参数为自变量的似然函数。极大似然：构造一个以数据和未知参数为自变量的似然函数。Jmx = P(Z|0)Jmx = P(Z10)要求：？要求：独立观测条件下，知道输出量的概率分布缺点：？a缺点：输出量概率密度分布未知，极大似然无法工作e0计算量大，得不到解析解1、问题的提出1、问题的提出y(t)=a+ah(t)+a,h(t)+...+a,h,(t)G(Lk)(5)m次独立试验的数据m次独立试验的数据(k)J(k)TK)(t1,2)(t1,2.)(t2,=2)(t2,22)r(k)r(k)TA**(tmzm)(tms=m)z(k)=a +a,h(k)+a,h(k)+..-+a,h,(k)+(k)z(k)= y(k)+v(k)-1795年，高斯提出了最小二乘方法。2

2016/10/26 2 例子： 是谁打中的呢？ 某位同学与一位猎人一起外出打 猎 .一只野兔从前方窜过 . 如果要你推测， 你会如何想呢? 只听一声枪响，野兔应声倒下 . 1、问题的提出 1、问题的提出 一般人会想，只发一枪便打中,猎人命中的概率一般 大于该同学命中的概率. 看来这一枪是猎人射中的. 辨识准则：以观测值的出现概率最大为准则。 思路：设一随机试验已知有若干个结果Ａ,Ｂ,Ｃ,.，如果在一 次试验中Ａ发生了，则可认为当时的条件最有利于Ａ发生，故 应如此选择分布的参数，使发生Ａ的概率最大 。 该例子所作的推断已体现了极大似然法的基本思想. Input Process Output 1、问题的提出 极大似然：构造一个以数据和未知参数为自变量的似然函数。 Input Process Output ( | ) Jmax  P Z  缺点：? 要求：? 1、问题的提出 极大似然：构造一个以数据和未知参数为自变量的似然函数。 Input Process Output ( | ) Jmax  P Z  要求：独立观测条件下，知道输出量的概率分布 缺点：输出量概率密度分布未知，极大似然无法工作 计算量大，得不到解析解 m次独立试验的数据 ( , ) 1 1 t z ( , ) 2 2 t z  ( , ) m m t z ( ) ( ) ( ) ( ) 0 1 1 2 2 y t a a h t a h t a h t     n n G(k) t(k) y(k) v(k) z(k) G(k) t(k) y(k) 1、问题的提出 z(k)  y(k) v(k) m次独立试验的数据 ( , ) 1 1 t z ( , ) 2 2 t z  ( , ) m m t z ( ) ( ) ( ) ( ) ( ) 0 1 1 2 2 z k a a h k a h k a h k v k     n n  z t f (t) •1795年，高斯提出了最小二乘方法。 G(k) t(k) y(k) v(k) z(k) 1、问题的提出

2016/10/261、问题的提出1、问题的提出1795年，高斯提出的最小二乘的基本原理是1795年，高斯提出的最小二乘的基本原理是未知量的最可能值是使各项实未知量的最可能值是使各项实际观测值和计算值之间差的平方乘际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。以其精确度的数值以后的和为最小。z(k)= y(k)+v(k)z(k)= y(k)+v(k)Gauss (1777-1855)Gauss (1777-1855):使(k)|=(k)-(k)P最小使w(k)[=(k)-(kK)P 最小2、最小二乘辨识方法的基本概念2.1利用最小二乘法求模型参数根据最小二乘的准则有通过试验确定热敏电阻阻值和温度间的关系Jm-2v-2[R -(a+bl)Pr(°C)312Ix-1tR(2)R,R,Rn-1Rx根据求极值的方法，对上式求导R=a+btaj·当测量没有任何误差时，仅需2个测量值。(R-a-bt)=0da·每次测量总是存在随机误差。=laJ(R-a-bt)t=0y,=R+v,或y,=a+bt+y,ab(=l, =y-R或v-y, -a-bt,Ca-bt)=0aRXERIEtal=R-a-bt)t,=0NZ-(2)abNaNZRI-ZRZN2r-(2)R,t-3

2016/10/26 3 未知量的最可能值是使各项实 际观测值和计算值之间差的平方乘 以其精确度的数值以后的和为最小。 1795年，高斯提出的最小二乘的基本原理是 1、问题的提出 Gauss（1777-1855） z(k)  y(k) v(k) 使  最小   m k w k z k y k 1 2 ( )| ( ) ( )| 未知量的最可能值是使各项实 际观测值和计算值之间差的平方乘 以其精确度的数值以后的和为最小。 1795年，高斯提出的最小二乘的基本原理是 1、问题的提出 Gauss（1777-1855） z(k)  y(k) v(k) 使  最小   m k w k z k y k 1 2 ( )| ( ) ( )| 2、最小二乘辨识方法的基本概念 通过试验确定热敏电阻阻值和温度间的关系 t C)( 1 t 2 t  N1 t N t R )( R1 R2  RN1 RN • 当测量没有任何误差时，仅需2个测量值。 • 每次测量总是存在随机误差。 R  a  bt i i i y  R  v 或 i i y  a  bt  v i i i i i a bti v  y  R或v＝y   2.1 利用最小二乘法求模型参数 根据最小二乘的准则有         N i i i N i J vi R a bt 1 2 1 2 min [ ( )] 根据求极值的方法，对上式求导                            N i i i i b b N i i i a a R a bt t b J R a bt a J ˆ 1 ˆ 1 2 ( ) 0 2 ( ) 0                            N i i i i b b N i i i a a R a bt t b J R a bt a J ˆ 1 ˆ 1 2 ( ) 0 2 ( ) 0                      N i N i i i N i i i N i N i i i a t b t R t Na b t R 1 1 1 2 1 1 ˆ ˆ ˆ ˆ                                                        2 1 1 2 1 1 1 2 1 1 2 1 1 1 2 1 ˆ ˆ N i i N i i N i i N i i N i i i N i i N i i N i i N i i i N i i N i i N t t N R t R t b N t t R t R t t a

2016/10/26表1热敏电阻的测量件2.1利用最小二乘法求模型参数例：表1中是在不同温度下测量同一热敏电阻的阻值，根R(2)760101032据测量值确定该电阻的数学模型，并求出当温度在70°C时R=a+bt的电阻值。ZRZE-ZRZ表1热救电阻的测量伯N2r-(2)1032NZRI-ZRZ宫(2)表1热电阻的测量件表1热敏电阻的测量价t(°C)1onR=a+btR=a+bta=702.762ZRZr-ZRIb = 3.434412-(2)1=70℃N2R-22R=943.168Q2N2c-(2)2.2一般最小二乘法原理及算法2.2一般最小二乘法原理及算法r(k)v(k)k Gk()u(k)y(k)=KG(k)图SISO系统的“灰箱”结构图3.4SISO系统的“灰箱”结构若考虑被辨识系统或观测信息中含有噪声PZa,(k-)+Zbu(k-I)+ (k)=(k)= -*b2-*+b,++b,"G(=)=()_1a1u() 1+a," +a,-- +..+a, -z(k)为系统输出量的第k次观测值;(k)为系统输出量的第k次真值；1Za,(k-i)+b,u(k-i)y(k)=u(k)为系统的第k个输入值：i=li=lv(k)是均值为0 的随机噪声。4

2016/10/26 4 例：表 1 中是在不同温度下测量同一热敏电阻的阻值，根 据测量值确定该电阻的数学模型，并求出当温度在70C 时 的电阻值。 表 1 热敏电阻的测量值 t C)( 20.5 26 32.7 40 51 61 73 80 88 95.7 R )( 765 790 826 850 873 910 942 980 1010 1032 2.1 利用最小二乘法求模型参数 表 1 热敏电阻的测量值 t C)( 20.5 26 32.7 40 51 61 73 80 88 95.7 R )( 765 790 826 850 873 910 942 980 1010 1032                                                        2 1 1 2 1 1 1 2 1 1 2 1 1 1 2 1 ˆ ˆ N i i N i i N i i N i i N i i i N i i N i i N i i N i i i N i i N i i N t t N R t R t b N t t R t R t t a R  a  bt 表 1 热敏电阻的测量值 t C)( 20.5 26 32.7 40 51 61 73 80 88 95.7 R )( 765 790 826 850 873 910 942 980 1010 1032 a ˆ  702.762 3.4344 ˆ b  t  70C R  943.168 R  a  bt 表 1 热敏电阻的测量值 t C)( 20.5 26 32.7 40 51 61 73 80 88 95.7 R )( 765 790 826 850 873 910 942 980 1010 1032                                                        2 1 1 2 1 1 1 2 1 1 2 1 1 1 2 1 ˆ ˆ N i i N i i N i i N i i N i i i N i i N i i N i i N i i i N i i N i i N t t N R t R t b N t t R t R t t a R  a  bt 2.2 一般最小二乘法原理及算法 G(k) u(k) y(k) v(k) z(k) 图 3.4 SISO 系统的“灰箱”结构 n n n n a z a z a z b z b z b z u z y z G z                  2 2 1 1 2 2 1 1 ( ) 1 ( ) ( )          n i i n i i y k a y k i b u k i 1 1 ( ) ( ) ( ) 2.2 一般最小二乘法原理及算法 G(z) u(k) y(k) v(k) z(k) 图 SISO 系统的“灰箱”结构 若考虑被辨识系统或观测信息中含有噪声 ( ) ( ) ( ) ( ) 1 1 z k a y k i b u k i v k n i i n i   i       z(k)为系统输出量的第k 次观测值; y(k)为系统输出量的第k 次真值; u(k) 为系统的第k 个输入值; v(k) 是均值为 0 的随机噪声

2016/10/262.2一般最小二乘法原理及算法2.2一般最小二乘法原理及算法M(kRZa,(k-i)+Zbu(k-i)+(k)(K)G(2(k) = -Az(k)= h(k)0 +v(k)(=lf=l图SISO系统的“灰箱”结构如果定义令k=1,2….m，则有h(k)=[-(k-1),-(k-2),..(k-n),u(k-),u(k-2),.u(k-n)[=(1) ][h(1)]3(0)-(I-n)0)(ln)=(2) h(2)-y(l)-2n)()(2-n)Z=H.:O-[aa2,an,b,b,.,b,].=(m)-m-1)-y(m-m) α(m-I)... (m-m)iz(k) = h(k)0 +v(k)-[aa,b ...b,V-)(2) ... (m)式中0为待估参数。Z.=H.0+V2.2一般最小二乘法原理及算法2.2一般最小二乘法原理及算法如果H_的行数大于等于列数，即m≥2n，HH_满秩，即最小二乘的思想就是寻找一个0的估计值，使得各次测量rank(HH_)=2n，则（H_H_)-"存在。则e的最小二乘估计为的Z,(i=1,-m)与由估计O确定的量测估计之,=H,之差的平方和最小，即=(HH)"HIZ.J()=(Z.-H.)"(Z.-H.)=min最小二乘估计虽然不能满足式Z=H_e+V中的每一个方ajl=-2H(Z.-H_0)=0程，使每个方程都有偏差，但它使所有方程偏差的平方和达到最0olo=小，兼顾了所有方程的近似程度，使整体误差达到最小，这对抑H'H.O-H.Z.制测量误差(i)(i-1,m)是有益的。2.2一般最小二乘法原理及算法2.2一般最小二乘法原理及算法》最小二乘法的几何解释最小二乘估计虽然不能满Zm=H.0+VmZ.=H.0+V.足式Z.=H_0+V.中的每一个=(H"H.)"HZ.[=( ][()-3(0)-(1-n)(0)..(1n)=(2)h(2) -3(0).. -(2-n)u(1).(2n)方程，使每个方程都有偏差，但Z, =+:(m)它使所有方程偏差的平方和达.(m-n)（m-1)dm(m-1)到最小，兼顾了所有方程的近似o-[aabb]程度，使整体误差达到最小，这foZ.是m维空间中基向量(h(1),h(2),.h(m)的线性组合对抑制测量误差(i)(i=1,,m)-H_提在最小二乘意义下对Z_的近似是有益的。H_应该等于Z_在(h(1),h(2),-h(m)的张成的空间的投影。5

2016/10/26 5 ( ) ( ) ( ) ( ) 1 1 z k a y k i b u k i v k n i i n i   i       h(k)  [y(k 1),y(k  2), ,y(k  n),u(k 1),u(k  2), ,u(k  n)] 如果定义 T n n [a ,a , ,a ,b ,b , ,b ]   1 2  1 2  z(k)  h(k)  v(k) 式中 为待估参数。 2.2 一般最小二乘法原理及算法 z(k)  h(k)  v(k) 令k 1,2,  ,m，则有              ( ) (2) (1) z m z z Z m                                          ( 1) ( ) ( 1) ( ) (1) (2 ) (1) (2 ) (0) (1 ) (0) (1 ) ( ) (2) (1) y m y m n u m u m n y y n u u n y y n u u n h m h h Hm                T n n a  a b  b   1 1   T Vm  v(1) v(2)  v(m) 2.2 一般最小二乘法原理及算法 Zm  Hm Vm G(z) u(k) y(k) v(k) z(k) 图 SISO 系统的“灰箱”结构 最小二乘的思想就是寻找一个 的估计值  ˆ，使得各次测量 的 Z (i 1, m) i   与由估计 ˆ 确定的量测估计  ˆ ˆ Zi  Hi 之差的平方 和最小，即 2.2 一般最小二乘法原理及算法 ) min ˆ ) ( ˆ ) ( ˆ (    m  m  T J Zm Hm Z H ) 0 ˆ 2 ( ˆ            m m T Hm Z H J m T m m T Hm H   H Z ˆ 如果 Hm 的行数大于等于列数，即 m  2n， m T Hm H 满秩，即 H Hm n T rank( m )  2 ，则 1 ( )  m T Hm H 存在。则 的最小二乘估计为 2.2 一般最小二乘法原理及算法 m T m m T Hm H H Z 1 ( ) ˆ    最小二乘估计虽然不能满足式 Zm  Hm Vm 中的每一个方 程，使每个方程都有偏差，但它使所有方程偏差的平方和达到最 小，兼顾了所有方程的近似程度，使整体误差达到最小，这对抑 制测量误差 v(i)(i 1,  ,m)是有益的。 2.2 一般最小二乘法原理及算法 m T m m T Hm H H Z 1 ( ) ˆ    最小二乘估计虽然不能满 足式 Zm  Hm Vm 中的每一个 方程，使每个方程都有偏差，但 它使所有方程偏差的平方和达 到最小，兼顾了所有方程的近似 程度，使整体误差达到最小，这 对抑制测量误差 v(i)(i 1,  ,m) 是有益的。 Zm  Hm Vm z t f (t) 2.2 一般最小二乘法原理及算法  最小二乘法的几何解释 Zm  Hm Vm              ( ) (2) (1) z m z z Z m                                          ( 1) ( ) ( 1) ( ) (1) (2 ) (1) (2 ) (0) (1 ) (0) (1 ) ( ) (2) (1) y m y m n u m u m n y y n u u n y y n u u n h m h h Hm                T n n a  a b  b   1 1 Zm是m维空间中基向量{h(1),h(2),h(m)}的线性组合 Hm ˆ是在最小二乘意义下对Zm的近似 Hm ˆ应该等于Zm在{h(1),h(2),h(m)}的张成的空间的投影

2016/10/262.2一般最小二乘法原理及算法2.2一般最小二乘法原理及算法当系统的量测噪声V是均值为0，方差为R的随机向》最小二乘法的几何解释Z, =H,0+V,量，则最小二乘估计有如下性质。（1）最小二乘估计是无偏估计（无偏性）a.abE(0)=0或E(0)=0[h(1]]H,=[(2)]h(1)(2）最小二乘估计是有效估计（有效性）E(")=(HH)"H,RH(HH_)"最小H,o[=(1]Z, =(3）最小二乘估计是一致估计（一致性）[=(2]lim p(10. -0)=02.2一般最小二乘法原理及算法2.2一般最小二乘法原理及算法(1)最小二乘估计是无偏估计，即E（0)=O或E（）=0(2）最小二乘估计为有效估计。证明：-0-0-0-(HH)HZE(")-(H"H.)"HRH.(H"H.)-=(HH)(HH.)O-(H"H.)"H"Z证明：根据第（1）式的证明，显然有=(HH.)"H(H_O-Z.)E(OT)-(HH.)"H"E(V.V)H.(H"H.)=-(H"H.)"H"V.=(H"H.)-"H"RH.(H"H.)-E()=E(0-)=E[-(HH_)"HV.)V.中的各个量是→R=G1同分布、零均值、=-(HH.)"H"E(V.)独立随机变量0=(H"H.)-"H"H.(H"H.)-如果由测量噪声及模型误差等引起的误差V的均值为0，且=G(H"H.)-V与输入失量H是统计独立，最小二乘的估计值是无偏的。2.2一般最小二乘法原理及算法2.2一般最小二乘法原理及算法例3.2用2台仪器对未知标量0各直接测量一次，量（3）最小二乘估计是一致估计，其估计值依概率收效于真值，即测量分别为=,和2，，仪器的测量误差均值为0，方差分别lim p(0. -0)=0为r和4r的随机量，求e的最小二乘估计，并计算估计的证明：最小二乘估计依概率收敛于9。均方误差。等价于随着m-→00E(08T)-→0解：由题意得量测方程(IHH)Z, =H,0+V,lim o(HH.)"-lim %CHH.是非[=,]RI50H, =Z,=0.4r奇异常数阵im（H.)"=06

2016/10/26 6 2.2 一般最小二乘法原理及算法  最小二乘法的几何解释 Z2  H2 V2 Z2 h(1) h(2) V ˆ  ˆ H2        (2) (1) 2 z z Z   T n n a  a b  b   1 1        (2) (1) 2 h h H 当系统的量测噪声Vm 是均值为 0，方差为 R 的随机向 量，则最小二乘估计有如下性质。 2.2 一般最小二乘法原理及算法 (1) 最小二乘估计是无偏估计（无偏性） E( ˆ )   或 ) 0 ~ E(  (2) 最小二乘估计是有效估计（有效性） 1 1 ) ( ) ( ) ~~ (    m T m m T m m T m T E  H H H RH H H (3) 最小二乘估计是一致估计（一致性） | ) 0 ˆ (| lim        m m p 最小 (1) 最小二乘估计是无偏估计，即 E( ˆ )   或 ) 0 ~ E(  证明： m T m m T Hm H H Z 1 ( ) ˆ ~         ) [ ( ) ] ˆ ) ( ~ ( 1 m T m m T E E E Hm H H V        ( ) ( ) 1 m m T m m T  Hm H H H  Z   m T m m T Hm H H V 1 ( )     0 m T m m T m m T m m T Hm H H H H H H Z 1 1 ( ) ( ) ( )      ( ) ( ) 1 m T m m T Hm H H E V    2.2 一般最小二乘法原理及算法 如果由测量噪声及模型误差等引起的误差V 的均值为0，且 V与输入矢量Hm是统计独立，最小二乘的估计值是无偏的。 (2) 最小二乘估计为有效估计。 1 1 ) ( ) ( ) ~~ (    m T m m T m m T m T E  H H H RH H H 证明： 1 1 ) ( ) ( ) ( ) ~~ (    m T m m T m m T m m T m T E  H H H E V V H H H 1 1 ( ) ( )    m T m m T m m T Hm H H RH H H 根据第（1）式的证明，显然有 2.2 一般最小二乘法原理及算法 2 1 1 ( ) ( )    m T m m T m m T  Hm H H H H H 2 1 ( )   m T  Hm H 独立随机变量 同分布、零均值、 Vm中的各个量是 R I 2  (3) 最小二乘估计是一致估计，其估计值依概率收敛于真值，即 证明： 2.2 一般最小二乘法原理及算法 | ) 0 ˆ (| lim        m m p 最小二乘估计 ˆ 依概率收敛于 。 等价于随着m ， ) 0 ~~ E( T  1 2 2 1 1 ( ) lim lim            m T m m m T m m H H m m H H   ( ) 0 2 1 lim    m T m m  H H 奇异常数阵 Hm T Hm是非 例 3.2 用 2 台仪器对未知标量 各直接测量一次，量 测量分别为 1 z 和 2 z ，仪器的测量误差均值为 0，方差分别 为 r 和 4r 的随机量，求 的最小二乘估计，并计算估计的 均方误差。 2.2 一般最小二乘法原理及算法 解：由题意得量测方程 Z2  H2 V2        2 1 2 z z Z        1 1 H2        r r R 0 4 0

2016/10/262.2一般最小二乘法原理及算法2.3加权最小二乘法原理及算法Z,=H,0+V>一般最小二乘估计精度不高的原因之一是对测量数据同等对待》各次测量数据很难在相同的条件下获得的2.-[] -[ -[6 ]>有的测量值置信度高，有的测量值置信度低>对不同置信度的测量值采用加权的办法分别对待>置信度高的，权重取得大些；置信度低的，权重取的小些0-(-(+)J()=(Zm-H.0)(Zm-H.0)=minJ()=(Zm-H.)W.(Z.-H.)=minW. = diag[ w(1),w(2),..", w(m))2.3加权最小二乘法原理及算法2.2加权最小二乘法原理及算法当系统的量测噪声V是均值为0，方差为R的随机向J(O)=(Z.-H.0)W.(Zm-H.)=min量，则加权最小二乘估计有如下性质。（1）加权最小二乘估计是无偏估计（无偏性）ajlC(HRH)--2HW.(Z.-H.)=0aeleE(①)=0或E(0)=0O（2）加权最小二乘估计是有效估计（有效性）=(H"W.H.)"H.W.ZmE(00)=(HW_H_)-"HW_RW_H_(H,W_H_)-(3）最小二乘估计是一致估计（一致性）lim (10. ->)=02.3加权最小二乘法原理及算法2.3加权最小二乘法原理及算法"-(H"W.H.)-"H"W.Z.当W=/时，加权最小二乘算法变为一般最小二乘算法。如果W.=R，则加权最小二乘估计有如下性质。>当W=a(a>0,0<<I)时，加权最小二乘算法变-(HR"H")"HR-"Z.又称为渐消记忆最小二乘算法。马尔可夫估计的均方误差为马尔可夫估计》加权最小二乘法仅用于事先能估计方程误差V对参数E(@")=(HW.H.)"HW.RW.H.(H"W_H.)估计的影响。(H"W.H.)"H"W.RW.H.(H"W.H.)"≥(H.R-H.)缺点3一7

2016/10/26 7     ( ) 2 1 1 1 1 1 1 1 ˆ 1 2 2 1 1 z z z z                                r r r r E T                                              4 5 1 1 1 1 1 1 0 4 0 1 1 1 1 ) 1 1 ~~ ( 1 1  2.2 一般最小二乘法原理及算法 Z2  H2 V2        2 1 2 z z Z        1 1 H2        r r R 0 4 0 2.3 加权最小二乘法原理及算法  一般最小二乘估计精度不高的原因之一是对测量数据同等对待  各次测量数据很难在相同的条件下获得的  有的测量值置信度高，有的测量值置信度低  对不同置信度的测量值采用加权的办法分别对待  置信度高的，权重取得大些；置信度低的，权重取的小些 ) min ˆ ) ( ˆ ) ( ˆ (    m  m  T J Zm Hm Z H ) min ˆ ) ( ˆ ) ( ˆ (    m m  m  T J Zm Hm W Z H W diag[w(1),w(2), ,w(m)] m   ) min ˆ ) ( ˆ ) ( ˆ (    m m  m  T J Zm Hm W Z H 2.3 加权最小二乘法原理及算法 ) 0 ˆ 2 ( ˆ            m m m T HmW Z H J m m T m m m T HmW H H W Z 1 ( ) ˆ    当系统的量测噪声Vm 是均值为 0，方差为 R 的随机向 量，则加权最小二乘估计有如下性质。 2.2 加权最小二乘法原理及算法 (1) 加权最小二乘估计是无偏估计（无偏性） E( ˆ )   或 ) 0 ~ E(  (2) 加权最小二乘估计是有效估计（有效性） (3) 最小二乘估计是一致估计（一致性） | ) 0 ˆ (| lim        m m p 1 ( )  m T Hm RH 1 1 ) ( ) ( ) ~~ (    m m T m m m m T m m m T m T E  H W H H W RW H H W H 2.3 加权最小二乘法原理及算法 如果 1 Wm  R ，则加权最小二乘估计有如下性质。 m m T m m m T HmW H H W Z 1 ( ) ˆ    m T m m T Hm R H H R Z 1 1 1 ( ) ˆ      1 1 ) ( ) ( ) ~~ (    m m T m m m m T m m m T m T E  H W H H W RW H H W H 马尔可夫估计的均方误差为 1 1 1 1 ( ) ( ) ( )      m T m m m T m m m m T m m m T HmW H H W RW H H W H H R H 马尔可夫估计 2.3 加权最小二乘法原理及算法  当W I m  时，加权最小二乘算法变为一般最小二乘算法。  当  (  0,0  1)  W a a  m k m 时，加权最小二乘算法变 又称为渐消记忆最小二乘算法。  加权最小二乘法仅用于事先能估计方程误差Vm 对参数 估计的影响。 缺点

2016/10/262.3加权最小二乘法原理及算法2.3加权最小二乘法原理及算法例3.3对例3.2采用加权最小二乘估计，权阵W-R-例3.3对例3.2采用加权最小二乘估计，权阵W，-R并计算估计的均方误差。并计算估计的均方误差。解：由题意得量测方程Z,=H,0+V21H,=卡Z，=H例3.2用2台仪器对未知标量各直接测量一次量测量分别为z,和Z2，仪器的测量误差均值为0，方差分别为r和4r的随机量，求其最小二乘估计，并计算估计的均方误差。2.3加权最小二乘法原理及算法防例3.4考虑仿真对象M厅=(k)+1.5=(k1)+ 0.7=(k 2)= u(k-1)+0.5u(k 2)+V(k)列式中，V(k)是服从正态分布的白噪声N(0,I)。输入信号采(k)+1.52(k-1)+0.7z(k2)=(k-1)+0.5u(k-2)+V(k)用4阶M序列，其幅值为1。选择如下的辨识模型进行一般的最小二乘参数辨识。输z(k)+a,=(k-1)+a,=(k-2)=b,u(k-1)+b,u(k-2)+V(k)出信W.=I号开始解：由于输入信号为4阶M序列，所以M序列的循产生输入信号M序列环长度为L=2*-1=15。因此设输入信号的取值从k=1般最小二乘参数辨识流程图产生输出信号：（）到k=16的M序列，于是可得h(3) =(2)(0) (2)(0)[=(3) 7a给出样本矩阵H_和Z。(4) (3) u(3)(2)=(4)=(2)i-H.Z. =[例]：:1估计参数[=(16][h(16]=(15)-=(14) (15) (14)表3.2一般最小二乘算法的辨识结果分离估计参数a,、at、b,和b参数1b,b2HHt0=回图：输入/输出信号和估计参数值0.5真-150.71.0结束估计值-1.4960.6970.9660.4828

2016/10/26 8 例3.2 用2台仪器对未知标量各直接测量一次， 量测量分别为z1和z2，仪器的测量误差均值为0，方 差分别为r和4r的随机量，求其最小二乘估计，并 计算估计的均方误差。 2.3 加权最小二乘法原理及算法 例3.3 对例3.2采用加权最小二乘估计，权阵 1 Wm  R ， 并计算估计的均方误差。 2.3 加权最小二乘法原理及算法        2 1 2 z z Z        1 1 H2 例3.3 对例3.2采用加权最小二乘估计，权阵 1 Wm  R ， 并计算估计的均方误差。 解：由题意得量测方程 Z2  H2 V2              r r Wm R 4 1 0 0 1 1     1 2 2 1 1 5 1 5 4 4 1 0 0 1 1 1 1 1 4 1 0 0 1 1 1 ˆ z z z z r r r r                                                        r r r r r r r r E T                                                                          5 4 1 1 4 1 0 0 1 1 1 1 1 0 4 0 1 1 1 1 4 1 0 0 1 ) 1 1 ~~ ( 1 1  式中，V(k) 是服从正态分布的白噪声 N(0,1) 。输入信号采 用 4 阶 M 序列，其幅值为 1。 例3.4 考虑仿真对象 z(k) 1.5z(k 1)  0.7z(k  2)  u(k 1)  0.5u(k  2) V(k) ( ) ( 1) ( 2) ( 1) ( 2) ( ) 1 2 1 2 z k  a z k   a z k   b u k   b u k  V k 选择如下的辨识模型进行一般的最小二乘参数辨识。 W I m  2.3 加权最小二乘法原理及算法 4 阶 M 序 列 输 出 信 号 z(k) 1.5z(k 1)  0.7z(k  2)  u(k 1)  0.5u(k  2) V(k) 解：由于输入信号为 4 阶M 序列，所以M 序列的循 环长度为 2 1 15 4 L    。因此设输入信号的取值从 k 1 到k 16 的M 序列，于是可得              (16) (4) (3) z z z Z m                                  (15) (14) (15) (14) (3) (2) (3) (2) (2) (1) (2) (1) (16) (4) (3) z z u u z z u u z z u u h h h Hm                   2 1 2 1 ˆ b b a a  m T m m T Hm H H Z 1 ( ) ˆ    表 3.2 一般最小二乘算法的辨识结果 参 数 1 a 2 a 1 b 2 b 真 值 -1.5 0.7 1.0 0.5 估计值 -1.496 0.697 0.966 0.482 开始 产生输入信号 M 序列 产生输出信号 z（k） 给出样本矩阵 Hm 和 Z m 估计参数 分离估计参数 1 a 、 2 a 、 1 b 和 2 b 结束 画图：输入/输出信号和估计参数 一 般 最 小 二 乘 参 数 辨 识 流 程 图

2016/10/263.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法(k)根据加权最小二乘法，利用m次测量数据所得到的估值u(k)A)..=(H.W.H.)"H.W.Z..图SISO系统的“灰箱”结构当新获得一对输入、输出数据时》一般最小二乘或加权最小二乘为一次完成算法或批处理算法。=(m+1)= h(m+1)@+v(m+I)》计算量大、存储大、不适合在线辨识。利用m十1次输入、输出数据，得到的方程为》采用参数递推估计递推最小二乘算法。Zm+ =Hm+0+Vm1当前估计值0(k)=上次估计值(k-1)十修正项3.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法-(HW.H)HW.ZZ.- = Hm0+V+1O.-(HW.H.)"H.W.Z. [x-] -[,2.如果设[]Z. =Z(m+1)=(m+1)P.-[H..H.]'HH -P--[H.W+H.-=(H"WH.)-"H"WmZm+Ihm+)则有o.=P.H"W.Z.-: 0WW =0Wm+D).. = P..,H.W./Z...=(H.W.H.)"H..Z.3.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法H0[h(m+D]w..oTZ..- . [HW(m+D]w(m+1)h(m+D)[0w(m+1)(m+1)]=[HW.H.+h (m+1)w(m+1)h(m+1)-=Pm,HW.Z.+P.h (m+1)w(m+1)=(m+1)Pm+ =[P-" + hT (m+ 1)w(m+1)h(m+1)]-o.=P.H.W.Z.H.w.Z.-P-'P-l = Pm+ - h (m+1)w(m+ 1)h(m+ 1)0m./=Pm,P-0m+Pm,hT(m+1)w(m+1)=(m+1)I(A+BCD)- = A-- A-'B(C-1 +DA-B)-DA-IPa=P,-P_h(m+I)[w-(m+1)+m+1)P_h(m+D"h(m+1)P9

2016/10/26 9 3.3 递推最小二乘法原理及算法 G(k) u(k) y(k) v(k) z(k) 图 SISO 系统的“灰箱”结构  一般最小二乘或加权最小二乘为一次完成算法或批处理算法。  计算量大、存储大、不适合在线辨识。 当前估计值 ( ) ˆ  k ＝上次估计值 ( 1) ˆ  k  ＋修正项  采用参数递推估计——递推最小二乘算法。 3.3 递推最小二乘法原理及算法 根据加权最小二乘法，利用m 次测量数据所得到的估值 m m T m m m T m HmW H H W Z 1 ( ) ˆ    当新获得一对输入、输出数据时 z(m 1)  h(m 1)  v(m 1) 利用 m＋1 次输入、输出数据，得到的方程为 Zm1  Hm1 Vm1 3.3 递推最小二乘法原理及算法 Zm1  Hm1 Vm1          ( 1) 1 z m Z Z m m          ( 1) 1 h m H H m m          ( 1) 1 v m V V m m 1 1 1 1 1 1 1 1 ( ) ˆ          m m T m m m T  m Hm W H H W Z m m T m m m T m HmW H H W Z 1 ( ) ˆ             0 ( 1) 0 1 w m W W m m 3.3 递推最小二乘法原理及算法 1 [ ]   m m T Pm HmW H 1 1 1 1 1 [ ]     m m T Pm Hm W H 如果设 则有 1 1 1 1 1 1 1 1 ( ) ˆ          m m T m m m T  m Hm W H H W Z m m T m m m T m HmW H H W Z 1 ( ) ˆ    m m T  m  Pm HmW Z ˆ 1 1 1 1 1 ˆ     m m T  m Pm Hm W Z          ( 1) 1 z m Z Z m m          ( 1) 1 h m H H m m          0 ( 1) 0 1 w m W W m m                     0 ( 1) ( 1) 0 ( 1) ˆ 1 1 z m Z w m W P H h m T T m m  m m m ( 1) ( 1) ( 1)  P 1H W Z  P 1h m  w m  z m  T m m m T m m m m T  m  Pm HmW Z ˆ m m m m T HmW Z P  1 ˆ  ( 1) ( 1) ( 1) ˆ ˆ 1 1 1  1        P  P P h m w m z m T  m m m  m m 3.3 递推最小二乘法原理及算法 3.3 递推最小二乘法原理及算法 1 [ ( 1) ( 1) ( 1)]  H W H  h m  w m  h m  T m m T m   1 1 0 ( 1) ( 1) 0 ( 1)                           h m H w m W P H h m T T m m m m 1 1 1 1 1 1 1 ( ) ( )        A BCD  A  A B C  DA B DA m T m T Pm Pm Pmh (m 1)[w (m 1) h(m 1)P h (m 1)] h(m 1)P 1 1 1            ( 1) ( 1) ( 1) 1 1 1         P P h m w m h m T m m 1 1 1 [ ( 1) ( 1) ( 1)]   P   P  h m  w m  h m  T m m

2016/10/263.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法m =Pm,P-"0. +Pa,h(m+1)w(m+1)=(m+1).,=.+Ph(m+1)w(m+1)[=(m+1)-h(m+1)0_]m+ = Pm+[P -h' (m+1)w(m+1)h(m+1)j0.Pm, =P, -P,h (m+1)[w"(m+)+h(m+1)P,h (m+1)"h(m+D)P,+ Pm+h (m+I)w(m+1)=(m+1)今Km+ = Pm+h(m+1)w(m+ 1)m/=0m-Pm+h(m+1)w(m+1)h(m+1)0.+Pm+h (m+1)w(m+1)z(m+1)Km-I= P.hT(m+I)[w-(m+1)+h(m+1)P.h (m+1)-.,=0. +Pm/h (m+1)w(m+1)[=(m+1)h(m+1)0_)3.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法m., =.+K.[=(m+1)-h(m+1)@m]z(m+1) h(m+1)输原+YPa=P, -P,h (m+D)[w(m+I)+h(m+1)P,h (m+1)"h(m+)P,00有出递推最小二乘K+/=P.h(m+I[w-(m+1)+h(m+I)P.h(m+)]-参数估计算法信信PPmt)息tu(m+1)息》_为前一时刻的参数估值。>(m+1)是当前时刻的量测值。>(m+1)e.是在前一量测的基础上对在（m+1）的预测。[0(m+1)-0(m)max>=（m+1)-h(m+1)o为预测误差，又称为新息。0.(m)》修正的增益矩阵为K3.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法（1）根据一批数据，利用批处理算法获得广生大取前m组数据，采用加权最小二乘算法获得打始化0），0_-(HW.H.)"H,W.Z.联P.-[H.W.H.]-0(k1)=0(k)（2）任意假设和P，通过递推算法进行选代P(k-1)=P(k)为方便，取。=0，P=αl，α为正实数。K>I10

2016/10/26 10 ( 1) ( 1) ( 1) ˆ ˆ 1 1 1  1        P  P P h m w m z m T  m m m  m m 3.3 递推最小二乘法原理及算法 m T  m Pm Pm h m w m h m  ˆ [ ( 1) ( 1) ( 1)] ˆ 1 1  1 1         ( 1) ( 1) ( 1)  P 1h m w m z m T m m T  m  m Pm h m w m h m  ˆ ( 1) ( 1) ( 1) ˆ ˆ 1   1    ( 1) ( 1) ( 1)  P 1h m w m z m T m ] ˆ ( 1) ( 1)[ ( 1) ( 1) ˆ ˆ 1 1 m T  m  m  Pm h m w m z m  h m  ] ˆ ( 1) ( 1)[ ( 1) ( 1) ˆ ˆ 1 1 m T  m  m  Pm h m w m z m  h m  3.3 递推最小二乘法原理及算法 ( 1) ( 1) K 1  P 1h m  w m  T m m 令 m T m T Pm Pm Pmh (m 1)[w (m 1) h(m 1)P h (m 1)] h(m 1)P 1 1 1            1 1 1 ( 1)[ ( 1) ( 1) ( 1)]   K   P h m  w m   h m  P h m  T m T m m m T m T Pm Pm Pmh (m 1)[w (m 1) h(m 1)P h (m 1)] h(m 1)P 1 1 1            1 1 1 ( 1)[ ( 1) ( 1) ( 1)]   K   P h m  w m   h m  P h m  T m T m m 3.3 递推最小二乘法原理及算法 ] ˆ [ ( 1) ( 1) ˆ ˆ m 1 m m 1 m h m m      K  z       m ˆ 为前一时刻的参数估值。  h m  m ˆ ( 1) 是在前一量测的基础上对在（m+1）的预测。  z(m 1)是当前时刻的量测值。  m h m m z  ˆ ( 1)  ( 1) 为预测误差，又称为新息。  修正的增益矩阵为 K m1 。 递推最小二乘 参数估计算法 息 信 有 原 m  ˆ Pm 1 ˆ m  Pm1 w(m 1) z(m 1) h(m 1) 息 信 出 输 3.3 递推最小二乘法原理及算法         ( ) ˆ ( ) ˆ ( 1) ˆ max m m m i i i i 产生输入数据u和 输出数据z 结束 开始 初始化P(0)、θ(0)、w和ε 计算P(k)，θ(k)和K(k)          ( 1) ˆ ( 1) ˆ ( ) ˆ max k k k i i i i kL ( 1) ( ) ( 1) ( ) P k P k k k       是 是 否 否 3.3 递推最小二乘法原理及算法 3.3 递推最小二乘法原理及算法 （1）根据一批数据，利用批处理算法获得 取前 m 组数据，采用加权最小二乘算法获得 m m T m m m T m HmW H H W Z 1 ( ) ˆ    1 [ ]   m m T Pm HmW H （2）任意假设 0 ˆ  和 P0 ，通过递推算法进行迭代 为方便，取 0 ˆ  0  ， P  I 0 ， 为正实数