第5章最小二乘法辨识
第5章 最小二乘法辨识
把待辨识的系统看作“黑箱”,只考虑系统 的输入一输出特性,而不强调系统的内部机 理 本章主要讨论单输入一单输出系统的差分方 程作为模型的系统辨识问题 差分方程模型的辨识问题包括阶的确定和参 数估计2个方面。 本章讨论采用最小二乘法进行参数估计
❖ 把待辨识的系统看作“黑箱”，只考虑系统 的输入－输出特性，而不强调系统的内部机 理。 ❖ 本章主要讨论单输入－单输出系统的差分方 程作为模型的系统辨识问题。 ❖ 差分方程模型的辨识问题包括阶的确定和参 数估计2个方面。 ❖ 本章讨论采用最小二乘法进行参数估计
1、最小二乘法 设单输入一单输出线性定常系统的差分方程为 x(k)+a1x(k-1)+…+anx(k-n)=b(k)+…+b,(k-m) ◆式中:以k)为输入信号;xk)为理论上的输出值 今()的观测值y)可表示为 yk =x(k)+n(k 式中以k)为随机干扰,则:x(k)=y)-mk 今将琳)代入差分方程中,有 y(k)+a1y(k-1)+…+any(k-n)=b()+…+b2(k-n) (4) +n()+2a(k-
1、最小二乘法 ❖ 设单输入－单输出线性定常系统的差分方程为 （1） ❖ 式中： 为输入信号； 为理论上的输出值。 ❖ 的观测值 可表示为 ❖ 式中 为随机干扰，则： ❖ 将 代入差分方程中，有 （4） 1, 2, 3, ( ) ( 1) ( ) ( ) ( ) 1 0 = + − + + − = + + − k x k a x k a x k n b u k b u k n n n x(k) u(k) x(k) n(k) y(k) y(k) = x(k) + n(k) x(k) = y(k) − n(k) x(k) = + + − + − + + − = + + − n i i n n n k a n k i y k a y k a y k n b u k b u k n 1 1 0 ( ) ( ) ( ) ( 1) ( ) ( ) ( )
令往往把m(k)看作白噪声 设 5(=m)+∑an 则式(4)可写成 y(k)+a,yk-1)++anyk-n)=bou(k)+. +b,u(k-n)+(k)(5) 假设5(k)不仅包含了xk)的测量误差,而且还包含v) 的测量误差和系统内部噪声。 假定(k)是不相关随机序列。 令现分别测出n+N个输出输入值y,y(2),,yn+N), l(1),l(2)…,l(n+N
❖ 往往把 看作白噪声 ❖ 设 ❖ 则式（4）可写成 （5） ❖ 假设 不仅包含了 的测量误差，而且还包含 的测量误差和系统内部噪声。 ❖ 假定 是不相关随机序列。 ❖ 现分别测出 个输出输入值 ， = = + − n i i k n k a n k i 1 ( ) ( ) ( ) x(k) n(k) ( ) ( 1) ( ) ( ) ( ) ( ) 1 0 y k a y k a y k n b u k b u k n k n n + − ++ − = ++ − + (k) u(k) (k) n + N y(1), y(2), , y(n + N) u(1),u(2), ,u(n + N)
设 Vn+ (n+1) y(n+2) n+ y= 0=|,"b n+N 5(m+N) n y(2)a(n+2)…al(2) ①= y(n+N-1)…-y(N)l(n+N)…(N)
❖ 设 + + + = = + + + = ( ) ( 2) ( 1) , , ( ) ( 2) ( 1) 0 1 n N n n b b a a y n N y n y n y n n − + − − + − + − + − − + = ( 1) ( ) ( ) ( ) ( 1) (2) ( 2) (2) ( ) (1) ( 1) (1) y n N y N u n N u N y n y u n u y n y u n u
可得到 y=6+ (8) 式中:y为N维输出向量;ξ为N维噪声向量;θ 为(2n+)维参数向量;Φ为N×(2n+)测量矩阵。 式(8)式一个含有(2n+1)个未知参数,由N个方程 组成方程组。 当N<2n+1,方程数少于未知数数目,则方程组的 解是不定的。 当N=2n+1,方程数正好与未知数相等,当噪声5=0 时,就能准确的解出 0=①
❖ 可得到 ❖ （8） ❖ 式中： 为N维输出向量； 为N维噪声向量； 为 维参数向量； 为 测量矩阵。 ❖ 式（8）式一个含有 个未知参数，由N个方程 组成方程组。 ❖ 当 ，方程数少于未知数数目，则方程组的 解是不定的。 ❖ 当 ，方程数正好与未知数相等，当噪声 时，就能准确的解出 y y = + (2n +1) N (2n +1) (2n +1) N 2n +1 N = 2n +1 y −1 = = 0
令如果噪声5≠0,则 0=Φy-Φ 从上式可以看出噪声5对参数估计有影响, 为了尽量减少噪声对估值的影响,应 取 N>(2n+ 此时,要采用数理统计的方法求θ的值,以 减少噪声对θ估计值的影响
❖ 如果噪声 ，则 ❖ 从上式可以看出噪声 对参数估计有影响， 为了尽量减少噪声 对 估值的影响，应 取 ❖ 此时，要采用数理统计的方法求 的值，以 减少噪声对 估计值的影响。 0 −1 −1 = y − N (2n +1)
最小二乘估计算法 设表示θ的最优估值,y表示y的最优估值,则 有 y= pe 今式中 y(n+1) y(n+2) 0= ly(n+N
最小二乘估计算法 ❖ 设 表示 的最优估值， 表示 的最优估值，则 有 ❖ 式中 ^ y ^ y ^ ^ y = = + + + = n n b b a a y n N y n y n y ^ 0 ^ ^ 1 ^ ^ ^ ^ ^ ^ , ( ) ( 2) ( 1)
设6表示)8)与之差,即 e(k)=a(x-)y(k)+b()u(k)k=n+,n+2,…,n+N 今式中 (二)=1+a12+…+anz b(=2)=b+b1z2+…+b 将e(k)称为残差。把k=n+1,n+2,…,n+N分别代入上 式可得残差e(n+1)e(n+2)…,e(n+N)。设 e=[(m+1)e(n+2)…c(n+N 今则有 e=y-y=y-g
❖ 设 表示 与 之差，即 ❖ 式中 ❖ 将 称为残差。把 分别代入上 式可得残差 。设 ❖ 则有 e(k) ( ) ^ y k y(k) e k = a z y k + b z u k k = n + n + n + N − − ( ) ( ) ( ) ( ) ( ) 1, 2, , 1 ^ 1 ^ e(k) n n n n b z b b z b z a z a z a z − − − − − − = + + + = + + + ^ 1 1 ^ 0 ^ 1 ^ ^ 1 1 ^ 1 ^ ( ) ( ) 1 e(n +1), e(n + 2), ,e(n + N) k = n +1,n + 2, ,n + N T e = e(n +1) e(n + 2) e(n + N) e = y − y = y − ^
最小二乘估计要求残差的平方和为最小,即按照目 标函数 J=ee=y-中0y- 冷为最小来确定估值。 冷求J对的偏导数并令其等于0,可得 0=便Φ)Φ J为极小值的充分条件是 =ΦΦ>0 06 即矩阵Φ①为正定矩阵
❖ 最小二乘估计要求残差的平方和为最小，即按照目 标函数 ❖ 为最小来确定估值 。 ❖ 求J对 的偏导数并令其等于0，可得 ❖ J为极小值的充分条件是 ❖ 即矩阵 为正定矩阵。 − = = − ^ ^ J e e y y T T ^ 0 2 ^ 2 = J T ( ) y T T = −1 ^ T ^