人工智能基础：PSO并行优化LSSVR非线性黑箱模型辨识

第5卷第1期 智能系统学报 Vol.5 No.1 2010年2月 CAAI Transactions on Intelligent Systems Feh.2010 doi:10.3969/j.issn.16734785.2010.01.008 PSO并行优化LSSVR非线性黑箱模型辨识 刘胜，宋佳，李高云 (哈尔滨工程大学自动化学院，黑龙江哈尔滨150001) 摘要：针对非线性黑箱系统辨识中存在不确定性、高阶次，采用常规辨识方法建立其精确数学模型十分困摊等问 题，提出一种基于自适应粒子群算法的最小二乘支持向量机回归(PSO-LSSVR)非线性系统辨识方法.该方法采用2 组自适应粒子群算法并行计算模型，分别利用自适应粒子群算法对LSSVR中的参数进行自动选取和矩阵迭代求解， 既克服了传统LSSVR参数难以确定的缺点，提高了辨识精度，同时避免了复杂矩阵求逆运算，加快了计算速度.将该 方法应用于船舶操纵性模型非线性系统辨识，仿真结果表明，由该方法得到的LSSVR能够有效地对系统进行建模， 仿真精度高，结构简单，具有一定的理论推广意义. 关键词：粒子群算法：最小二乘支持向量机回归；非线性系统辨识：黑箱模型：船舶操纵模型 中图分类号：N945.1;1P18文献标识码：A文章编号：1673-4785(2010)010051-06 Modeling a complex nonlinear system with particle swarm optimization and parallel-optimized least squares support vector regression LIU Sheng,SONG Jia,LI Gao-yun (College of Automation,Harbin Engineering University,Harbin 150001,China) Abstract:Complex nonlinear systems usually suffer from high-order nonlinearity and uncertainty of parameters.This makes it difficult to establish an accurate mathematical model using conventional identification methods.To solve this problem,a new least squares support vector regression based on particle swarm optimization (PSO-LSSVR) was proposed.This identification model used two PSOs in parallel.One automatically sets the parameters of the LSSVR,while the other iterates the matrix.Thus the precision of identification is ensured,and calculation speed is improved by avoiding matrix inversion.This method was employed in dynamic identification of ship steering.Simu- lations proved that the PSO-LSSVR has a simple structure,high precision of model identification. Keywords:particle swarm optimization;least squares support vector regression;nonlinear system identification; black box model;ship maneuvering 许多复杂的系统通常难以用传统方法进行描tor machines,LSSVM)就是在这一理论基础上发展 述，特别是非线性动态时变系统.目前多采用基于输 起来的21.LSSVM基于结构风险最小化，在SVM的 人输出数据的黑箱系统建模辨识方法进行建模，目 基础上，通过将价值函数改为最小二乘价值函数以 前的研究主要集中于基于神经网络的方法.然而，现 及用等式约束代替不等式约束，避免了求解二次规 有的神经网络学习理论大都基于样本数目趋于无穷 划问题，具有更好的抗噪能力和更快的运算速 大的渐近理论，并存在局部极小点、过学习等缺陷. 度[341.但是，和其他学习算法一样，LSSVM的性能 为此，近年来统计学习理论(SLT)的研究得到了广 多依赖于学习机参数的选取.到目前为止，还没有指 泛的重视，统计学习理论是一种专门研究小样本情 导LSSVM参数选择的一般方法[56.最小二乘支持 况下的机器学习理论四 向量机所涉及到的矩阵求逆运算成为提高拟合速度 最小二乘支持向量机(least squares support vec- 的障碍.本文提出了一种基于自适应粒子群优化 收稿日期：20090301. (particle swarm optimization,PSO)的最小二乘支持 基金项目：黑龙江省自然科学基金资助项目(A2004-19). 向量机回归(least squares support vector regression, 通信作者：刘胜.E-mail:iu.sch@163.com. LSSVR)算法，以下简称PSO-LSSVR算法

52 智能系统学报 第5卷 采用2组粒子群算法并行优化结构，同时对 TH-Y LSSVR中的参数进行自动选取和矩阵迭代求取，并 b=TH-T 将此方法应用于船舶操纵模型辨识研究中.仿真结 因此，LSSVR回归估计结果为 果表明，采用PS0-LSSVR对非线性系统进行辨识， N y(x)= (4) 在辨识精度方面具有明显优势. aK(x,)+b. 从以上的推导可见，LSSVR辨识算法选用不同的损 1 LSSVR回归估计 失函数，并用等式约束将求解二次规划问题转化为 设给定训练样本集：{x,yl,其中，r∈R 求解线性方程，显然可以极大地减少算法的复杂度， 为n维的训练样本输入，y∈R为训练样本输出. 但LSSVR矩阵求逆运算量及运算复杂性随模型维 LSSVR利用非线性映射Φ(·)将数据映射到相应 数增高而加大，对于实际工程的大规模求解问题在 的高维特征空间F中，并在该空间进行线性回归. 计算机上很难实现.同时，采用径向基核函数的 LSSVR算法选择误差；的二范数为损失函数o1,目 LSSVR学习参数y和σ2的选取也对算法的推广预 标优化函数为 测能力和算法的效率有很大的影响。 2w+2Y2， 1 min 2PSO-LSSVR并行算法实现 8.t.y=w④(x)+b+5,k=1,…,N.(1) 兼顾LSSVR在运算中存在的参数难以确定和 式中：y为调节参数，它能够在训练误差和模型复杂 矩阵维数大求解困难的问题，文中提出了2组PS0 度之间取一个折衷，以便使所求的函数具有较好的 算法并行运算的方式，其结构如图1所示。 泛化能力.LSSVR定义了与标准SVR不同的损失函 开始 数，并将其不等式约束改为等式约束，可在对偶空间 随机初始化粒子位置和速度 上求取w.引人Lagrange函数： mm=号w+合含- 矩阵求解适应度计算： ∑a[w(x)+b+5-]: (2) 满见终止条件？> 对式(2)进行优化，即求L对w、b、5、a的偏导数等 N 于0，得到 假如F,>Fo,则P,=XF=F L ow =0→w= 假如F,>G,则P。=X,G,=F L 0 =0→月4=0， 更新和。 aL 计算4()和P) g =0→a4k=y%k,k=1,2,…,N, 更新粒子位置，速度 =0→w(x)+b+5k-yk=0,k=1,2,…,N 通过消去w和5，式(2)的解为 参数选择适应度计算 「0 (3) 满足终止条什？ 式中y=[y1y2…yw]T,a=[a1a2…aw],Z= N 更新位置和速度 [(x)(x2)…(xw)],1为N×1单位列向 量.非线性函数拟合的ZZ内积运算可用满足Mer cer条件的核函数K(r,x.)替代，这里采用径向基 结束 (RBF)函数：K(x,x)=exp(-‖x-xk‖2/o2).对 图1PS0-LSSVR并行算法结构 于式(3)，令H=Zz+y'In,则模型系数的解为： Fig.1 Structure of PSO-LSSVR a=H-l(Y-b1),其中：

第1期 刘胜，等：PS0并行优化LSSVR非线性黑箱模型辨识 ·53· 用粒子群迭代求解线性矩阵方程替代最小二乘支 TAa(t)=△a(t)·gn[Pa(t)-Xa(t)], 持向量机参数寻优确定结构中的复杂矩阵求逆运算， (9) △a(t)=A(t)·gm[P(t)-Xa(t)]. 一方面避免了矩阵求逆，同时实现了调节参数σ和核 5)对所有粒子执行如下操作： 函数参数σ2的自动求解，改善了LSSVR的训练速度 ①修正粒子飞行速度，限定在[-Va,V]内； 和性能，并提高了辨识过程中的抗干扰能力. Va(t+1)=oVa(t)+cI△(t)+c22△(t). 并行算法实现步骤如下： (10) 1)在定义空间内随机初始化2组粒子的位置 ②修正粒子位置，并将其限定在[Xmn,Xmm]内， Xu,Xg及飞行速度Vu,V(i=1,2,…,m,j=1,2, 同时计算其适应度F; …,n).其中粒子向量Xu代表一个支持向量机模 ③如果F:>Ft,则令P:=X,Fet=F; 型，该模型对应不同的支持向量机参数，即调节参数 y和核函数参数σ2.粒子向量X代表一个矩阵解 ④如果F:>Gt,则令P。=X,Gt=f 6)如果最优适应度几乎不再变化或达到最大 X6=[ba1…aw]T 迭代次数，则停止，2组粒子群算法嵌套并行运算完 2)为了使训练LSSVR辨识精度最优，采用均方 成迭代寻优： 误差(MSE)作为评价准则.将式(3)改写成如下形 式」 3系统仿真 AXM=Z,A∈Rx9,z∈R. (5) 3.1sinc函数的拟合 矩阵求解适应度函数定义为 为验证本文所提出的PSO并行优化LSSVR回 Fu(b,a) (6) 归拟合方法的有效性，对加有噪声的sinc函数(y= (AuX)2 in(x)/x+o0·N(0,1)进行测试.在区间[-3,3] eps 上等间隔产生100个点作为训练样本，高斯白噪声 pq 核函数参数寻优适应度函数定义为 的方差为σ。=1，再分别用随机产生的31个有噪声 数据进行拟合测试.图2中，LSSVR曲线即为采用 F(Y,o2)= (7) 普通最小二乘支持向量机的拟合曲线，采用交叉验 (yk-f))2 证法确定调节参数和核函数参数.而PSOLSSVR曲 eps 线为采用文中提出PSO并行优化LSSVR回归计算 令粒子i(i=1,2,…,m)当前的最优位置为P:= 的拟合曲线图.由图2可见通过PS0对回归拟合的 X,对应的适应度为F,=F:并从粒子群中找出全局 并行优化，其回归拟合的自适应能力更强，拟合精度 最优粒子，令其位置为P。,对应的适应度为G· 更高，具有更好的抗干扰能力.进一步将粒子群并行 3)为提高算法寻找全局最优解的概率，采用文 优化最小二乘支持向量机回归建模方法应用于船舶 献[8]中自适应策略修正△a和△并将其限定在范 操纵性模型辨识中， 围[4，△]内. 1.2 PSO-LSSVR 1.0 data m4a(t-1),[Pa(t-1)-Xa(t-1)]× 0.8 LSSVR [Pa(t)-Xu(t)]>0; 0.6 Aa()={nAa(t-1),[Pa(t-1)-Xa(t-1)]× 0.4 [Pa(t)-Xa(t)]0; 0.4 -2 A2(t)={nA(t-1),[Pa(t-1)-Xa(t-1)]× [Pa(t)-Xa(g)]<0; 图2对含白噪声sinc函数的拟合 42(t-1), 其他 Fig.2 Regression of sinc function with white noise (8) 3.2船舶操纵模型辨识 4)计算△Va和△(t). 为了验证PS0-LSSVR算法的有效性，将其应用 于船舶操纵模型这一典型非线性系统模型的辨识

·54 智能系统学报 第5卷 中.将随船运动坐标系原点置于船舶重心G上，如 (k+1)=f((k),…,(k-n+1), 图3所示，空间固定坐标系XOY。和随船运动坐标 6(k),…,6(k-m+1)). (12) 系xGy.X、Y、N为作用于船体上的外力和力矩，u、v、 式中：m、n为系统输人输出阶数，文中所讨论系统 τ为船运动速度分量及转艏角速度，山为航向角，6 m=1、n=2.因此，最小二乘支持向量机的训练样本 为舵角，B为漂流角. 集合可以定义为 X D=(6,),i=1,2,…,l, 8:=[(k),(k-1),6(k),:=(k+1)]. (13) 采用式(11)所示船舶操纵运动非线性模型为 辨识对象，某实船主要参数为：排水量为2500t,水 线长为115m,船宽为14m,吃水为3.8m,方形系数 为0.48，设计航速为18Kn.分别利用本文提出的 PSO-LSSVR和交叉验证参数选取的LSSVR对其模 型进行辨识仿真研究.设定核函数参数选择粒子群 图3坐标系 算法的种群大小均为50，矩阵求解算法种群大小为 Fig.3 Coordinate system 30,每组参数进行30次优化运算.其中各参数为 建立船舶操纵非线性数学模型： △a(0)=△2(0)=△(0)，n=0.5,m=1.1,△(0)∈ T,T2中+(T1+T2)西+H(b)=K(6+T36)+ [0.01△X,0.14X],c1=c2=2.0,△.=0.001△X和4= Kya(Ya +T4Fa)+Knu(Na TsNa).(11) 0.5AX,同时令Pa(0)=P(0)=Xa(0). 式中： 为了确定系统模型，可以通过实验以收集数据 TT (m-Y)(L-N)-N.y, 样本来训练网络.在系统的输入端加上变化幅度为 (mu-Y)N。+N,Y。 ±30°的伪随机舵角信号，对上述对象进行仿真，取 T+T2= 采样周期为18，仿真时间为600s,共记录了148对 -Y,(I N;)N,(m Y:)+(mu Y,)N;Y;N. 数据，将记录数据作为最小二乘支持向量机的训练 (mu-Y,)N。+N,Y. 样本.取前300s记录数据为训练样本，后300s记 N.Ys-Y.Ns 录数据为测试样本.训练输入舵角信号如图4所示. K,=(m-Y,)N,+N,X 30 T3= N(m-Y;)+N.Ys N.Y3-Y.Ns N Kx=(mu -Y,N.+N.Y. T4三N T= m-Yi Y. 30 50100150200250300 t/s Ke=-(mw-y,)N。+N,Y 图4训练舵角 式中：m、m,、m.为船舶质量和附加质量；l.、J.为船 Fig.4 Training rudder angle 舶的惯性矩和附加惯性矩；Y,、N,、Y,、N,、Y、Ng为船 辨识结果输出与参考模型输出对比曲线如图5 舶水动力导数；H(山)是模型中的非线性项，根据 所示.图5中，曲线1为系统实际航向角输出，曲线 Bech的定义，H(b)=a3+a22+a1b+a用以描 2为PS0-LSSVR辨识航向角输出，曲线3为交叉验 述系数的非线性特征. 证参数选取的LSSVR辨识航向角输出.图6所示为 给定模型输入量为舵角8，输出量为航向角山. 系统辨识输出航向角误差曲线.从图5和图6所给 由于辨识对象具有时滞性，所以必须把历史信息引 出的仿真结果中可以看出，本文提出的PSO-LSSVR 入训练样本中去，船舶操纵系统输入输出特性可以 可以很好地逼近船舶操纵运动这一典型的非线性系 由下面的时间离散方程描述： 统，并且比交叉验证参数选取的LSSVR具有更好的

第1期 刘胜，等：PS0并行优化LSSVR非线性黑箱模型辨识 ·55 非线性系统逼近能力 n 最大正误差MAXPE=max{e:,O},最大负误差MAX- NE=min{e:,0}.式中：e:=y:-,y:和：分别为期 -10 望输出值和识别输出值.从表1中可以看出，采用优 -15 化算法后，在精度方面明显提高，且具有很好的泛化 能力. 0 25 Test data PSO-LSSVR 306 LSSVR 50100150200250300 1/s 10 图5辨识结果输出与参考模型输出对比 Fig.5 Comparison of recognition results 0.6 PSO-LSSVR -20 0.4 -LSSVR 0.2 -30 50 100150200250300 t/s -0.20 图8测试数据输出与参考模型输出对比 Fig.8 Comparison of recognition results 0.4 0.3 -0.6 Pso-LLSSVR 0.2 --LSSVR 0.80 0 100150200250300 0.1H t/s 0 图6训练网络输出误差曲线 -0.1 Fig.6 Error curve of training data -0.2 为了验证辨识算法的泛化能力，再次在系统的 -0.3 输入端加上幅值为30°的伪随机舵角变化信号测试 -0.4 50 100150200250300 数据，如图7所示.测试数据输出与参考模型输出对 t/s 比曲线以及误差曲线对比分别如图8、9所示.由仿 图9测试网络输出误差曲线 真结果可知，采用PS0算法优化的LSSVR具有良好 Fig.9 Error curve of test data 的泛化能力， 30 表1识别结果比较 Table 1 20 Comparison of recognition results 选择算法 实验结果 LSSVR PSO-LSSVR MSE(辨识) 0.1242 0.0565 MAXPE(辨识) 0.4802 0.1621 20 -0.4324 30 MAXNE(辨识) -0.1742 50 100150200250300 t/s MSE(测试) 0.0845 0.0325 MAXPE(测试) 0.2214 0.1202 图7测试舵角 Fig.7 Test rudder angle MAXNE(测试) -0.1954 -0.0652 对交叉验证参数选取的LSSVR与所提出的并 4 结束语 行优化PS0-LSSVR算法的运行结果进行了比较，结 果如表1所示.定义： 本文提出了一种自适应PSO-LSSVR复杂非线 性黑箱系统辨识方法，并将其应用于船舶操纵性模

·56· 智能系统学报 第5卷 型辨识中，进行了仿真研究.仿真结果表明，PS0 []XIA Kewen,DONG Yao,DU Hongbin.Oil layer recognition LSSVR可以根据待辨识系统的输入输出数据自动 model of IS-SVM based on improved PSO algorithm[J]. 地为LSSVR选择合适的参数，为LSSVR参数选取 Control and Decision,2007(12):1385-1389. 提供了一条解决思路，同时并行PSO解决了LSSVR [8]LI Yonggang,GUI Weihua,YANG Chunhua,CHEN Zhi- 计算中存在的高维矩阵求逆运算困难的问题，在学 sheng.A resilient particle swarm optimization algorithm [J].Control and Decision,2008,23(1)):95-98 习效率、解决过学习问题、全局最优化等方面都表现 作者简介： 出良好的性能.采用PS0-LSSVR对船舶操纵性非线 刘胜，男，1957年生，教授，博士 性系统进行辨识，可以获得比较精确的系统模型，与 生导师，黑龙江省教学名师，黑龙江省 交叉验证参数选取的LSSVR方法相比精度更高，且I 重点一级学科"控制科学与工程“学科 具有较强的泛化能力 负责人.兼任教育部工程研究中心“船 舶控制工程研究中心"主任，中国造船学 参考文献： 会仪器仪表学术委员会副主任，黑龙江 [1]LUO Weilin,ZOU Zaojian.Identification of response models 省自动化学会副理事长.主要研究方向为智能控制、鲁棒控 of ship maneuvering motion using support vector machines 制、船舶航行与姿态控制.目前承担国家”973“计划项目、 [I]Journal of Ship Mechanics,2007(11):832-838. 国防基础研究基金项目、国防预研项目4项，省部级项目6 SUYKENSJA K,VAN GESTELT,DE BRABANTER J, 项.曾获黑龙江省优秀教学工作者，中国船舶工业总公司优 et al.Least squares support vector machines[M].Singa- 秀青年科技工作者，获省部级科学技术奖7项，省教学成果 pore::World Scientific,2002::80-92 奖一等奖2项、二等奖2项，省教育科学研究成果一等奖4 [3]]'GOETHALS I,PELCKMANS K.Identification of MI-MO 项，省部级自然科学技术学术成果奖8项.发表学术论文 hammerstein models using least squares support vector ma- 150余篇，被SCI、EI、ISTP检索70余篇，出版学术著作3 chines[J].Automatica,2005,41(7)):1263-1272. 部 [4]SUYKENS JA K,VANDEWALLEJ.Least squares support 宋佳，女，1983年生，博士研究 vector machine classifers[J].Neural Processing Letters, 生，主要研究方向为智能控制、船舶姿 1999,9(3)1:293-300 态控制.参与科研项目2项，发表学术 [5]LU Sheng,LI Yanyan.Application of compound controller 论文10余篇，被EI、ISTP检索6篇. based on fuzy control and support vector machine on ship boiler-turbine coordinated control system C]//The 2007 IEEE International Conference on Mechatronics and Automa- tion.Harbin,China,2007::97-102. 李高云，男，1981年生，博士研究 阿]刘胜，李妍妍.自适应GA-SVM参数选择算法研究 生，主要研究方向为智能控制、故障诊 [].哈尔滨工程大学学报，2007,28(4))398402 断与容错控制、船舶航行与姿态控制. LU Sheng,LI Yanyan.Parameter selection algorithm for 参与科研项目3项，获黑龙江省科学技 support vector machines based on adaptive genetic algorithm 术二等奖1项，黑龙江省高校科学技术 ]Jourmal of Harbin Engineering University,2007,28 -等奖1项.发表学术论文近10篇，被 ④1：398-402. EI、STP检索4篇

型辨识中,进行了仿真研究.仿真结果表明,PSO￾LSSVR可以根据待辨识系统的输入输出数据自动 地为LSSVR选择合适的参数,为LSSVR参数选取 提供了一条解决思路,同时并行PSO解决了LSSVR 计算中存在的高维矩阵求逆运算困难的问题,在学 习效率、解决过学习问题、全局最优化等方面都表现 出良好的性能.采用PSO-LSSVR对船舶操纵性非线 性系统进行辨识,可以获得比较精确的系统模型,与 交叉验证参数选取的LSSVR方法相比精度更高,且 具有较强的泛化能力 参考文献: 宋 佳,女,1983年生,博士研究 生,主要研究方向为智能控制、船舶姿 态控制.参与科研项目2项,发表学术 论文10余篇,被EI、ISTP检索6篇 [7] XIA Kewen,DONG Yao,DU Hongbin. Oil layer recognition model of IS-SVM based on improved PSO algorithm[J]. Control and Decision,2007(12) :1385-1389. [6] 刘 胜,李妍妍.自适应GA-SVM参数选择算法研究 [J].哈尔滨工程大学学报,2007,28(4) :398402. LU Sheng,LI Yanyan. Parameter selection algorithm for support vector machines based on adaptive genetic algorithm [J] . Jourmal of Harbin Engineering University,2007,28 (4) : 398-402. 刘 胜,男,1957年生,教授,博士 生导师,黑龙江省教学名师,黑龙江省 重点一级学科"控制科学与工程"学科 负责人.兼任教育部工程研究中心“船 舶控制工程研究中心"主任,中国造船学 会仪器仪表学术委员会副主任,黑龙江 省自动化学会副理事长.主要研究方向为智能控制、鲁棒控 制、船舶航行与姿态控制.目前承担国家"973"计划项目、 国防基础研究基金项目、国防预研项目4项,省部级项目6 项.曾获黑龙江省优秀教学工作者,中国船舶工业总公司优 秀青年科技工作者,获省部级科学技术奖7项,省教学成果 奖一等奖2项、二等奖2项,省教育科学研究成果一等奖4 项,省部级自然科学技术学术成果奖8项.发表学术论文 150余篇,被SCI、EI、ISTP检索70余篇,出版学术著作3 部. 第5卷 李高云,男,1981年生,博士研究 生,主要研究方向为智能控制、故障诊 断与容错控制、船舶航行与姿态控制. 参与科研项目3项,获黑龙江省科学技 术二等奖1项,黑龙江省高校科学技术 等奖1项.发表学术论文近10篇,被 EI、STP检索4 篇. [1] LUO Weilin,ZOU Zaojian. Identification of response models of ship maneuvering motion using support vector machines [J].Journal of Ship Mechanics,2007(11) : 832-838. [2] SUYKENSJA K,VAN GESTELT,DE BRABANTER J, et al. Least squares support vector machines[ M]. Singa￾pore: World Scientific,2002: 80-92. [3] GOETHALS I, PELCKMANS K. Identification of MI-MO hammerstein models using least squares support vector ma￾chines[J] . Automatica,2005,41(7) : 1263-1272. [8] LI Yonggang,GUI Weihua,YANG Chunhua,CHEN Zhi￾sheng. A resilient particle swarm optimization algorithm [J].Control and Decision,2008,23(1) :95-98. ·56· [5] LU Sheng,LI Yanyan. Application of compound controller based on fuzy control and support vector machine on ship boiler-turbine coordinated control system [ C]//The 2007 IEEE International Conference on Mechatronics and Automa￾tion. Harbin,China,2007: 97-102. [4] SUYKENS JA K,VANDEWALLEJ. Least squares support vector machine classifers[J]. Neural Processing Letters, 1999,9(3) : 293-300. 智 能 系 统 学 报 作者简介: