第5卷第1期 智能系统学报 Vol.5 No.1 2010年2月 CAAI Transactions on Intelligent Systems Feh.2010 doi:10.3969/j.issn.16734785.2010.01.010 基于小波和LS-SVM的软测量建模方法 向峥嵘，陈庆伟 (南京理工大学自动化学院，江苏南京210094) 摘要：针对工业过程中某些重要过程变量难以实现在线检测的问题，提出了一种基于小波和最小二乘支持向量机 (LS-SVM)的软测量建模方法.首先通过小波变换把样本数据序列分解为不同频段的子序列，然后对这些子序列分 别采用LS-SVM进行建模，最后通过小波重构得到主导变量的估计值.其中采用量子粒子群算法(PS0)来优化选取 LS-SVM参数.通过仿真实验验证此方法，实验结果表明所提出的方法具有估计精度高、泛化能力强等优点. 关键词：软测量；最小二乘支持向量机；小波分析；量子粒子群优化 中图分类号：TP274文献标识码：A文章编号：16734785(2010)01006304 An approach to soft sensor modeling based on wavelets and a least square support vector machine XIANG Zheng-rong,CHEN Qing-wei (School of Automation,Nanjing University of Science and Technology,Nanjing 210094,China) Abstract:Some industrial process variables are very difficult to measure.To overcome this problem,a soft sensor modeling,based on wavelets and a least square support vector machine (LS-SVM),was proposed.Initially,a stream of sample data was decomposed into sub-sequences with different frequences.This was done on the basis of wavelet transform.Then the respective sub-sequences were modeled by appropriate SVMs.Finally,estimated val- ues for the primary variables were obtained by wavelet reconstruction.A quantum particle swarm optimization (QP- SO)algorithm was employed to select parameters for the LS-SVM and the kernel function.Simulation results con- firmed that the proposed method has high precision and good generalization ability. Keywords:soft sensing;least square support vector machine (LS-SVM);wavelet;quantum particle swarm optimi- zation (QPSO) 工业过程中存在一些由于技术或经济等原因难 象处理、模式识别等领域中.本文将小波分析引入到 以在线测量而又十分重要的过程参数，软测量技术 软测量建模中，提出了一种基于小波和LS-SVM的 为解决这一问题提供了新的途径12].其核心是建 软测量建模方法.利用小波分析的独特的“聚焦”特 立软测量的数学模型，以实现辅助变量对主导变量 性，将样本数据信号分解成多个频段，对子序列分别 的最佳估计.近年来，支持向量机(SVM)作为一种 采用最小二乘支持向量机进行建模，并利用量子粒 小样本学习理论)，由于其具有良好的泛化能力， 子群算法(particle swarm optimization,PSO)选取最 且训练时总能找到全局最优解，因而在工业领域得 LS-SVM least square support vector machine) 到了广泛的应用48].目前已有学者采用SVM或改 数.仿真结果表明该方法可有效地提高LS-SVM软 进的SVM进行软测量建模12]，然而其建模精度和 测量模型的精度和泛化能力， 泛化能力有待进一步提高. 1小波分析 小波分析作为一种数学工具，其在时域和频域 具有同样良好的局部化性质，可以对信号的任意细 考虑时间函数(t)∈L2(R),中(t)为小波母函 节加以提取和分析，正被广泛地应用于信号处理、图 数，(t)的连续小波变换3]可定义为 收稿日期：2008-10-08. w,(t)=1_ 基金项目：江苏省自然科学基金资助项目(BK2007210) 通信作者：向峥嵘.E-mail:xiangzr(@nail.jusL.ed.cm. . (1)
·64 智能系统学报 第5卷 设表示分解的低频部分（上标表示分解 行优化，得 尺度)，W表示分解中的高频部分d(=1,2,3,…, N),则w是在-1中的正交补，即⊕W= [aL/am=0→0= ∑a(), V-1.显然，④W④…⊕W--1=-m,则多分辨的 子空间可以用有限个子空间来逼近，即有 a/0=0→a=0, (7) =V⊕W=⊕W2⊕=…= 6L/ek=0→c=Y, ⊕w④W-1⊕…⊕W (2) oL/das =0w(xx)+b+ex -y =0. 令∈代表分解率为2的函数(t)∈L(R) 消除变量w,ek,可得以下矩阵方程： 的逼近，d∈矿代表逼近的误差，式(2)可表示为 v0=v④w=v2④02⊕0=…= (8) v④w④wN-1④…④0. (3) 式中：y=[y1y2…y],Z=[1…1],a=[a…], 因为(t)=v°，表明任何时刻的(t)∈L2(R)都可 D=ding(y-)K=K=K() 以根据相应的低频部分"和高频部分心(j=1,2, 通过式(8)求解出a和b,得到样本数据的非 …,N)完全重构 线性模型： 令s为采样得到的信号，利用多分辨分析算法， s与低通分解滤波器h(k)经过卷积运算可得到尺度 y(x)=∑a4K(x,4)+b. (9) 1上的低频分量；s与高通分解滤波器g(k)经过卷 核函数的选取对于系统的泛化能力影响较大.常用 积运算可得到尺度1上的高频分量. 的核函数有：1)多项式核函数；2)径向基核函数； 在下一步分解中，用同样的方法可把低频系数 3)Sigmoid核函数. 分成2部分，即a1和d1,用a1代替s,可得尺度2上 的低频系数a2和高频系数d2,依此类推.任何函数 3 基于小波和LS-SVM的软测量建模 ∫∈L(R)都可以根据分辨率为2-时∫的低频部分 软测量的原理就是根据某种最优准则，选择一 (“粗糙像”)和分辨率2(1≤≤N)下∫的高频部 组与被估计变量（主导变量）相关的一组辅助变量， 分(“细节”部分)完全重构，这就是Mallat塔式重构 通过建立以辅助变量为输入，被估计变量的最优估 算法的思想。 计为输出的数学模型.软测量器的估计值作为控制 2最小二乘支持向量机(LS-SVM) 系统的被控变量或反映过程特征的工艺参数，为优 化控制与决策提供重要信息.在软测量器中，可测变 设训练样本集D={(xk,y)1k=1,2,…,l}, 量X对象的控制输入“、对象可测输出变量y作为 x∈R"是第k个样本的输人模式，y.∈R是对应于 软测量器的输入变量，被估计变量的最优估计Y为 第k个样本的期望输出，I为圳练样本数.LS-SVM 输出.基于小波和LS-SVM的软测量建模方法分为3 取如下形式： 个步骤：1)对样本数据序列进行小波分解；2)利用 f(x)=wΦ(x）+b. (4) LS-SVM分别对各尺度域上的小波序列进行建模和 式中：(x):R→R,将输人数据映射到高维特征 估计；3)对各尺度域上的软测量值，利用小波重构 空间.对于LS-SVM,优化问题描述为 算法生成最终的主导变量估计值， 赠0m,e)=2w+2, 在将样本数据序列进行小波分解过程中，选择 合适的尺度是极其重要的.若所选尺度较少时，不能 8.t.yk=wΦ(x)+b+ek,k=1,…,1.（5) 有效地分析信号的特性；若尺度较多时，建模过程更 式中：权向量w∈R(原始空间)；误差变量e∈R; 复杂，对预测精度也会有影响.经过多次仿真结果表 b为偏差量；Y为正规化参数， 明，一般选取3层较为合适.本文提出的软测量模型 根据式(4)可定义其拉格朗日函数： 结构如图1所示. L(w,b,e;ax)=J(w,b,e)- 在LS-SVM软测量建模时，需要确定正规化参 三[ww)+h+8-l 数y和径向基核函数参数σ，本文采用QPS0 (6) (quantum particle swarm optimization)算法[4s选出 式中：拉格朗日乘子a∈R(=1,…,I)对式(6)进 最佳的参数组合作为模型的最终参数：
第1期 向峥蝾，等：基于小波和LS-SVM的软测量建模方法 ·65 样木数据 1 小波分解 LS-SVM LS-SVM LS-SVM LS-SVM 软测量模型 软测量模型 软测量模型 软测量模型 小波重构 主导变量估计值 图1基于小波LS-SVM软测量模型 Fig.1 Soft-sensor based on wavelet and LS-SVM 模型估计的组分含量的精度及跟踪性能取得了较好 4仿真研究 的效果。 稀土串级萃取分离过程具有强非线性、时变、大 5 滞后等特点，元素的组分含量难以在线测量.根据某 结束语 稀土公司需求，要从含Y203>40%的离子型稀土矿 将小波分析和最小二乘支持向量机相结合，提 中分离提取高纯钇，].按照萃取生产过程工艺控 出了一种新的软测量建模方法，并将该方法应用于 制要求，选择萃取段某级作为工艺控制监测点检测 稀土串级萃取分离过程.与目前的软测量建模方法 水相中钇组分含量.监测点水相中钇组分含量样本 不同的是该文利用小波分析对采样数据进行分解， 通过现场取样送化验室分析化验获得，对应地从工 有效提取数据的非线性特征分量，然后再用LS 艺操作数据中收集有机溶剂流量V。、水相料液流量 SVM进行建模，仿真结果表明其可有效地提高LS Vp、水相洗涤液流量V和料液组分X。4个辅助变 SVM软测量模型的精度和泛化能力. 量的样本数据.从萃取生产过程采集150组输人/输 参考文献： 出数据作为样本，其中前100组数据用于组分含量 软测量模型训练样本，后50组数据用于组分含量 [1]徐敏，俞金寿.软测量技术[J].石油化工自动化， 软测量模型测试样本， 1998,2:1-3. 90 XU Min,YU Jinshou.Soft-sensing technique[J].Automa- 85 …+…样水值 tion in Petro-Chemical Industry,1998,2:1-3. 80 产软测量值 [2]GONZALEZ G D.Soft sensors for processing plants[C]// 75 Proceedings of the Second International Conference on Intel- 70 65 ligent Processing and Manufacturing of Materials.Honolulu, 60 Hawaii,USA,1999:5969. 55 [3]VAPNIK V N.The nature of statistical leaming theory 5065101520253035404550 [M].New York:Springer-Verlag,1995:123-180. 样本个数 [4]张莉，席裕庚.基于支持向量机的可分离非线性动态 系统辨识[J].自动化学报，2005,31(6)：965-969. 图2组分含量样本值和软测量值 Fig.2 Measurement value and true value of component ZHANG Li,XI Yugeng.Identification of separable variable nonlinear dynamical system based on SVMs[J].Acta Auto- content 对于训练样本数据，采用基于QPS0的LS-SVM matica Sinica,2005,31(6):965-969. [5]SUYKENS J A K.Nonlinear modeling and support vector 软测量建模方法建立了钇含量的软测量模型.组分 machines[C]//Proceedings of Technology of the 18th IEEE 含量样本测量值和软测量模型输出值比较曲线见图 Instrumentation and Measurement Conference.Budapest, 2.其中测试样本的均方根误差0g=1.7858,最大 Hungary,2001,1:287-294. 绝对误差0ma=3.17.图2表明用所提出的软测量 [6]陈念贻，陆文聪.支持向量机算法在化学化工中的应用
·66 智能系统学报 第5卷 [J].计算机与应用化学，2002,19(6)：674-676. [14]SUN Jun,XU Wenbo,FENG Bin.A global search strate- CHEN Nianyi,LU Wencong.Support vector machine ap- gy of quantum-behaved particle swarm optimization[C] plied to chemistry and chemical technology[J].Computer Proceedings of IEEE Conference on Cybernetics and Intelli- and Applied Chemistry,2002,19(6):674-676. gent Systems.Singapore,2004:111-116. [7]SUYKENS J A K,VANDEWALLE J.Least squares support [15]SUN Jun,FENG Bin,XU Wenbo.Particle swarm optimi- vector machine classifiers[J].Neural Processing Letters, zation with particles having quantum behavior[C]//Pro- 1999,9(3):293300. ceedings of 2004 Congress on Evolutionary Computation. [8]SUYKENS J A K,VAN GESTEL T,DE BRABANTER J, Piscataway,USA,2004:325-331. et al.Least squares support vector machines[M].Singa- [16]CHAPELLE O,VAPNIK V,BOUSQUET O,et al.Choo- pore:World Scientific Press,2002:308-342. sing multiple parameters for support vector machines[J]. [9]XIANG Zhengrong,LIU Songging.Component content soft- Machine Learning,2002,46(1):131-159. sensor in rare-earth extraction based on PSO and LS-SVM [17]许勇刚，杨辉.基于RBF网络的稀土萃取过程组分 [C]//The 4th International Conference on Natural Compu- 含量软测量[J].稀土，2007,28(5)：19-22. tation (ICNC'08).Jinan,China,2008,6:392-395. XU Yonggang,YANG Hui.Component content soft-sensor [10]徐晔，杜文莉，钱锋.基于核主元分析和最小二乘 based on RBF neural network in rare earth countercurrent 支持向量机的软测量建模[J].系统仿真学报，2007， extraction process[J].Chinese Rare Earths,2007,28 19(17):3873-3875. (5):19-22. XU Ye,DU Wenli,QIAN Feng.Soft sensor modeling 作者简介： based on KPCA and least square SVM[J].Joummal of Sys- 向峥嵘，男，1969年生，副教授、博 tem Simulation,2007,19(17):3873-3875. 士，EEE会员，中国人工智能学会会 [11]张英，苏宏业，褚健.基于模糊最小二乘支持向量 员.主要研究方向为非线性系统、鲁棒 机的软测量建模[J].控制与决策，2005,20(6)：621- 控制、智能控制、数据挖掘等.主持及承 624. 担了多项国家自然科学、省自然科学基 ZHANG Ying,SU Hongye,CHU Jian.Soft sensor model- 金及国防预研项目.2002-2006年曾多 ing based on fuzzy least squares support vector machines 次到香港城市大学和香港理工大学做合作研究，发表学术论 [J].Control and Decision,2005,20(6):621-624. 文90余篇 [12]阎威武，朱宏栋，邵惠鹤.基于最小二乘支持向量机的 陈庆伟，男，1963年生，教授、博士 软测量建模[J].系统仿真学报，2003,15(10)：1494- 生导师，中国自动化学会空间及运动体 1496. 控制委员会委员，中国自动化学会智能 YAN Weiwu,ZHU Hongdong,SHAO Huihe.Soft sensor 自动化委员会委员，江苏省自动化学会 modeling based on support vector machines[J].Journal of 理事，《兵工学报》编委.主要研究方向 System Simulation,2003,15(10):1494-1496. 智能控制、非线性系统、交流伺服系统、 [13]刘涛，曾祥利，曾军.实用小波分析入门[M].北 网络控制等.主持及承担了多项国家自然科学基金及国防预 京：国防工业出版社，2006：116-131. 研项目的研究工作，发表学术论文50余篇