无数学模型的非线性约束单目标系统优化方法改进

工程科学学报，第40卷，第11期：1402-1411,2018年11月 Chinese Journal of Engineering,Vol.40,No.11:1402-1411,November 2018 DOI:10.13374/j.issn2095-9389.2018.11.014;http://journals.ustb.edu.cn 无数学模型的非线性约束单目标系统优化方法改进 侯公羽2)，许哲东1)区，刘欣)，牛晓同)，王清乐) 1)中国矿业大学（北京）力学与建筑工程学院，北京1000832)新疆工程学院矿业工程与地质学院，乌鲁木齐830091 ☒通信作者，E-mail:18310676138@163.com 摘要为提高无法准确建立数学模型的非线性约束单目标系统优化问题的寻优精度，并考虑获取样本的代价，提出一种基 于支持向量机和免疫粒子群算法的组合方法(support vector machine and immune particle swarm optimization,SVM-PSO).首 先，运用支持向量机构建非线性约束单目标系统预测模型，然后，采用引入了免疫系统自我调节机制的免疫粒子群算法在预 测模型的基础上对系统寻优.与基于BP神经网络和粒子群算法的组合方法(BP and particle swarm optimization,BP-PSO)进行 仿真实验对比，同时，通过减少训练样本，研究了在训练样本较少情况下两种方法的寻优效果.实验结果表明，在相同样本数 量条件下，SVM-IPS0方法具有更高的优化能力，并且当样本数量减少时，相比BP-PS0方法，SVM-PS0方法仍能获得更稳定 且更准确的系统寻优值.因此，SVM-PS0方法为实际中此类问题提供了一个新的更优的解决途径. 关键词非线性约束单目标系统：支持向量机；免疫粒子群算法；仿真：优化 分类号TP301.6 Optimization method improvement for nonlinear constrained single objective system without mathematical models HOU Gong-yu),XU Zhe-dong,LIU Xin,NIU Xiao-tong,WANG Qing-le 1)School of Mechanics and Civil Engineering,China University of Mining &Technology (Beijing),Beijing 100083,China 2)School of Mining Engineering and Geology,Xinjiang Institute of Engineering.Urumqi 830091,China Corresponding author,E-mail:18310676138@163.com ABSTRACT Optimization problems of nonlinear constrained single objective system are common in engineering and many other fields.Considering practical applications,many optimization methods have been proposed to optimize such systems whose accurate mathematical models are easily constructed.However,as more variables are being considered in practical applications,objective sys- tems are becoming more complex,so that corresponding accurate mathematical models are difficult to be constructed.Many previous scholars mainly used back propagation (BP)neural network and basic optimization algorithms to successfully solve systems that are without accurate mathematical models.But the optimization accuracy still needs to be further improved.In addition,samples are nee- ded to solve such system optimization problems.Therefore,to improve the optimization accuracy of nonlinear constrained single objec- tive systems that are without accurate mathematical models while considering the cost of obtaining samples,a new method based on a combination of support vector machine and immune particle swarm optimization algorithm (SVM-IPSO)is proposed.First,the SVM is used to construct the predicted model of nonlinear constrained single objective system.Then,the immune particle swarm algorithm, which incorporates the self-regulatory mechanism of the immune system,is used to optimize the system based on the predicted model. The proposed method is compared with a method based on a combination of BP neural network and particle swarm optimization algorithm (BP-PSO).The optimization effects of the two methods are studied under few training samples by reducing the number of training sam- 收稿日期：2017-10-20 基金项目：国家自然科学基金委员会与神华集团有限责任公司联合重点资助项目(U1261212,U1361210):国家自然科学基金面上资助项目 (51574247)

工程科学学报,第 40 卷,第 11 期:1402鄄鄄1411,2018 年 11 月 Chinese Journal of Engineering, Vol. 40, No. 11: 1402鄄鄄1411, November 2018 DOI: 10. 13374 / j. issn2095鄄鄄9389. 2018. 11. 014; http: / / journals. ustb. edu. cn 无数学模型的非线性约束单目标系统优化方法改进 侯公羽1,2) , 许哲东1)苣 , 刘 欣1) , 牛晓同1) , 王清乐1) 1) 中国矿业大学(北京)力学与建筑工程学院, 北京 100083 2) 新疆工程学院矿业工程与地质学院, 乌鲁木齐 830091 苣 通信作者, E鄄mail: 18310676138@ 163. com 摘 要 为提高无法准确建立数学模型的非线性约束单目标系统优化问题的寻优精度,并考虑获取样本的代价,提出一种基 于支持向量机和免疫粒子群算法的组合方法( support vector machine and immune particle swarm optimization, SVM鄄鄄 IPSO). 首 先,运用支持向量机构建非线性约束单目标系统预测模型,然后,采用引入了免疫系统自我调节机制的免疫粒子群算法在预 测模型的基础上对系统寻优. 与基于 BP 神经网络和粒子群算法的组合方法(BP and particle swarm optimization,BP鄄鄄PSO)进行 仿真实验对比,同时,通过减少训练样本,研究了在训练样本较少情况下两种方法的寻优效果. 实验结果表明,在相同样本数 量条件下,SVM鄄鄄IPSO 方法具有更高的优化能力,并且当样本数量减少时,相比 BP鄄鄄PSO 方法,SVM鄄鄄IPSO 方法仍能获得更稳定 且更准确的系统寻优值. 因此,SVM鄄鄄IPSO 方法为实际中此类问题提供了一个新的更优的解决途径. 关键词 非线性约束单目标系统; 支持向量机; 免疫粒子群算法; 仿真; 优化 分类号 TP301郾 6 收稿日期: 2017鄄鄄10鄄鄄20 基金项目: 国家自然科学基金委员会与神华集团有限责任公司联合重点资助项目(U1261212,U1361210); 国家自然科学基金面上资助项目 (51574247) Optimization method improvement for nonlinear constrained single objective system without mathematical models HOU Gong鄄yu 1,2) , XU Zhe鄄dong 1)苣 , LIU Xin 1) , NIU Xiao鄄tong 1) , WANG Qing鄄le 1) 1) School of Mechanics and Civil Engineering, China University of Mining & Technology (Beijing), Beijing 100083, China 2) School of Mining Engineering and Geology, Xinjiang Institute of Engineering, Urumqi 830091, China 苣 Corresponding author, E鄄mail: 18310676138@ 163. com ABSTRACT Optimization problems of nonlinear constrained single objective system are common in engineering and many other fields. Considering practical applications, many optimization methods have been proposed to optimize such systems whose accurate mathematical models are easily constructed. However, as more variables are being considered in practical applications, objective sys鄄 tems are becoming more complex, so that corresponding accurate mathematical models are difficult to be constructed. Many previous scholars mainly used back propagation (BP) neural network and basic optimization algorithms to successfully solve systems that are without accurate mathematical models. But the optimization accuracy still needs to be further improved. In addition, samples are nee鄄 ded to solve such system optimization problems. Therefore, to improve the optimization accuracy of nonlinear constrained single objec鄄 tive systems that are without accurate mathematical models while considering the cost of obtaining samples, a new method based on a combination of support vector machine and immune particle swarm optimization algorithm (SVM鄄鄄IPSO) is proposed. First, the SVM is used to construct the predicted model of nonlinear constrained single objective system. Then, the immune particle swarm algorithm, which incorporates the self鄄regulatory mechanism of the immune system, is used to optimize the system based on the predicted model. The proposed method is compared with a method based on a combination of BP neural network and particle swarm optimization algorithm (BP鄄鄄PSO). The optimization effects of the two methods are studied under few training samples by reducing the number of training sam鄄

侯公羽等：无数学模型的非线性约束单目标系统优化方法改进 ·1403· ples.The simulation results show that the SVM-IPSO has a higher optimization ability under the same sample size conditions,and when the number of samples decreases,the SVM-IPSO method can still obtain more stable and accurate system optimization values than the BP-PSO method.Hence,the SVM-IPSO method provides a new and better solution to this kind of problems. KEY WORDS nonlinear constrained single objective system;support vector machine;immune particle swarm optimization;simula- tion;optimization 非线性约束单目标系统优化问题存在于很多行 网络模型，然后运用遗传算法进行参数最优匹配. 业的各个方面，如大型机械施工力学参数的选取、建 刘兰兰等[]利用神经网络建立了轧制过程中工艺 设工程项目中进度的优化，以及隧道施工时掘进参 参数与轧制功率和奥氏体晶粒直径之间的关系模 数的选取等.对于可准确建立数学模型的非线性约 型，基于训练好的模型，运用理想点法将其转化为单 束单目标系统优化问题，国内外学者提出的很多方 目标优化问题，再利用遗传算法进行参数优化.倪 法均可用于求解非线性约束单目标系统优化问题. 立斌等]则基于数据样本建立起熔覆带特征与熔 如Courant)提出的罚函数法，在此方法的基础上， 覆工艺参数之间关系的神经网络模型，然后运用粒 Powell对其进行了改进，提出了扩展拉格朗日乘子 子群算法(particle swarm optimization,PSO)对激光 法[)：杨剑哲等)提出了改进的增广拉格朗日乘子 熔覆工艺参数进行优化.王秋平[们针对金属注射 法，其是在增广拉格朗日乘子法的基础上进一步提 成形工艺参数的优化问题，首先运用神经网络建立 高了算法的计算精度.MeDougall和Wotherspoon] 了6个工艺参数与金属注射成形密度分布之间的关 提出了一种修正的牛顿法，与标准牛顿法相比，修正 系模型，然后采用PS0算法进行寻优.严博燕等[] 后的牛顿法具有更快的收敛速度：稳定滤波器序列 则同样采用神经网络和PS0算法的组合方法成功 二次规划]也是一种可用于求解非线性约束单目 的解决了传统方法测量炭/炭复合材料弹性常数精 标系统优化问题的方法，此方法结合了稳定内部二 度差的问题 次规划的技巧和滤波器技术.另外，随着计算机技 在运用此类组合方法求解非线性约束单目标系 术和人工智能的发展，各种群智能算法的出现，在解 统优化问题时，由定性分析可知，系统的预测效果和 决非线性约束单目标系统优化问题时，便避免了人 群智能算法的寻优能力会影响最终的优化结果.另 工计算的复杂度.如阮旻智等[]将人工免疫系统原 外，实际中样本点通过实验方式获取较多，而每一组 理与粒子群算法结合，同时对粒子的各方向速度进 实验都要花费相应的成本.因此，为了提高系统寻 行控制，提出一种基于人工免疫的粒子群算法，并将 优精度和降低获取样本点的成本，本文提出了基于 其用于解决系统可靠性优化问题.程跃等)用混沌 支持向量机和免疫粒子群算法的组合方法(SVM- 理论改进粒子群算法，然后将改进后的粒子群算法 PSO)方法.采用支持向量机(support vector ma- 用于解决结构可靠性优化设计.Beheshti等[]对于 chine,SVM)预测非线性约束单目标系统，将免疫系 在离散空间的组合优化问题，提出了二进制加速粒 统的自我调节机制引入到PS0算法中，来提高算法 子群算法：常红伟等[]针对超材料优化设计中参数 的全局搜索能力，基于训练好的SVM模型，运用免 的选择问题，提出采用等位基因或双倍基因来实现 疫粒子群算法(immune particle swarm optimization, 对遗传基因的加权编码，得出了基于加权实数编码 IPSO)进行系统寻优.与基于BP神经网络和粒子 的遗传算法.徐茂鑫等]通过Q学习的试错与奖 群算法的组合方法(BP-PSO)进行仿真实验对比， 励机制构建了蜂群的学习模式，将强化学习的行为 验证在样本量相同的条件下，SVM-PS0方法具有 迁移技术用于蜂群的迁移学习中，提出了一种迁移 更高的非线性约束单目标系统寻优能力.另外，通 蜂群优化算法 过多组仿真实验，研究了在训练样本量不断减少的 分析知，运用以上方法首先需要具有相应的非 情况下，两种方法的寻优效果. 线性约束单目标优化系统的数学模型，而在解决实 1基本理论知识 际问题时，经常存在很多无法准确建立数学模型的 情况，此时单独采用以上方法便无法求解系统最优 1.1SVM及其参数值的选取方法 值.人工智能的综合与快速发展成功地解决了此类 SVM是在统计学习理论的基础上发展而来的， 问题.如羌培)首先运用数据样本建立了各盾构 属于机器学习的一种新算法，是由Vapnik教授在20 施工参数与隧道轴线上方地表沉降之间关系的神经 世纪90年代首次提出.SVM是基于结构风险最小

侯公羽等: 无数学模型的非线性约束单目标系统优化方法改进 ples. The simulation results show that the SVM鄄IPSO has a higher optimization ability under the same sample size conditions, and when the number of samples decreases, the SVM鄄鄄IPSO method can still obtain more stable and accurate system optimization values than the BP鄄鄄PSO method. Hence, the SVM鄄鄄IPSO method provides a new and better solution to this kind of problems. KEY WORDS nonlinear constrained single objective system; support vector machine; immune particle swarm optimization; simula鄄 tion; optimization 非线性约束单目标系统优化问题存在于很多行 业的各个方面,如大型机械施工力学参数的选取、建 设工程项目中进度的优化,以及隧道施工时掘进参 数的选取等. 对于可准确建立数学模型的非线性约 束单目标系统优化问题,国内外学者提出的很多方 法均可用于求解非线性约束单目标系统优化问题. 如 Courant [1] 提出的罚函数法,在此方法的基础上, Powell 对其进行了改进,提出了扩展拉格朗日乘子 法[2] ;杨剑哲等[3]提出了改进的增广拉格朗日乘子 法,其是在增广拉格朗日乘子法的基础上进一步提 高了算法的计算精度. McDougall 和 Wotherspoon [4] 提出了一种修正的牛顿法,与标准牛顿法相比,修正 后的牛顿法具有更快的收敛速度;稳定滤波器序列 二次规划[5] 也是一种可用于求解非线性约束单目 标系统优化问题的方法,此方法结合了稳定内部二 次规划的技巧和滤波器技术. 另外,随着计算机技 术和人工智能的发展,各种群智能算法的出现,在解 决非线性约束单目标系统优化问题时,便避免了人 工计算的复杂度. 如阮旻智等[6]将人工免疫系统原 理与粒子群算法结合,同时对粒子的各方向速度进 行控制,提出一种基于人工免疫的粒子群算法,并将 其用于解决系统可靠性优化问题. 程跃等[7]用混沌 理论改进粒子群算法,然后将改进后的粒子群算法 用于解决结构可靠性优化设计. Beheshti 等[8] 对于 在离散空间的组合优化问题,提出了二进制加速粒 子群算法;常红伟等[9] 针对超材料优化设计中参数 的选择问题,提出采用等位基因或双倍基因来实现 对遗传基因的加权编码,得出了基于加权实数编码 的遗传算法. 徐茂鑫等[10] 通过 Q 学习的试错与奖 励机制构建了蜂群的学习模式,将强化学习的行为 迁移技术用于蜂群的迁移学习中,提出了一种迁移 蜂群优化算法. 分析知,运用以上方法首先需要具有相应的非 线性约束单目标优化系统的数学模型,而在解决实 际问题时, 经常存在很多无法准确建立数学模型的 情况,此时单独采用以上方法便无法求解系统最优 值. 人工智能的综合与快速发展成功地解决了此类 问题. 如羌培[11] 首先运用数据样本建立了各盾构 施工参数与隧道轴线上方地表沉降之间关系的神经 网络模型,然后运用遗传算法进行参数最优匹配. 刘兰兰等[12]利用神经网络建立了轧制过程中工艺 参数与轧制功率和奥氏体晶粒直径之间的关系模 型,基于训练好的模型,运用理想点法将其转化为单 目标优化问题,再利用遗传算法进行参数优化. 倪 立斌等[13]则基于数据样本建立起熔覆带特征与熔 覆工艺参数之间关系的神经网络模型,然后运用粒 子群算法( particle swarm optimization, PSO)对激光 熔覆工艺参数进行优化. 王秋平[14] 针对金属注射 成形工艺参数的优化问题,首先运用神经网络建立 了 6 个工艺参数与金属注射成形密度分布之间的关 系模型,然后采用 PSO 算法进行寻优. 严博燕等[15] 则同样采用神经网络和 PSO 算法的组合方法成功 的解决了传统方法测量炭/ 炭复合材料弹性常数精 度差的问题. 在运用此类组合方法求解非线性约束单目标系 统优化问题时,由定性分析可知,系统的预测效果和 群智能算法的寻优能力会影响最终的优化结果. 另 外,实际中样本点通过实验方式获取较多,而每一组 实验都要花费相应的成本. 因此,为了提高系统寻 优精度和降低获取样本点的成本,本文提出了基于 支持向量机和免疫粒子群算法的组合方法( SVM鄄鄄 IPSO)方法. 采用支持向量机( support vector ma鄄 chine, SVM)预测非线性约束单目标系统,将免疫系 统的自我调节机制引入到 PSO 算法中,来提高算法 的全局搜索能力,基于训练好的 SVM 模型,运用免 疫粒子群算法( immune particle swarm optimization, IPSO)进行系统寻优. 与基于 BP 神经网络和粒子 群算法的组合方法(BP鄄鄄 PSO)进行仿真实验对比, 验证在样本量相同的条件下,SVM鄄鄄 IPSO 方法具有 更高的非线性约束单目标系统寻优能力. 另外,通 过多组仿真实验,研究了在训练样本量不断减少的 情况下,两种方法的寻优效果. 1 基本理论知识 1郾 1 SVM 及其参数值的选取方法 SVM 是在统计学习理论的基础上发展而来的, 属于机器学习的一种新算法,是由 Vapnik 教授在 20 世纪 90 年代首次提出. SVM 是基于结构风险最小 ·1403·

·1404. 工程科学学报，第40卷，第11期 化准则获取实际风险[16]，相比机器学习的另一种方 M={y,y2),…,yo} (2) 法一神经网络，SVM避免了神经网络学习方法中 [L,inputps]=mapminmax(L) (3) 网络结构难以确定、容易陷入局部极小值、收敛速度 [M,outputps]mapminmax(M) (4) 比较慢、以及训练时需要大量数据样本等缺陷，有效 运用归一化后的X0),y0(j∈1,2，…，n- 地提高了机器学习中算法的泛化能力. k})分别作为SVM训练的输入向量与输出值.将训 在运用SVM进行非线性约束单目标系统预测 练集映射到一个高维(1维)特征空间，构造以下函 时，模型参数的选取直接影响SVM预测系统的效果 数进行线性回归： 和后续寻优结果的准确性.由于涉及到的参数不止 f(X)=u(X)+b (5) 一个，所以无法通过多次实验的方法确定，本文采用 其中，u为l维权重向量，(X)是将X映射到高维 遗传算法对SVM模型参数实现最优化选择). 空间的映射函数，b为偏置项. 1.2PS0算法 采用ε不敏感损失函数，将回归问题转化为求 PS0算法属于人工智能技术中群智能算法的一 以下最优值问题： 种，是由Eberhart和Kennedy提出的I8).PSO算法 是模拟鸟群觅食的过程，在运用PS0算法时，优化 问题中的每个解被视为每只鸟在空间位置的坐标， (6) 即“粒子”的空间位置坐标.每个粒子通过两个“极 约束条件： 值”来实现自身的空间位置和各方向速度的不断更 up(X0)+b-y≤e+专je[1,n-](7) 新，其中一个“极值”是粒子本身在迭代过程中产生 y-u'p(Xm)）-b≤e+专j∈[1，n-k](8) 的最优解，即个体极值.另一个“极值”是群体中所 5,5≥0je[1,n-k] (9) 有粒子在迭代变化过程中所得到的最优解，即群体 其中，F(u,b,专，专·)为回归间题采用e不敏感损失 极值.PS0算法的优化能力主要取决于各粒子之间 函数后的待优化目标函数，C为惩罚因子，ε为损失 的相互作用，而各粒子自身缺乏变异机制，从而在实 函数参数，专和为松弛因子. 际运用时，比较容易陷入局部极值.PS0算法的迭 引入非负拉格朗日乘子a,ag,n,n,将以上 代轨迹呈正弦波摆动9，起始收敛速度快，随迭代 优化问题转化为下式： 次数的增加，速度减缓，有的可能还会停滞，出现 R(u,b,5,°，a,a°，n,7°)= “早熟”，从而使获取的解不是全局最优解.为了避 免陷入局部解，提高算法的全局搜索能力，本文将生 合u+c宫（份+） 物免疫系统的自我调节机制引入到PS0算法中，对 其进行改进 [e+专+n-Ieo)-1- j=1 2优化模型构建 ,g[e+5-y0+u'(xm)+b]- 2.1基于非线性约束单目标系统样本点的SVM- (10) IPSO模型构建 芝（可矿+防） (1)SVM预测系统 其中，R(u,b,,5°，a,a”,n,n°)为函数F(u,b,, 设非线性约束单目标系统含有m个变量，x,表 ·)引入非负拉格朗日乘子后的待优化目标函数. 示系统中第i个变量.第j组所有变量值的集合表 式(10)对u,b,5,·求偏导为零得： 示为X0=(x,x,…,x),对应的目标函数 R(u,b,左，E°，a,a°，n,m）= du 值为y).通过实验或其他方式获取n组系统变量 值集合X(G∈{1,2，…，n})以及对应的目标函 u- (a°-a)p(X0)=0 (11) 数值y)(Ge{1,2,…,n}).运用其中n-k组系 统变量值集合以及对应的目标函数值训练SVM模 aR(u,b,5,,a,a“,,)= ab 型，其余k组用于验证预测系统的效果.运用MAT- LAB中mapminmax()函数工具箱，将系统变量值以 芝(g-)=0 (12) 及对应的目标函数值进行归一化，如下： aR(u,b,5,5,a,an,m）= L={X),X2),…,X} (1) aξ

工程科学学报,第 40 卷,第 11 期 化准则获取实际风险[16] ,相比机器学习的另一种方 法———神经网络,SVM 避免了神经网络学习方法中 网络结构难以确定、容易陷入局部极小值、收敛速度 比较慢、以及训练时需要大量数据样本等缺陷,有效 地提高了机器学习中算法的泛化能力. 在运用 SVM 进行非线性约束单目标系统预测 时,模型参数的选取直接影响 SVM 预测系统的效果 和后续寻优结果的准确性. 由于涉及到的参数不止 一个,所以无法通过多次实验的方法确定,本文采用 遗传算法对 SVM 模型参数实现最优化选择[17] . 1郾 2 PSO 算法 PSO 算法属于人工智能技术中群智能算法的一 种,是由 Eberhart 和 Kennedy 提出的[18] . PSO 算法 是模拟鸟群觅食的过程,在运用 PSO 算法时,优化 问题中的每个解被视为每只鸟在空间位置的坐标, 即“粒子冶的空间位置坐标. 每个粒子通过两个“极 值冶来实现自身的空间位置和各方向速度的不断更 新,其中一个“极值冶是粒子本身在迭代过程中产生 的最优解,即个体极值. 另一个“极值冶是群体中所 有粒子在迭代变化过程中所得到的最优解,即群体 极值. PSO 算法的优化能力主要取决于各粒子之间 的相互作用,而各粒子自身缺乏变异机制,从而在实 际运用时,比较容易陷入局部极值. PSO 算法的迭 代轨迹呈正弦波摆动[19] ,起始收敛速度快,随迭代 次数的增加,速度减缓,有的可能还会停滞,出现 “早熟冶,从而使获取的解不是全局最优解. 为了避 免陷入局部解,提高算法的全局搜索能力,本文将生 物免疫系统的自我调节机制引入到 PSO 算法中,对 其进行改进. 2 优化模型构建 2郾 1 基于非线性约束单目标系统样本点的 SVM鄄鄄 IPSO 模型构建 (1) SVM 预测系统. 设非线性约束单目标系统含有 m 个变量,xi表 示系统中第 i 个变量. 第 j 组所有变量值的集合表 示为 X (j) = (x (j) 1 , x (j) , …, x (j) m ) T ,对应的目标函数 值为 y (j) . 通过实验或其他方式获取 n 组系统变量 值集合 X (j) (j沂{1, 2, …, n})以及对应的目标函 数值 y (j) (j沂{1, 2, …, n}). 运用其中 n - k 组系 统变量值集合以及对应的目标函数值训练 SVM 模 型,其余 k 组用于验证预测系统的效果. 运用 MAT鄄 LAB 中 mapminmax( )函数工具箱,将系统变量值以 及对应的目标函数值进行归一化,如下: L = {X (1) , X (2) , …, X (n) } (1) M = {y (1) ,y (2) , …, y (n) } (2) [L1 , inputps] = mapminmax(L) (3) [M1 , outputps] = mapminmax(M) (4) 运用归一化后的 X (j) , y (j) (j沂{1, 2, …, n - k})分别作为 SVM 训练的输入向量与输出值. 将训 练集映射到一个高维( l 维) 特征空间,构造以下函 数进行线性回归: f(X) = u T渍(X) + b (5) 其中,u 为 l 维权重向量,渍(X)是将 X 映射到高维 空间的映射函数,b 为偏置项. 采用 着 不敏感损失函数,将回归问题转化为求 以下最优值问题: minF(u,b,孜,孜 * ) = { 1 2 椰u椰2 + C 移 n-k j = 1 (孜 * j + 孜j) } (6) 约束条件: u T渍(X (j) ) + b - y (j)臆着 + 孜j,j沂[1,n - k] (7) y (j) - u T渍(X (j) )) - b臆着 + 孜 * j ,j沂[1,n - k] (8) 孜j,孜 * j 逸0,j沂[1,n - k] (9) 其中,F(u,b,孜,孜 * )为回归问题采用 着 不敏感损失 函数后的待优化目标函数,C 为惩罚因子,着 为损失 函数参数,孜j和 孜 * j 为松弛因子. 引入非负拉格朗日乘子 琢j,琢 * j ,浊j,浊 * j ,将以上 优化问题转化为下式: R(u,b,孜,孜 * ,琢,琢 * ,浊,浊 * ) = 1 2 椰u椰2 + C 移 n-k j = 1 (孜 * j + 孜j) - 移 n-k j = 1 琢j[着 + 孜j + y (j) - u T渍(X (j) ) - b] - 移 n-k j = 1 琢 * j [着 + 孜 * j - y (j) + u T渍(X (j) ) + b] - 移 n-k j = 1 (浊 * j 孜 * j + 浊j 孜j) (10) 其中,R(u,b,孜,孜 * ,琢,琢 * ,浊,浊 * )为函数 F(u,b,孜, 孜 * )引入非负拉格朗日乘子后的待优化目标函数. 式(10)对 u,b,孜,孜 *求偏导为零得: 鄣R(u,b,孜,孜 * ,琢,琢 * ,浊,浊 * ) 鄣u = u - 移 n-k j = 1 (琢 * j - 琢j)渍(X (j) ) = 0 (11) 鄣R(u,b,孜,孜 * ,琢,琢 * ,浊,浊 * ) 鄣b = 移 n-k j = 1 (琢 * j - 琢j) = 0 (12) 鄣R(u,b,孜,孜 * ,琢,琢 * ,浊,浊 * ) 鄣孜j = ·1404·

侯公羽等：无数学模型的非线性约束单目标系统优化方法改进 ·1405. C-a,-7=0,je[1,n-k] (13) aR(u,b,5,°，a,a°，m,n2= w(r)=f0)= 芝(g-gK,Q)+6 (22) C-a°-m=0,je[1,n-k] (14) 当非线性约束单目标系统所求目标函数为最大 将式(11)~(14)带入式(10)中，可得到优化问 值时： 题的对偶问题： fitness(r)= minY(a,a)= mapminmax('reverse',w(r),outputps)(23) 当非线性约束单目标系统所求目标函数为最小 (a-a)(a-&)K(X0,X)+ 值时： 三ym(a-) fitness(r）= (15) l/mapminmax(‘reverse',w(r）,outputps) 约束条件： (24) (g-4)=0 把每组初始化的变量因素值作为对应粒子的个 (16) j=1 体极值p0=(p”,p”,…,p)'=(g”,9, 0≤a≤C,j∈[1，n-k] (17) …,9)(r∈{1,2，…，N}).把其中适应度函数 0≤a≤C,je[1,n-k] (18) 值最大的第g组变量因素值作为群体极值P)= 其中，Y(a,a)为函数R(u,b,5,°，a,a,7,n) (p,P,…,p4)T=（qP,9,…,q) 的对偶形式，K(X,X))是将X和X映射到高 根据式(25)和(26)来更新。”和g(r∈11,2， 维空间后的内积 …,N},i∈{1,2，…，m}) 选取合适的核函数，采用遗传算法选择ε，C以 。0=wn0+c1r1(p-gP)+c2(p-g0) 及核函数参数，基于训练样本点，求得最优解： (25) a=(a1,a,…,an-k,at)T (19) 900=90+0 (26) 偏置项b通过卡罗需-库恩-塔克条件(Karush- 其中，ω为惯性权重，c1、92为学习因子，1、2为[0， 1]内的均匀随机数. Kuhn-Tucker conditions,KKT)求解如下： 更新完成后，检查更新后的Q)和V是否满 b=y0-三(a-a)KXo,K)±e(20） 足约束条件，不满足条件的重新初始化.计算更新 后的粒子适应度值，更新个体极值和群体极值. 为降低计算误差，b取平均数五.由此可构造出 引入调节机制，选择规模为N的下一代群体： 能够预测非线性约束单目标系统的支持向量机回归 首先，从更新完成后的N个粒子中选择适应度值较 模型： 大的前N/2个粒子的Q和V(re{1,2,…,N/ f(X)= (e-)Kx0,x)+b(2) 2})保留，其次，对于适应度值较小的另外N/2个粒 i=1 子的Q和V(r∈{N/2+1,N/2+2,…,N})重 运用测试样本检测该模型预测系统的效果 新初始化，并计算适应度值.设置新初始化粒子个 (2)IPS0算法寻优. 体极值以及再更新群体极值，将保留下来的粒子和 非线性约束单目标系统包含m个变量，则粒子 新初始化的粒子组成下一代群体 空间维数设定为m维，空间中每个粒子的位置由这 循环迭代过程，至迭代次数结束.对于求目标 m个变量值组成.种群规模设为N,进行各粒子位 函数最大值的系统，最后一代的群体极值fitness(g) 置的初始化Q=(q,g,…,q)(r∈{1,2， 即为寻优目标函数值：而对于求目标函数最小值的， …,N}),即在满足系统约束条件下，初始化N组非 则最后一代的群体极值fitness(g)的倒数即为寻优 线性约束单目标系统变量值组合.同时要初始化每 的目标函数值 个粒子各方向的速度，即各变量后期变化值的初始 2.2核函数 化Vm=(0,,…,)T(r∈{1,2，…， 常用的核函数有： N}),并将速度控制在一定范围之内.运用得到的 (1)多项式函数. 该系统支持向量机回归模型计算各粒子的适应度值 K(z,h)=(zh+1) (27) fitness(r)(r∈{1,2，…，N}): 其中，d为多项式的阶数，z和h均为需映射到高维

侯公羽等: 无数学模型的非线性约束单目标系统优化方法改进 C - 琢j - 浊j = 0,j沂[1,n - k] (13) 鄣R(u,b,孜,孜 * ,琢,琢 * ,浊,浊 * ) 鄣孜 * j = C - 琢 * j - 浊 * j = 0,j沂[1,n - k] (14) 将式(11) ~ (14)带入式(10)中,可得到优化问 题的对偶问题: minY(琢,琢 * ) = 1 2 移 n-k i,j = 1 (琢 * i - 琢i)(琢 * j - 琢j)K(X (i) ,X (j) ) + 着 移 n-k i = 1 (琢 * i + 琢i) - 移 n-k i = 1 y (i) (琢 * i - 琢i) (15) 约束条件: 移 n-k j = 1 (琢 * j - 琢j) = 0 (16) 0臆琢 * j 臆C,j沂[1,n - k] (17) 0臆琢j臆C,j沂[1,n - k] (18) 其中,Y(琢,琢 * )为函数 R(u,b,孜,孜 * ,琢,琢 * ,浊,浊 * ) 的对偶形式,K(X (i) , X (j) )是将 X (i)和 X (j)映射到高 维空间后的内积. 选取合适的核函数,采用遗传算法选择 着,C 以 及核函数参数,基于训练样本点,求得最优解: 琢 = (琢1 ,琢 * 1 ,…,琢n - k,琢 * n - k) T (19) 偏置项 b 通过卡罗需鄄鄄库恩鄄鄄塔克条件(Karush鄄鄄 Kuhn鄄鄄Tucker conditions,KKT)求解如下: b = y (j) - 移 n-k i = 1 (琢 * i - 琢i)K(X (i) ,X (j) ) 依 着 (20) 为降低计算误差,b 取平均数 b. 由此可构造出 能够预测非线性约束单目标系统的支持向量机回归 模型: f(X) = 移 n-k j = 1 (琢 * j - 琢j)K(X (j) ,X) + b (21) 运用测试样本检测该模型预测系统的效果. (2)IPSO 算法寻优. 非线性约束单目标系统包含 m 个变量,则粒子 空间维数设定为 m 维,空间中每个粒子的位置由这 m 个变量值组成. 种群规模设为 N,进行各粒子位 置的初始化 Q (r) = (q (r) 1 , q (r) 2 , …, q (r) m ) T (r沂{1, 2, …, N}),即在满足系统约束条件下,初始化 N 组非 线性约束单目标系统变量值组合. 同时要初始化每 个粒子各方向的速度,即各变量后期变化值的初始 化 V (r) = ( v (r) 1 , v (r) 2 , …, v (r) m ) T ( r 沂 { 1, 2, …, N}),并将速度控制在一定范围之内. 运用得到的 该系统支持向量机回归模型计算各粒子的适应度值 fitness(r) (r沂{1, 2, …, N}): w(r) = f(Q (r) ) = 移 n-k j = 1 (琢 * j - 琢j)K(X (j) ,Q (r) ) + b (22) 当非线性约束单目标系统所求目标函数为最大 值时: fitness(r) = mapminmax(‘reverse爷, w(r), outputps) (23) 当非线性约束单目标系统所求目标函数为最小 值时: fitness(r) = 1 / mapminmax (‘reverse爷, w(r), outputps) (24) 把每组初始化的变量因素值作为对应粒子的个 体极值 P (r) = ( p (r) 1 , p (r) 2 , …, p (r) m ) T = ( q (r) 1 , q (r) 2 , …, q (r) m ) T (r沂{1, 2, …, N}). 把其中适应度函数 值最大的第 g 组变量因素值作为群体极值 P (g) = (p (g) 1 , p (g) 2 , …, p (g) m ) T = ( q (g) 1 , q (g) 2 , …, q (g) m ) T . 根据式(25) 和(26) 来更新 v (r) i 和 q (r) i ( r沂{1, 2, …, N}, i沂{1, 2, …, m}). v (r) i = 棕v (r) i + c1 r1 (p (r) i - q (r) i ) + c2 r2 (p (g) i - q (r) i ) (25) q (r) i = q (r) i + v (r) i (26) 其中,棕 为惯性权重,c1 、c2 为学习因子,r1 、r2 为[0, 1]内的均匀随机数. 更新完成后,检查更新后的 Q (r) 和 V (r) 是否满 足约束条件,不满足条件的重新初始化. 计算更新 后的粒子适应度值,更新个体极值和群体极值. 引入调节机制,选择规模为 N 的下一代群体: 首先,从更新完成后的 N 个粒子中选择适应度值较 大的前 N/ 2 个粒子的 Q (r)和 V (r) (r沂{1, 2, …, N/ 2})保留,其次,对于适应度值较小的另外 N/ 2 个粒 子的 Q (r)和 V (r) (r沂{N/ 2 + 1, N/ 2 + 2, …, N})重 新初始化,并计算适应度值. 设置新初始化粒子个 体极值以及再更新群体极值,将保留下来的粒子和 新初始化的粒子组成下一代群体. 循环迭代过程,至迭代次数结束. 对于求目标 函数最大值的系统,最后一代的群体极值 fitness(g) 即为寻优目标函数值;而对于求目标函数最小值的, 则最后一代的群体极值 fitness( g)的倒数即为寻优 的目标函数值. 2郾 2 核函数 常用的核函数有: (1)多项式函数. K(z,h) = (z·h + 1) d (27) 其中,d 为多项式的阶数,z 和 h 均为需映射到高维 ·1405·

·1406· 工程科学学报，第40卷，第11期 空间的向量 用径向基函数，参数E、C以及径向基函数中的参数 (2)径向基函数 σ运用遗传算法进行优化选取，遗传算法中群体规 K(z,h)=exp(-Ih-z‖2/2σ2) (28) 模50，迭代次数100，采用实数编码，交叉概率为 其中，σ为核函数的宽度 0.4,变异概率为0.221，通过多次实验确定三个优 (3)感知器 化参数为：C取9.94，o取0.1，e取0.0001. K(z,h)=tanh(Bzh+b) (29) 运用200组样本训练SVM预测模型，从而获得 其中，B为权值，b为偏置 预测该实例非线性约束单目标系统的SVM模型. 2.3精度评价指标 运用8组测试样本检测预测效果，测试结果如表1 SVM对系统整体预测效果的系统总误差选取 所示，此时对应的SVM预测系统总误差为：0.0024. 的指标为均方根误差(RMSE),检测样本的测试效 表1实例一中SVM测试结果 果和最终寻优目标函数值的评价指标均采用相对误 Table 1 Test results of SVM for the first example 差(Er).具体计算公式如下： 样本编号 期望值 预测值 相对误差 Err=Is(n)-5(n)1/Is(n)I (30) 样本1 -26350.30 -26347.42 0.0001 样本2 -28554.25 -28572.50 0.0006 RMSE (s(n)-s(n))2 (31) 样本3 -25935.34 -25918.58 0.0006 其中，s(n)和s(n)分别是期望值和测试值，N为系 样本4 -24810.69 -24839.48 0.0012 统训练样本总数 样本5 -27995.19 -28015.22 0.0007 样本6 -29642.06 -29621.63 0.0007 3算例与结果分析 样本7 -30181.13 -30173.60 0.0002 3.1实例一 样本8 -28670.38 -28668.03 0.0001 该实例的非线性约束单目标系统选取于文献 [20],预测的该系统数学模型如下： PS0参数设置：粒子种群规模为50，迭代次数 mimf(X)=5.3578547x号+0.8356891x1x5+ 为100，学习因子c1、c2取值均为2，惯性权重为1，粒 37.293239x,-40792.141 子的各方向速度控制在[-11].最终的寻优迭代 约束条件： 过程如图1所示. 0≤c1(X)≤92 -3.050 90≤c2(X)≤110 3.055 20≤c3(X)≤25 -3.060 c1(X)=85.334407+0.005686x2x5+ 0.00026x1x4-0.002205x3x5 点-3.065 c2(X)=80.51249+0.007132x2x5+ -3.070 0.002996x1x2+0.002181x -3.075 c3(X)=9.300961+0.004703x3x5+ -3.080 0.001255x1x3+0.001909x3x4 -3.085 x1∈[78,102]，x2∈[33,45]，x3∈[27,45] x4∈[27,45]，x5∈[27,45] 3.0906102030405060708090100 进化次数 3.1.1基于SVM-IPS0的寻优过程 图1实例一中PS0寻优过程 实际应用时，样本点一般是通过实验获取.本 Fig.1 Optimization process of IPSO for the first example 文是预测有准确数学模型的系统，利用基于数学模 型的方法得出的结果来验证此类基于系统样本点的 经过迭代，获取的最优粒子的适应度值的倒数 方法所求结果.所以实例中的样本点通过已有的数 为-30883.09，对应的最优变量因素值为(x1,x2, 学模型来获取.该实例获取非线性约束单目标系统 x3,x4,x5)=（78,33,27.17,45,44.63).因此，运 200组训练样本和8组测试样本 用SVM-PSO方法求解该实例中的非线性约束单目 采用不敏感参数支持向量机ε-SVM,核函数选 标系统的最优目标函数f(X)的值为-30883.09

工程科学学报,第 40 卷,第 11 期 空间的向量. (2)径向基函数. K(z,h) = exp( - 椰h - z椰2 / 2滓 2 ) (28) 其中,滓 为核函数的宽度. (3)感知器. K(z,h) = tanh(茁z·h + b) (29) 其中,茁 为权值,b 为偏置. 2郾 3 精度评价指标 SVM 对系统整体预测效果的系统总误差选取 的指标为均方根误差(RMSE),检测样本的测试效 果和最终寻优目标函数值的评价指标均采用相对误 差(Err). 具体计算公式如下: Err = |s(n) - s(n) | / |s(n) | (30) RMSE = 1 N1 移 N1 n = 1 (s(n) - s(n)) 2 (31) 其中,s(n)和 s(n)分别是期望值和测试值,N1为系 统训练样本总数. 3 算例与结果分析 3郾 1 实例一 该实例的非线性约束单目标系统选取于文献 [20],预测的该系统数学模型如下: minf(X) = 5郾 3578547x 2 3 + 0郾 8356891x1 x5 + 37郾 293239x1 - 40792郾 141 约束条件: 0臆c1 (X)臆92 90臆c2 (X)臆110 20臆c3 (X)臆25 c1 (X) = 85郾 334407 + 0郾 005686x2 x5 + 0郾 00026x1 x4 - 0郾 002205x3 x5 c2 (X) = 80郾 51249 + 0郾 007132x2 x5 + 0郾 002996x1 x2 + 0郾 002181x 2 3 c3 (X) = 9郾 300961 + 0郾 004703x3 x5 + 0郾 001255x1 x3 + 0郾 001909x3 x4 x1沂[78,102],x2沂[33,45],x3沂[27,45] x4沂[27,45],x5沂[27,45] 3郾 1郾 1 基于 SVM鄄鄄IPSO 的寻优过程 实际应用时,样本点一般是通过实验获取. 本 文是预测有准确数学模型的系统,利用基于数学模 型的方法得出的结果来验证此类基于系统样本点的 方法所求结果. 所以实例中的样本点通过已有的数 学模型来获取. 该实例获取非线性约束单目标系统 200 组训练样本和 8 组测试样本. 采用不敏感参数支持向量机 着鄄鄄 SVM,核函数选 用径向基函数,参数 着、C 以及径向基函数中的参数 滓 运用遗传算法进行优化选取,遗传算法中群体规 模 50,迭代次数 100,采用实数编码,交叉概率为 0郾 4,变异概率为 0郾 2 [21] ,通过多次实验确定三个优 化参数为:C 取 9郾 94,滓 取 0郾 1,着 取 0郾 0001. 运用 200 组样本训练 SVM 预测模型,从而获得 预测该实例非线性约束单目标系统的 SVM 模型. 运用 8 组测试样本检测预测效果,测试结果如表 1 所示,此时对应的 SVM 预测系统总误差为:0郾 0024. 表 1 实例一中 SVM 测试结果 Table 1 Test results of SVM for the first example 样本编号 期望值 预测值 相对误差 样本 1 - 26350郾 30 - 26347郾 42 0郾 0001 样本 2 - 28554郾 25 - 28572郾 50 0郾 0006 样本 3 - 25935郾 34 - 25918郾 58 0郾 0006 样本 4 - 24810郾 69 - 24839郾 48 0郾 0012 样本 5 - 27995郾 19 - 28015郾 22 0郾 0007 样本 6 - 29642郾 06 - 29621郾 63 0郾 0007 样本 7 - 30181郾 13 - 30173郾 60 0郾 0002 样本 8 - 28670郾 38 - 28668郾 03 0郾 0001 IPSO 参数设置:粒子种群规模为 50,迭代次数 为 100,学习因子 c1 、c2取值均为 2,惯性权重为 1,粒 子的各方向速度控制在[ - 1 1]. 最终的寻优迭代 过程如图 1 所示. 图 1 实例一中 IPSO 寻优过程 Fig. 1 Optimization process of IPSO for the first example 经过迭代,获取的最优粒子的适应度值的倒数 为 - 30883郾 09,对应的最优变量因素值为( x1 , x2 , x3 , x4 , x5 ) = (78, 33, 27郾 17, 45,44郾 63). 因此,运 用 SVM鄄鄄IPSO 方法求解该实例中的非线性约束单目 标系统的最优目标函数 f(X)的值为 - 30883郾 09. ·1406·

侯公羽等：无数学模型的非线性约束单目标系统优化方法改进 ·1407· 3.1.2基于BP-PS0的寻优过程 寻优，该方法求解得出的目标函数值为-31016.9. BP神经网络参数设置：因该实例含有5个变量 以此为标准，则在无准确数学模型的情况下，运用 因素X=(x1,名，x,x4,x),目标函数为fX),所 SVM-PS0方法寻优的目标函数值相对误差为 以输入层节点数为5，输出层节点数为1，通过多组 0.0043,而BP-PS0方法寻优的目标函数值相对误 仿真实验比较不同隐含层节点的神经网络的预测系 差为O.0191.又知SVM-PS0方法的预测系统总误 统总误差来选取隐含层节点数，最终选取的隐含层 差(0.0024)比BP-PS0方法的预测系统总误差 节点数为5.网络训练迭代次数设置为1000次，学 (0.0475)小，所以SVM-PS0方法对该实例中非线 习速率为0.1，目标误差为0.01.运用200组样本 性约束单目标系统的寻优效果优于BP-PSO方法. 对神经网络模型进行训练，并运用8组测试样本检 3.1.4样本量减少下的仿真实验对比分析 测预测系统效果.检测结果如表2所示，此时对应 在原200组训练样本的情况下，依次随机减少 的预测系统总误差为0.0475. 5组，直到样本减少为原样本量的一半为止，从而可 为了对比的科学性，PS0算法中参数值的设置 以获得21个不同量的训练样本的集合.基于不同 同该实例的PS0算法相关参数设置，迭代过程如图 量的训练样本，分别运用两种方法对本实例系统进 2所示，得到的最优粒子的适应度值的倒数为 -30423.02,最优变量因素组合值为(x1,x2,x3, 行寻优.SVM-IPSO方法和BP-PSO方法的参数值 x4,x5)=(78,33,28.76,45,40.62).因此，运用 设置同前.通过仿真实验，在不同量的训练样本条 件下，最终获得的预测系统总误差和对应的寻优目 BP-PSO方法求得该非线性约束单目标系统的最优 标函数值相对误差如表3所示 目标函数f(X)的值为-30423.02. 表3实例一中不同样本量下两种方法的实验结果 表2实例一中B即测试结果 Table 3 Experimental results of the two methods under different sample Table 2 Test results of BP for the first example sizes for the first example 样本编号 期望值 预测值 相对误差 SVM-PS0方法 BP-PSO方法 样本1 -26350.30 -26315.38 0.0013 样本量系统总误差寻优目标函数 系统总误差寻优目标函数值 样本2 -28554.25 -28725.58 0.0060 (MSE) 值相对误差 (MSE) 相对误差 样本3 -25935.34 -25818.29 0.0045 200 0.0024 0.0043 0.0475 0.0191 样本4 -24810.69 -24811.47 0.0001 195 0.0025 0.0045 0.0461 0.0141 样本5 -27995.19 -28253.34 0.0092 190 0.0026 0.0046 0.0526 0.0266 样本6 -29642.06 -29549.64 0.0031 185 0.0027 0.0048 0.0968 0.0362 样本7 -30181.13 -29998.94 0.0060 180 0.0027 0.0044 0.0459 0.0086 样本8 -28670.38 -28637.18 0.0012 175 0.003 0.0048 0.0757 0.0376 -3.005 170 0.0031 0.0045 0.0847 0.0238 -3.010 165 0.0034 0.0050 0.0648 0.0392 -3.015 160 0.0036 0.0054 0.0718 0.0263 155 0.0036 0.0050 0.0434 0.0274 -3.020 150 0.0039 0.0049 0.0821 0.0106 -3.025 145 0.0041 0.0055 0.0652 0.0097 -3.030 140 0.0041 0.0053 0.0826 0.0305 -3.035 135 0.0042 0.0050 0.0571 0.0137 -3.040 130 0.0042 0.0049 0.0704 0.0220 -3.0456102030405060708090100 125 0.0044 0.0055 0.049 0.0059 进化次数 120 0.0045 0.0044 0.0715 0.0232 图2实例一中P0寻优过程 115 0.0045 0.0048 0.0464 0.0199 Fig.2 Optimization process of PSO for the first example 110 0.0049 0.0045 0.0442 0.0168 3.1.3两种方法的结果比较分析 105 0.0051 0.0045 0.0897 0.0222 文献[20]采用的是基于数学模型的方法进行 100 0.0057 0.0071 0.0698 0.0143

侯公羽等: 无数学模型的非线性约束单目标系统优化方法改进 3郾 1郾 2 基于 BP鄄鄄PSO 的寻优过程 BP 神经网络参数设置:因该实例含有 5 个变量 因素 X = (x1 , x2 , x3 , x4 , x5 ),目标函数为 f(X),所 以输入层节点数为 5,输出层节点数为 1,通过多组 仿真实验比较不同隐含层节点的神经网络的预测系 统总误差来选取隐含层节点数,最终选取的隐含层 节点数为 5. 网络训练迭代次数设置为 1000 次,学 习速率为 0郾 1,目标误差为 0郾 01. 运用 200 组样本 对神经网络模型进行训练,并运用 8 组测试样本检 测预测系统效果. 检测结果如表 2 所示,此时对应 的预测系统总误差为 0郾 0475. 为了对比的科学性,PSO 算法中参数值的设置 同该实例的 IPSO 算法相关参数设置,迭代过程如图 2 所示, 得 到 的 最 优 粒 子 的 适 应 度 值 的 倒 数 为 - 30423郾 02,最优变量因素组合值为( x1 , x2 , x3 , x4 , x5 ) = (78, 33, 28郾 76, 45,40郾 62). 因此,运用 BP鄄鄄PSO 方法求得该非线性约束单目标系统的最优 目标函数 f(X)的值为 - 30423郾 02. 表 2 实例一中 BP 测试结果 Table 2 Test results of BP for the first example 样本编号 期望值 预测值 相对误差 样本 1 - 26350郾 30 - 26315郾 38 0郾 0013 样本 2 - 28554郾 25 - 28725郾 58 0郾 0060 样本 3 - 25935郾 34 - 25818郾 29 0郾 0045 样本 4 - 24810郾 69 - 24811郾 47 0郾 0001 样本 5 - 27995郾 19 - 28253郾 34 0郾 0092 样本 6 - 29642郾 06 - 29549郾 64 0郾 0031 样本 7 - 30181郾 13 - 29998郾 94 0郾 0060 样本 8 - 28670郾 38 - 28637郾 18 0郾 0012 图 2 实例一中 PSO 寻优过程 Fig. 2 Optimization process of PSO for the first example 3郾 1郾 3 两种方法的结果比较分析 文献[20]采用的是基于数学模型的方法进行 寻优,该方法求解得出的目标函数值为 - 31016郾 9. 以此为标准,则在无准确数学模型的情况下,运用 SVM鄄鄄IPSO 方法寻优的目标 函 数 值 相 对 误 差 为 0郾 0043,而 BP鄄鄄PSO 方法寻优的目标函数值相对误 差为 0郾 0191. 又知 SVM鄄鄄IPSO 方法的预测系统总误 差(0郾 0024) 比 BP鄄鄄 PSO 方法的预测系统总误差 (0郾 0475)小,所以 SVM鄄鄄IPSO 方法对该实例中非线 性约束单目标系统的寻优效果优于 BP鄄鄄PSO 方法. 3郾 1郾 4 样本量减少下的仿真实验对比分析 在原 200 组训练样本的情况下,依次随机减少 5 组,直到样本减少为原样本量的一半为止,从而可 以获得 21 个不同量的训练样本的集合. 基于不同 量的训练样本,分别运用两种方法对本实例系统进 行寻优. SVM鄄鄄IPSO 方法和 BP鄄鄄 PSO 方法的参数值 设置同前. 通过仿真实验,在不同量的训练样本条 件下,最终获得的预测系统总误差和对应的寻优目 标函数值相对误差如表 3 所示. 表 3 实例一中不同样本量下两种方法的实验结果 Table 3 Experimental results of the two methods under different sample sizes for the first example 样本量 SVM鄄鄄IPSO 方法 BP鄄鄄PSO 方法 系统总误差 (MSE) 寻优目标函数 值相对误差 系统总误差 (MSE) 寻优目标函数值 相对误差 200 0郾 0024 0郾 0043 0郾 0475 0郾 0191 195 0郾 0025 0郾 0045 0郾 0461 0郾 0141 190 0郾 0026 0郾 0046 0郾 0526 0郾 0266 185 0郾 0027 0郾 0048 0郾 0968 0郾 0362 180 0郾 0027 0郾 0044 0郾 0459 0郾 0086 175 0郾 003 0郾 0048 0郾 0757 0郾 0376 170 0郾 0031 0郾 0045 0郾 0847 0郾 0238 165 0郾 0034 0郾 0050 0郾 0648 0郾 0392 160 0郾 0036 0郾 0054 0郾 0718 0郾 0263 155 0郾 0036 0郾 0050 0郾 0434 0郾 0274 150 0郾 0039 0郾 0049 0郾 0821 0郾 0106 145 0郾 0041 0郾 0055 0郾 0652 0郾 0097 140 0郾 0041 0郾 0053 0郾 0826 0郾 0305 135 0郾 0042 0郾 0050 0郾 0571 0郾 0137 130 0郾 0042 0郾 0049 0郾 0704 0郾 0220 125 0郾 0044 0郾 0055 0郾 049 0郾 0059 120 0郾 0045 0郾 0044 0郾 0715 0郾 0232 115 0郾 0045 0郾 0048 0郾 0464 0郾 0199 110 0郾 0049 0郾 0045 0郾 0442 0郾 0168 105 0郾 0051 0郾 0045 0郾 0897 0郾 0222 100 0郾 0057 0郾 0071 0郾 0698 0郾 0143 ·1407·

.1408 工程科学学报，第40卷，第11期 将以上数据绘制成图3中(a)和(b),当样本 函数值的相对误差曲线均在0.005左右小型波 量从200逐渐减少至100的过程中，由图3中(a) 动，而BP-PS0方法的相对误差曲线几乎全部位于 可得，基于SVM对系统预测所得出的系统总误差 0.01之上，其中，最大的相对误差接近0.04， 均低于0.01，而BP神经网络所预测的系统总误差 SVM-PS0方法的寻优目标函数值的相对误差曲 均位于0.04之上，且前者的预测系统总误差变化 线变化幅度明显小于BP-PSO方法的曲线变化幅 幅度明显较小，表明了在样本量相对较少的情况 度，说明了在样本量较少的情况下，相比BP-PS0 下，SVM对系统的预测效果比后者好，且更稳定. 方法，SVM-PS0方法依然可以比较准确且稳定的 再由图3中(b)可得，SVM-PSO方法的寻优目标 实现对系统寻优 0.10 0.040 (a 0.09 -SVM-IPS 0.035 0.08 0.030 0.07 0.06 0.025 0.05 0.020 0.04 0.015 0.03 0.02 0.01 0.005 卡。率名★水果用博一洛米名条米多常客米一水 100 120140160 180 200 100120 140160180200 样本量 样本量 图3实例一中不同样本量下的实验结果.()样本量与预测系统总误差的变化曲线：(b)样本量与寻优目标函数值相对误差的变化曲线 Fig.3 Experimental results for the first example under different sample sizes:(a)variation of the sample size and the total error of predicting system; (b)variation of the sample size and the relative error of optimal objective function value 3.2实例二 表4实例二中SVM测试结果 该实例预测的非线性约束单目标系统数学模型 Table 4 Test results of SVM for the second example 如下： 样本编号 期望值 预测值 相对误差 样本1 -6.9712 -6.9705 0.0001 mimX)=2号+号-xx2-2x1-6x2 样本2 -7.8678 -7.8688 0.0001 约束条件： 样本3 -4.7806 -4.7811 0.0001 样本4 -3.3354 -3.3379 0.0007 x1+x2≤2， 样本5 -7.6448 -7.6465 0.0002 x1-2x2≥-2， 样本6 -1.5975 -1.5959 0.0010 2x1+x2≤3， 样本7 -5.8410 -5.8424 0.0002 x1≥0，x2≥0. 样本8 -2.4613 -2.4585 0.0011 3.2.1两种组合方法的寻优过程及比较 (1)SVM-IPS0方法的寻优过程 基于训练好的SVM模型，运用PS0进行寻优， 获取该实例中非线性约束单目标系统100组训 PS0参数设置：粒子种群规模为50，迭代次数为 练样本和8组测试样本.同样采用不敏感参数支持 100,学习因子c1、c2取值均为2，惯性权重为1，粒子 向量机ε-SVM,核函数选用径向基函数，参数ε、C 的各方向速度控制在[-11]，寻优迭代过程如图4 以及径向基函数中的参数σ采用遗传算法进行优 所示.经过迭代，得到的最优粒子的适应度值的倒 化选取，遗传算法参数取值同第一个实例设置，最终 数为-8.2021，对应的最优变量因素组合值为(x1, 确定的三个优化参数为：C取18.88,0取0.65，e取 x2)=(0.6794,1.3206).因此，运用SVM-IPS0方 0.0001 法求解该实例系统的最优目标函数f(X)的值为 运用100组样本进行训练，获得预测该实例系 -8.2021. 统的SVM模型.运用8组测试样本检测预测效果， (2)BP-PSO方法的寻优过程. 测试结果如表4所示，此时对应的SVM预测系统总 BP神经网络参数设置：输入层节点数为2，输 误差为：0.0003 出层节点数为1，通过多组仿真实验方法最终选取

工程科学学报,第 40 卷,第 11 期 将以上数据绘制成图 3 中( a) 和( b) ,当样本 量从 200 逐渐减少至 100 的过程中,由图 3 中( a) 可得,基于 SVM 对系统预测所得出的系统总误差 均低于 0郾 01,而 BP 神经网络所预测的系统总误差 均位于 0郾 04 之上,且前者的预测系统总误差变化 幅度明显较小,表明了在样本量相对较少的情况 下,SVM 对系统的预测效果比后者好,且更稳定. 再由图 3 中( b)可得,SVM鄄鄄IPSO 方法的寻优目标 函数值的相对误差曲线均在 0郾 005 左右小型波 动,而 BP鄄鄄PSO 方法的相对误差曲线几乎全部位于 0郾 01 之 上, 其 中, 最 大 的 相 对 误 差 接 近 0郾 04, SVM鄄鄄IPSO 方法的寻优目标函数值的相对误差曲 线变化幅度明显小于 BP鄄鄄 PSO 方法的曲线变化幅 度,说明了在样本量较少的情况下,相比 BP鄄鄄 PSO 方法,SVM鄄鄄IPSO 方法依然可以比较准确且稳定的 实现对系统寻优. 图 3 实例一中不同样本量下的实验结果. (a) 样本量与预测系统总误差的变化曲线; (b) 样本量与寻优目标函数值相对误差的变化曲线 Fig. 3 Experimental results for the first example under different sample sizes: (a) variation of the sample size and the total error of predicting system; (b) variation of the sample size and the relative error of optimal objective function value 3郾 2 实例二 该实例预测的非线性约束单目标系统数学模型 如下: minf(X) = 1 2 x 2 1 + x 2 2 - x1 x2 - 2x1 - 6x2 约束条件: x1 + x2臆2, x1 - 2x2逸 - 2, 2x1 + x2臆3, x1逸0,x2逸0. 3郾 2郾 1 两种组合方法的寻优过程及比较 (1)SVM鄄鄄IPSO 方法的寻优过程. 获取该实例中非线性约束单目标系统 100 组训 练样本和 8 组测试样本. 同样采用不敏感参数支持 向量机 着 鄄鄄 SVM,核函数选用径向基函数,参数 着、C 以及径向基函数中的参数 滓 采用遗传算法进行优 化选取,遗传算法参数取值同第一个实例设置,最终 确定的三个优化参数为:C 取 18郾 88,滓 取 0郾 65,着 取 0郾 0001. 运用 100 组样本进行训练,获得预测该实例系 统的 SVM 模型. 运用 8 组测试样本检测预测效果, 测试结果如表 4 所示,此时对应的 SVM 预测系统总 误差为:0郾 0003. 表 4 实例二中 SVM 测试结果 Table 4 Test results of SVM for the second example 样本编号 期望值 预测值 相对误差 样本 1 - 6郾 9712 - 6郾 9705 0郾 0001 样本 2 - 7郾 8678 - 7郾 8688 0郾 0001 样本 3 - 4郾 7806 - 4郾 7811 0郾 0001 样本 4 - 3郾 3354 - 3郾 3379 0郾 0007 样本 5 - 7郾 6448 - 7郾 6465 0郾 0002 样本 6 - 1郾 5975 - 1郾 5959 0郾 0010 样本 7 - 5郾 8410 - 5郾 8424 0郾 0002 样本 8 - 2郾 4613 - 2郾 4585 0郾 0011 基于训练好的 SVM 模型,运用 IPSO 进行寻优, IPSO 参数设置:粒子种群规模为 50,迭代次数为 100,学习因子 c1 、c2取值均为 2,惯性权重为 1,粒子 的各方向速度控制在[ - 1 1],寻优迭代过程如图 4 所示. 经过迭代,得到的最优粒子的适应度值的倒 数为 - 8郾 2021,对应的最优变量因素组合值为( x1 , x2 ) = (0郾 6794, 1郾 3206). 因此,运用 SVM鄄鄄 IPSO 方 法求解该实例系统的最优目标函数 f(X) 的值为 - 8郾 2021. (2)BP鄄鄄PSO 方法的寻优过程. BP 神经网络参数设置:输入层节点数为 2,输 出层节点数为 1,通过多组仿真实验方法最终选取 ·1408·

侯公羽等：无数学模型的非线性约束单目标系统优化方法改进 ·1409· -7.80 BP-PSO方法寻优的目标函数值相对误差为 7.85 0.0095.又SVM-PS0方法的预测系统总误差 -7.90 (0.0003)比BP-PS0方法的预测系统总误差 7.95 (0.0342)小，因此，SVM-PS0方法对该实例的非线 -8.00 性约束单目标系统的优化能力同样优于BP-PSO -8.05 方法. -8.10 -7.6 -8.15 -7.7 -8.20 -8.25102030405060708090100 -7.8 进化次数 图4实例二中PS0寻优过程 -7.9 Fig.4 Optimization process of IPSO for the second example -8.0 的隐含层节点数为18.网络训练迭代次数设置为 1000次，学习速率为0.1，目标误差为0.01.运用 -8.1 100组样本对神经网络模型进行训练，8组测试样本 102030405060708090100 的检测结果如表5所示，此时对应的预测系统总误 进化次数 差为0.0342 图5实例二中PS0寻优过程 表5实例二中BP测试结果 Fig.5 Optimization process of PSO for the second example Table 5 Test results of BP for the second example 3.2.2该实例样本量减少下的仿真实验对比分析 样本编号 期望值 预测值 相对误差 将原100组训练样本同样依次减少5组样本， 样本1 -6.9712 -7.1883 0.0311 直到减少为原样本量的一半为止，获得11个不同量 样本2 -7.8678 -7.7899 0.0099 的训练样本的集合.分别运用两种方法对本实例系 样本3 -4.7806 -4.5927 0.0393 统进行寻优.SVM-IPSO方法和BP-PSO方法的参 样本4 -3.3354 -3.2438 0.0275 数值同该实例之前的设置.获得在不同量的训练样 样本5 -7.6448 -7.5611 0.0109 本条件下的预测系统总误差和对应的寻优目标函数 样本6 -1.5975 -1.4827 0.0719 值相对误差如表6所示. 样本7 -5.8410 -5.7240 0.0204 表6实例二中不同样本量下两种方法的实验结果 样本8 -2.4613 -2.4578 0.0014 Table 6 Experimental results of the two methods under different sample sizes for the second example 同样为了对比的科学性，PS0算法中参数值的 SVM-IPS0方法 BP-PSO方法 设置同该实例的PS0算法相关参数设置，寻优迭代 过程如图5所示，最终得到的最优粒子的适应度值 样本量 系统总 寻优目标 系统总 寻优目标 误差 函数值 误差 函数值 的倒数为-8.1442，对应的最优变量因素值组合为 (MSE) 相对误差 (MSE) 相对误差 (x1,x2)=(0.7884,1.2088).所以运用BP-PS0 100 0.0003 0.0024 0.0342 0.0095 方法求解该实例系统得到的最优目标函数(X)的 95 0.0003 0.0025 0.0279 0.0055 0.0004 0.0032 0.0294 0.0037 值为-8.1442 90 85 0.0004 0.0020 0.0275 0.0094 (3)两种方法的寻优结果比较分析 80 0.0004 0.0030 0.065 0.0298 运用非线性规划中的二次规划法求解该实例中 75 0.0003 0.0022 0.0637 0.0267 系统最优值问题的准确值.求解所得结果为：(x, 70 0.0004 0.0026 0.0701 0.0113 x2)=(0.6667,1.3330),对应的目标函数值为 65 0.0004 0.0037 0.0363 0.0168 f(X)=-8.2222. 60 0.0005 0.0030 0.0514 0.0396 因此，在无准确数学模型时，运用SVM-PS0方 55 0.0008 0.0034 0.0785 0.0479 50 0.0009 0.0033 0.0633 0.0320 法所求的目标函数值相对误差为0.0024，而运用

侯公羽等: 无数学模型的非线性约束单目标系统优化方法改进 图 4 实例二中 IPSO 寻优过程 Fig. 4 Optimization process of IPSO for the second example 的隐含层节点数为 18. 网络训练迭代次数设置为 1000 次,学习速率为 0郾 1,目标误差为 0郾 01. 运用 100 组样本对神经网络模型进行训练,8 组测试样本 的检测结果如表 5 所示,此时对应的预测系统总误 差为 0郾 0342. 表 5 实例二中 BP 测试结果 Table 5 Test results of BP for the second example 样本编号 期望值 预测值 相对误差 样本 1 - 6郾 9712 - 7郾 1883 0郾 0311 样本 2 - 7郾 8678 - 7郾 7899 0郾 0099 样本 3 - 4郾 7806 - 4郾 5927 0郾 0393 样本 4 - 3郾 3354 - 3郾 2438 0郾 0275 样本 5 - 7郾 6448 - 7郾 5611 0郾 0109 样本 6 - 1郾 5975 - 1郾 4827 0郾 0719 样本 7 - 5郾 8410 - 5郾 7240 0郾 0204 样本 8 - 2郾 4613 - 2郾 4578 0郾 0014 同样为了对比的科学性,PSO 算法中参数值的 设置同该实例的 IPSO 算法相关参数设置,寻优迭代 过程如图 5 所示,最终得到的最优粒子的适应度值 的倒数为 - 8郾 1442,对应的最优变量因素值组合为 (x1 , x2 ) = (0郾 7884, 1郾 2088). 所以运用 BP鄄鄄 PSO 方法求解该实例系统得到的最优目标函数 f(X)的 值为 - 8郾 1442. (3)两种方法的寻优结果比较分析. 运用非线性规划中的二次规划法求解该实例中 系统最优值问题的准确值. 求解所得结果为:( x1 , x2 ) = ( 0郾 6667, 1郾 3330 ), 对 应 的 目 标 函 数 值 为 f(X) = - 8郾 2222. 因此,在无准确数学模型时,运用 SVM鄄鄄IPSO 方 法所求的目标函数值相对误差为 0郾 0024,而运用 BP鄄鄄 PSO 方 法 寻 优 的 目 标 函 数 值 相 对 误 差 为 0郾 0095. 又 SVM鄄鄄 IPSO 方 法 的 预 测 系 统 总 误 差 (0郾 0003) 比 BP鄄鄄 PSO 方 法 的 预 测 系 统 总 误 差 (0郾 0342)小,因此,SVM鄄鄄IPSO 方法对该实例的非线 性约束单目标系统的优化能力同样优于 BP鄄鄄 PSO 方法. 图 5 实例二中 PSO 寻优过程 Fig. 5 Optimization process of PSO for the second example 3郾 2郾 2 该实例样本量减少下的仿真实验对比分析 将原 100 组训练样本同样依次减少 5 组样本, 直到减少为原样本量的一半为止,获得 11 个不同量 的训练样本的集合. 分别运用两种方法对本实例系 统进行寻优. SVM鄄鄄IPSO 方法和 BP鄄鄄 PSO 方法的参 数值同该实例之前的设置. 获得在不同量的训练样 本条件下的预测系统总误差和对应的寻优目标函数 值相对误差如表 6 所示. 表 6 实例二中不同样本量下两种方法的实验结果 Table 6 Experimental results of the two methods under different sample sizes for the second example 样本量 SVM鄄鄄IPSO 方法 BP鄄鄄PSO 方法 系统总 误差 (MSE) 寻优目标 函数值 相对误差 系统总 误差 (MSE) 寻优目标 函数值 相对误差 100 0郾 0003 0郾 0024 0郾 0342 0郾 0095 95 0郾 0003 0郾 0025 0郾 0279 0郾 0055 90 0郾 0004 0郾 0032 0郾 0294 0郾 0037 85 0郾 0004 0郾 0020 0郾 0275 0郾 0094 80 0郾 0004 0郾 0030 0郾 065 0郾 0298 75 0郾 0003 0郾 0022 0郾 0637 0郾 0267 70 0郾 0004 0郾 0026 0郾 0701 0郾 0113 65 0郾 0004 0郾 0037 0郾 0363 0郾 0168 60 0郾 0005 0郾 0030 0郾 0514 0郾 0396 55 0郾 0008 0郾 0034 0郾 0785 0郾 0479 50 0郾 0009 0郾 0033 0郾 0633 0郾 0320 ·1409·

·1410 工程科学学报，第40卷，第11期 将以上数据绘制成图6中(a)和(b)所示，样本 知，SVM-PS0方法的寻优目标函数值的相对误差 量从100组依次减少至50组的过程中，由图6中 曲线均位于BP-PSO方法的相对误差曲线下方，且 (a)知，SVM预测系统总误差始终低于BP神经网络 前者的寻优目标函数值的相对误差的最大值与最小 预测系统总误差，且前者的预测系统总误差最大值 值的差值为0.0017，而后者的差值为0.0442，因此， 与最小值的差值为0.0006，而后者的差值为0.051， 相比BP-PS0方法，SVM-PSO方法同样可以在样 同样验证了在样本量相对较少的情况下，SVM对系 本量较少的情况下，更准确且稳定的实现对该系统 统的预测效果比后者好，且更稳定.再根据图6(b) 的寻优 0.08 (a) SVM 0.0500又 -SVM-IPSO 0.07 BP 0.045 BP-PSO 0.06 0.040 路0.035 0.05 0.030 0.04 0.025 是0.020 匹0.015 0.02 0.010 0.01 0.005 60 90 100 60708090100 样本量 样本量 图6实例二中不同样本量下的实验结果.(a)样本量与预测系统总误差的变化曲线：(b)样本量与寻优目标函数值相对误差的变化曲线 Fig.6 Experimental results for the second example under different sample sizes:(a)variation of the sample size and the total error of predicting sys- tem;(b)variation of the sample size and relative error of optimal objective function value J Harbin Inst Technol,2015,47(11):27 4结论 (杨剑哲，孙巧榆，王君，等.基于改进增广拉格朗日乘子法 的鲁棒性主成分分析.哈尔滨工业大学学报，2015,47(11)： (1)将寻优精度和获取样本的代价作为考虑的 27) 对象，提出了运用SVM-IPS0方法来解决实际中难 [4] MeDougall T J,Wotherspoon S J.A simple modification of 以准确建立数学模型的非线性约束单目标系统优化 Newton's method to achieve convergence of order I +v2.Appl 问题，并基于系统样本点，构建了SVM-PS0优化 Math Lett.2014,29:20 模型。 [5]Shen C G,Zhang L H,Liu W.A stabilized filter SQP algorithm (2)通过两个算例，首先，在样本数量相同的条 for nonlinear programming.Global Optimication,2016,65(4): 677 件下，验证了SVM-IPS0方法比BP-PSO方法具有 [6]Ruan M Z.Li Q M,Wang HJ,et al.Application of artificial im- 更高的非线性约束单目标系统优化能力.其次，研 mune particle-swarm-optimization algorithm to system-reliability 究了在样本数量减少的情况下，两种方法的寻优效 optimization.Control Theory Appl,2010.27(9):1253 果变化情况.实验得出了在样本数量相对较少的情 (阮旻智，李庆民，王红军，等.人工免疫粒子群算法在系统 可靠性优化中的应用.控制理论与应用，2010,27(9)：1253) 况下，相比BP-PSO0方法，SVM-PS0方法仍能得到 [7] Cheng Y,Cheng W M.Zheng Y,et al.Structural reliability opti- 更准确且稳定的寻优结果 mal design based on chaos particle swarm optimization.Central (3)在实际应用中，成本一般会作为重要的考 South Univ Sci Technol,2011,42(3):671 虑因素，因此，可以应用SVM-PSO方法以适当较少 (程跃，程文明，郑严，等.基于混沌粒子群算法的结构可靠 性优化设计.中南大学学报（自然科学版），2011,42(3)： 的样本实现对此类系统的寻优 671) 参考文献 [8]Beheshti Z,Shamsuddin S M,Yuhaniz SS.Binary accelerated par- ticle swarm algorithm (BAPSA)for discrete optimization prob- [1]Courant R.Variational methods for the solution of problems of lems.J Global Optimization,2013,57(2):549 equilibrium and vibrations.Bull Am Math Soc,1943,49(1943):1 [9]Chang H W,Ma H,Zhang J Q,et al.Optimization of metamate- [2]Powell M JD.A method for nonlinear constraints in minimization rial based weighted real-coded genetic algorithm.Acta Phys Sin, problems.Optimization,1969,5(6):283 2014,63(8):087804-1 [3]Yang JZ,Sun Q Y,Wang J,et al.Robust principal component (常红伟，马华，张介秋，等.基于加权实数编码遗传算法的 analysis based on advanced augmented lagrange multiplier method 超材料优化设计.物理学报，2014,63(8)：087804-1)

工程科学学报,第 40 卷,第 11 期 将以上数据绘制成图 6 中(a)和(b)所示,样本 量从 100 组依次减少至 50 组的过程中,由图 6 中 (a)知,SVM 预测系统总误差始终低于 BP 神经网络 预测系统总误差,且前者的预测系统总误差最大值 与最小值的差值为 0郾 0006,而后者的差值为 0郾 051, 同样验证了在样本量相对较少的情况下,SVM 对系 统的预测效果比后者好,且更稳定. 再根据图 6(b) 知,SVM鄄鄄IPSO 方法的寻优目标函数值的相对误差 曲线均位于 BP鄄鄄 PSO 方法的相对误差曲线下方,且 前者的寻优目标函数值的相对误差的最大值与最小 值的差值为 0郾 0017,而后者的差值为 0郾 0442,因此, 相比 BP鄄鄄PSO 方法,SVM鄄鄄 IPSO 方法同样可以在样 本量较少的情况下,更准确且稳定的实现对该系统 的寻优. 图 6 实例二中不同样本量下的实验结果. (a) 样本量与预测系统总误差的变化曲线; (b) 样本量与寻优目标函数值相对误差的变化曲线 Fig. 6 Experimental results for the second example under different sample sizes: (a) variation of the sample size and the total error of predicting sys鄄 tem; (b) variation of the sample size and relative error of optimal objective function value 4 结论 (1)将寻优精度和获取样本的代价作为考虑的 对象,提出了运用 SVM鄄鄄IPSO 方法来解决实际中难 以准确建立数学模型的非线性约束单目标系统优化 问题,并基于系统样本点,构建了 SVM鄄鄄 IPSO 优化 模型. (2)通过两个算例,首先,在样本数量相同的条 件下,验证了 SVM鄄鄄 IPSO 方法比 BP鄄鄄 PSO 方法具有 更高的非线性约束单目标系统优化能力. 其次,研 究了在样本数量减少的情况下,两种方法的寻优效 果变化情况. 实验得出了在样本数量相对较少的情 况下,相比 BP鄄鄄PSO 方法,SVM鄄鄄IPSO 方法仍能得到 更准确且稳定的寻优结果. (3)在实际应用中,成本一般会作为重要的考 虑因素,因此,可以应用 SVM鄄鄄IPSO 方法以适当较少 的样本实现对此类系统的寻优. 参 考 文 献 [1] Courant R. Variational methods for the solution of problems of equilibrium and vibrations. Bull Am Math Soc, 1943, 49(1943):1 [2] Powell M J D. A method for nonlinear constraints in minimization problems. Optimization, 1969, 5(6):283 [3] Yang J Z, Sun Q Y, Wang J, et al. Robust principal component analysis based on advanced augmented lagrange multiplier method. J Harbin Inst Technol, 2015, 47(11): 27 (杨剑哲, 孙巧榆, 王君, 等. 基于改进增广拉格朗日乘子法 的鲁棒性主成分分析. 哈尔滨工业大学学报, 2015, 47(11): 27) [4] McDougall T J, Wotherspoon S J. A simple modification of Newton蒺s method to achieve convergence of order 1 + 2. Appl Math Lett, 2014, 29: 20 [5] Shen C G, Zhang L H, Liu W. A stabilized filter SQP algorithm for nonlinear programming. J Global Optimization, 2016, 65(4): 677 [6] Ruan M Z, Li Q M, Wang H J, et al. Application of artificial im鄄 mune particle鄄swarm鄄optimization algorithm to system鄄reliability optimization. Control Theory Appl, 2010, 27(9): 1253 (阮旻智, 李庆民, 王红军, 等. 人工免疫粒子群算法在系统 可靠性优化中的应用. 控制理论与应用, 2010, 27(9): 1253) [7] Cheng Y, Cheng W M, Zheng Y, et al. Structural reliability opti鄄 mal design based on chaos particle swarm optimization. J Central South Univ Sci Technol, 2011, 42(3): 671 (程跃, 程文明, 郑严, 等. 基于混沌粒子群算法的结构可靠 性优化设计. 中南大学学报( 自然科学版), 2011, 42 (3 ): 671) [8] Beheshti Z,Shamsuddin S M,Yuhaniz S S. Binary accelerated par鄄 ticle swarm algorithm ( BAPSA) for discrete optimization prob鄄 lems. J Global Optimization, 2013, 57(2): 549 [9] Chang H W, Ma H, Zhang J Q, et al. Optimization of metamate鄄 rial based weighted real鄄coded genetic algorithm. Acta Phys Sin, 2014, 63(8): 087804鄄1 (常红伟, 马华, 张介秋, 等. 基于加权实数编码遗传算法的 超材料优化设计. 物理学报, 2014, 63(8): 087804鄄1) ·1410·

侯公羽等：无数学模型的非线性约束单目标系统优化方法改进 ·1411· [10]Xu M X,Zhang X S,Yu T.Transfer bees optimizer and its ap- 法辨识针刺炭/炭复合材料弹性常数的方法.固体火箭技术， plication on reactive power optimization.Acta Autom Sinica, 2016,39(1):106) 2017,43(1):83 [16]Zhang HG,Zhang S,Yin Y X.Multi-class fault diagnosis of BF (徐茂鑫，张孝顺，余涛.迁移蜂群优化算法及其在无功优 based on global optimization IS-SVM.Chin J Eng,2017,39 化中的应用.自动化学报，2017.43(1)：83) (1):39 [11]Qiang P.The Research of Perfect Matching of Tunneling Parame- (张海刚，张森，尹怡欣.基于全局优化支持向量机的多类 ter for Super Large Diameter Earth Pressure Balance Machine 别高炉故障诊断.工程科学学报，2017,39(1)：39) Dissertation ]Shanghai:Shanghai University,2014 [17]Wu J L,Yang S X,Liu C S.Parameter selection for support vec- (羌培.超大直径土压平衡盾构最佳施工参数匹配研究[学 tor machines based on genetic algorithms to short-term power load 位论文].上海：上海大学，2014) forecasting.J Central South Univ Sci Technol,2009,40(1): [12]Liu LL,Zhang Q H.Li C Y,et al.Optimization research on 180 rough rolling process of H-beam based on ANN and GA.Forging (吴景龙，杨淑霞，刘承水.基于遗传算法优化参数的支持 Stamping Technol,2011,36(1):153 向量机短期负荷预测方法.中南大学学报（自然科学版）， (刘兰兰，张勤河，李传宇，等.基于神经网络和遗传算法的 2009,40(1):180) H型钢粗轧工艺优化.锻压技术，2011,36(1)：153) [18]Eberhart R,Kennedy J.A new optimizer using particle swarm [13]Ni L B,Liu J C,Wu Y T,et al.Optimization of laser cladding theory /Proceedings of the Sixth International Symposium on Mi- process variables based on neural network and particle swarm op- cro Machine and Human Science.Nagoya,1995:39 timization algorithms.Chin Lasers,2011,38(2):0203003-1 [19]Kathiravan R,Ganguli R.Strength design of composite beam u- (倪立斌，刘继常，伍耀庭，等.基于神经网络和粒子群算法 sing gradient and particle swarm optimization.Compos Struct, 的激光熔覆工艺优化.中国激光，2011,38(2)：0203003-1) 2007,81(4):471 [14]Wang Q P.The Density Control of the MIM Injection Molded Billet [20]Zhang C K,Li X F,Shao HH.Chaos optimization algorithm Based on the Particle Swarm Optimization and Neural Networks based on linear search and its application to nonlinear constraint [Dissertation].Changsha:Central South University,2014 optimization problems.Control Decision,2001,16(1):123 (王秋平.基于粒子群算法和神经网络的MM坯体密度分布 (张春慨，李霄蜂，邵惠鹤.基于线性搜索的混沌优化及其 控制[学位论文].长沙：中南大学，2014) 在非线性约束优化问题中的应用.控制与决策，2001,16 [15]Yan B Y,Sheng Z F,Li G,et al.Inverse method based on neu- (1):123) ral network and particle swarm optimization for characterizing the [21]Wang X C,Shi F,Yu L,et al.43 Cases Analysis of MATLAB C/C material elastic constants.J Solid Rocket Technol,2016,39 Neural Netcork.Beijing:Beihang University Press,2013 (1):106 (王小川，史峰，郁磊，等.MATLAB神经网络43个案例分 (严博燕，生志斐，李耿，等.一种基于神经网络与粒子群算 析.北京：北京航空航天大学出版社，2013)

侯公羽等: 无数学模型的非线性约束单目标系统优化方法改进 [10] Xu M X, Zhang X S, Yu T. Transfer bees optimizer and its ap鄄 plication on reactive power optimization. Acta Autom Sinica, 2017, 43(1): 83 (徐茂鑫, 张孝顺, 余涛. 迁移蜂群优化算法及其在无功优 化中的应用. 自动化学报, 2017, 43(1): 83) [11] Qiang P. The Research of Perfect Matching of Tunneling Parame鄄 ter for Super Large Diameter Earth Pressure Balance Machine [Dissertation]. Shanghai: Shanghai University, 2014 (羌培. 超大直径土压平衡盾构最佳施工参数匹配研究[学 位论文]. 上海: 上海大学, 2014) [12] Liu L L, Zhang Q H, Li C Y, et al. Optimization research on rough rolling process of H鄄beam based on ANN and GA. Forging Stamping Technol, 2011, 36(1): 153 (刘兰兰, 张勤河, 李传宇, 等. 基于神经网络和遗传算法的 H 型钢粗轧工艺优化. 锻压技术, 2011, 36(1): 153) [13] Ni L B, Liu J C, Wu Y T, et al. Optimization of laser cladding process variables based on neural network and particle swarm op鄄 timization algorithms. Chin J Lasers, 2011, 38(2): 0203003鄄1 (倪立斌, 刘继常, 伍耀庭, 等. 基于神经网络和粒子群算法 的激光熔覆工艺优化. 中国激光, 2011, 38(2): 0203003鄄1) [14] Wang Q P. The Density Control of the MIM Injection Molded Billet Based on the Particle Swarm Optimization and Neural Networks [Dissertation]. Changsha: Central South University, 2014 (王秋平. 基于粒子群算法和神经网络的 MIM 坯体密度分布 控制[学位论文]. 长沙: 中南大学, 2014) [15] Yan B Y, Sheng Z F, Li G, et al. Inverse method based on neu鄄 ral network and particle swarm optimization for characterizing the C/ C material elastic constants. J Solid Rocket Technol, 2016, 39 (1): 106 (严博燕, 生志斐, 李耿, 等. 一种基于神经网络与粒子群算 法辨识针刺炭/ 炭复合材料弹性常数的方法. 固体火箭技术, 2016, 39(1): 106) [16] Zhang H G, Zhang S, Yin Y X. Multi鄄class fault diagnosis of BF based on global optimization LS鄄SVM. Chin J Eng, 2017, 39 (1): 39 (张海刚, 张森, 尹怡欣. 基于全局优化支持向量机的多类 别高炉故障诊断. 工程科学学报, 2017, 39(1): 39) [17] Wu J L, Yang S X, Liu C S. Parameter selection for support vec鄄 tor machines based on genetic algorithms to short鄄term power load forecasting. J Central South Univ Sci Technol, 2009, 40 (1 ): 180 (吴景龙, 杨淑霞, 刘承水. 基于遗传算法优化参数的支持 向量机短期负荷预测方法. 中南大学学报(自然科学版), 2009, 40(1): 180) [18] Eberhart R, Kennedy J. A new optimizer using particle swarm theory / / Proceedings of the Sixth International Symposium on Mi鄄 cro Machine and Human Science. Nagoya, 1995: 39 [19] Kathiravan R, Ganguli R. Strength design of composite beam u鄄 sing gradient and particle swarm optimization. Compos Struct, 2007, 81(4): 471 [20] Zhang C K, Li X F, Shao H H. Chaos optimization algorithm based on linear search and its application to nonlinear constraint optimization problems. Control Decision, 2001, 16(1): 123 (张春慨, 李霄峰, 邵惠鹤. 基于线性搜索的混沌优化及其 在非线性约束优化问题中的应用. 控制与决策, 2001, 16 (1): 123) [21] Wang X C, Shi F, Yu L, et al. 43 Cases Analysis of MATLAB Neural Network. Beijing: Beihang University Press, 2013 (王小川, 史峰, 郁磊, 等. MATLAB 神经网络 43 个案例分 析. 北京: 北京航空航天大学出版社, 2013) ·1411·