第13卷第1期 智能系统学报 Vol.13 No.I 2018年2月 CAAI Transactions on Intelligent Systems Feb.2018 D0:10.11992/tis.201707011 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20180130.1109.002.html 群智能算法优化支持向量机参数综述 李素，袁志高'，王聪，陈天恩2，郭兆春 (1.北京工商大学食品安全大数据技术北京市重点实验室，北京100048：2.国家农业信息化工程技术研究中心，北 京100097) 摘要：支持向量机建立在统计学习的理论基础之上，具有理论的完备性，但是在应用上仍然存在模型参数难以选择 的问题。首先，介绍了支持向量机和群智能算法的基本概念：然后，系统地叙述了各种经典的群智能算法进行支持向 量机参数优化取得的最新研究成果以及总结了优化过程中存在的问题和解决方案：最后，结合该领域当前研究现状 提出了群智能算法优化支持向量机参数研究中需要关注的问题，展望了这一研究方向在未来的发展趋势和前景。 关键词：支持向量机：统计学习；群智能：参数优化：全局寻优：并行搜索：收敛速度：寻优精度 中图分类号：TP181文献标志码：A 文章编号：1673-4785(2018)01-0070-15 中文引用格式：李素，袁志高，王聪等.群智能算法优化支持向量机参数综述.智能系统学报，2018,13(1)：70-84. 英文引用格式：LISu,YUAN Zhigao,WANG Cong,etal.Optimization of support vector machine parameters based on group in- telligence algorithm[J].CAAl transactions on intelligent systems,2018,13(1):70-84. Optimization of support vector machine parameters based on group intelligence algorithm LI Su',YUAN Zhigao',WANG Cong2,CHEN Tianen',GUO Zhaochun' (1.Beijing Key Laboratory of Big Data Technology for Food Safety,Beijing Technology and Business University,Beijing 100048. China;2.National Engineering Research Center for Information Technology in Agriculture,Beijing 100097,China) Abstract:The support vector machine is based on statistical learning theory,which is complete,but problems remain in the application of model parameters,which are difficult to choose.In this paper,we first introduce the basic concepts of the support vector machine and the group intelligence algorithm.Then,to optimize the latest research results and sum- marize existing problems and solutions,we systematically describe various classical group intelligence algorithms that the support vector machine parameters identified.Finally,drawing on the current research situation for this field,we identify the problems that must be addressed in the optimization of support vector machine parameters in the group in- telligence algorithm and outline the prospects for future development trends and research directions. Keywords:support vector machine;statistical study;group intelligence algorithm;optimization of parameters,global optimization;parallel search;convergence speed;optimization accuracy 在20世纪70年代，由Vapnik等提出的统计 面具有较强的并行处理能力，寻优速度快，同时具 学习理论是研究有限样本情况下机器学习规律的理 有全局寻优等特点。使用群智能算法是当前支持向 论，而支持向量机的发展则是基于该理论的。随着 量机参数优化方法的研究前沿。 支持向量机发展得越来越成熟，其不完善的地方仍 1支持向量机理论 需要进一步研究。参数的优化选择一直以来是支持 向量机的一个研究热点。群智能算法在参数优化方 基于数据的机器学习是现代智能技术的一个重 收稿日期：2017-07-06.网络出版日期：2018-01-30. 要方面，机器学习本质上就是一种问题真实模型的 基金项目：国家自然科学基金项目(31101088,91546112)：北京市 教育委员会科技计划面上项目(KM201310011010). 逼近，研究从观测数据（样本）出发寻找用来对未知 通信作者：陈天恩.E-mail:chente@nercita.org.cn. 数据进行预测的规律
DOI: 10.11992/tis.201707011 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20180130.1109.002.html 群智能算法优化支持向量机参数综述 李素1 ，袁志高1 ，王聪2 ，陈天恩2 ，郭兆春1 （1. 北京工商大学 食品安全大数据技术北京市重点实验室，北京 100048; 2. 国家农业信息化工程技术研究中心，北 京 100097） 摘 要：支持向量机建立在统计学习的理论基础之上，具有理论的完备性，但是在应用上仍然存在模型参数难以选择 的问题。首先，介绍了支持向量机和群智能算法的基本概念；然后，系统地叙述了各种经典的群智能算法进行支持向 量机参数优化取得的最新研究成果以及总结了优化过程中存在的问题和解决方案；最后，结合该领域当前研究现状， 提出了群智能算法优化支持向量机参数研究中需要关注的问题，展望了这一研究方向在未来的发展趋势和前景。 关键词：支持向量机；统计学习；群智能；参数优化；全局寻优；并行搜索；收敛速度；寻优精度 中图分类号：TP181 文献标志码：A 文章编号：1673−4785(2018)01−0070−15 中文引用格式：李素, 袁志高, 王聪, 等. 群智能算法优化支持向量机参数综述[J]. 智能系统学报, 2018, 13(1): 70–84. 英文引用格式：LI Su, YUAN Zhigao, WANG Cong, et al. Optimization of support vector machine parameters based on group intelligence algorithm[J]. CAAI transactions on intelligent systems, 2018, 13(1): 70–84. Optimization of support vector machine parameters based on group intelligence algorithm LI Su1 ，YUAN Zhigao1 ，WANG Cong2 ，CHEN Tianen2 ，GUO Zhaochun1 (1. Beijing Key Laboratory of Big Data Technology for Food Safety, Beijing Technology and Business University, Beijing 100048, China; 2. National Engineering Research Center for Information Technology in Agriculture, Beijing 100097, China) Abstract: The support vector machine is based on statistical learning theory, which is complete, but problems remain in the application of model parameters, which are difficult to choose. In this paper, we first introduce the basic concepts of the support vector machine and the group intelligence algorithm. Then, to optimize the latest research results and summarize existing problems and solutions, we systematically describe various classical group intelligence algorithms that the support vector machine parameters identified. Finally, drawing on the current research situation for this field, we identify the problems that must be addressed in the optimization of support vector machine parameters in the group intelligence algorithm and outline the prospects for future development trends and research directions. Keywords: support vector machine; statistical study; group intelligence algorithm; optimization of parameters; global optimization; parallel search; convergence speed; optimization accuracy 在 20 世纪 70 年代，由 Vapnik 等 [1]提出的统计 学习理论是研究有限样本情况下机器学习规律的理 论，而支持向量机的发展则是基于该理论的。随着 支持向量机发展得越来越成熟，其不完善的地方仍 需要进一步研究。参数的优化选择一直以来是支持 向量机的一个研究热点。群智能算法在参数优化方 面具有较强的并行处理能力，寻优速度快，同时具 有全局寻优等特点。使用群智能算法是当前支持向 量机参数优化方法的研究前沿。 1 支持向量机理论 基于数据的机器学习是现代智能技术的一个重 要方面，机器学习本质上就是一种问题真实模型的 逼近，研究从观测数据 (样本) 出发寻找用来对未知 数据进行预测的规律。 收稿日期：2017−07−06. 网络出版日期：2018−01−30. 基金项目：国家自然科学基金项目 (31101088，91546112)；北京市 教育委员会科技计划面上项目 (KM201310011010). 通信作者：陈天恩. E-mail：chente@nercita.org.cn. 第 13 卷第 1 期 智 能 系 统 学 报 Vol.13 No.1 2018 年 2 月 CAAI Transactions on Intelligent Systems Feb. 2018
第1期 李素，等：群智能算法优化支持向量机参数综述 。71 支持向量机(support vector machine,SVM)是 k(x1,x2)=(《x1,x2〉+R) (2) 20世纪90年代中期发展起来的一种机器学习方法。 高斯核函数： 该方法是基于统计学习理论，通过寻求结构化风险 k()=exp (3) 最小来提高学习机泛化能力，完成经验风险和置信 2w2 范围的最小化，从而达到在统计样本数量较少的情 线性核函数： 况下，也能获得优良统计规律的目的。因为其学习 k(x1,x2)=(x1,x2) (4) 性能突出，所以该领域成了大量学者的焦点。该技 根据问题和数据的不同，选择不同的参数，实际上 术目前也成为机器学习界的研究热点，并在很多领 就得到了不同的核函数，同时核函数的参数选取不 域都得到了成功的应用，如人脸识别、手写数字识 同，会直接影响支持向量机的预测精度和分类性能。 别、文本自动分类以及机器翻译等。 2群智能算法 SVM的基本思想是使用核函数把输入样本空 间映射到高维特征空间，在高维空间中求得一个最 随着人类对生物启发式计算的研究，一些社会 优分类面，得到输入与输出变量间的非线性关系， 性动物的自组织行为引起了科学家的广泛关注。这 如图1所示。 些社会性动物在进化过程中形成了一个共同的特 点：个体的行为都很简单，但当它们一起工作时，却 能够表现出非常复杂的行为特征。 群智能算法的基本思想是模仿自然界当中生物 的种群行为来构造随机优化算法。该算法主要是将 优化和搜索过程模拟成种群中个体的觅食或进化过 程，用搜索空间中的点模仿自然界当中的种群个 输入空间 特征空间 体，将求解问题的目标函数度量成种群中个体对环 图1寻找到的最优分类面 境的适应能力：将种群中个体的优胜劣汰过程或觅 Fig.1 Finding the optimal classification surface 食过程类比为搜索过程中用较优的可行解取代较差 假设给定一个特征空间上的训练数据集 的可行解的寻优迭代过程。因此，群智能算法是一 T={(x1y1),(x2y2),…,(xw,yw)l,其中，x:∈R为第i个 种具有生成+检验”特征的迭代搜索优化算法。 特征向量，也称为实例；y:∈(1，-1，i=1,2,…N,为 群智能算法包括遗传算法、蚁群算法、粒子群 x的类标记，当y:=1时，称x为正例，当y:=-1时，称 算法、人工鱼群算法、人工蜂群算法、萤火虫算法以 x:为负例。(x,y)称为样本点。算法的关键是建立 及蝙蝠算法等，作为一类新型进化算法，以其分布 一个分类超平面作为决策面，使得正例和反例的隔 性、自组织性、强的鲁棒性等优点，已经成功地应用 离边缘最大化。其中分类超平面就是求函数： 于函数优化等领域。群智能算法从一出现便引起了 p(w)=三Ilw 研究者的广泛关注，其理论研究在不断深人的同 (1) s.t.ya(w…x+b)≥1，i=1,2,,N 时，其应用领域也在随之不断扩展，例如交通流模 式中：w是超平面的法向量，b是超平面的常数项， 型验证问题、分布式高效定位问题以及配电系统 x为训练样本，为样本的类别。 中的电容器分配问题，充分说明了群智能算法所 实际中，学者们会经常遇到线性不可分的样 蕴藏的巨大潜力。同时，群智能算法在SVM参数 例，此时常用的做法是把样例特征映射到高维空间 优化方面也得到了广泛的应用，进一步提高了SVM 去。如果凡是遇到线性不可分的样例，一律映射到 的分类预测精度以及泛化能力。 高维空间，那么这个维度大小就会特别高，处理起 3群智能算法优化支持向量机参数 来就会特别困难。此时核函数在处理该问题上面发 挥重要作用，它的价值在于：虽然也是将特征从低 参数优化是SVM研究中的一个重要问题，参 维到高维转换，但不同的是该方法事先会在低维上 数选择的不同会直接影响SVM模型的分类预测精 进行计算，然后将实质上的分类效果表现在了高维 度和泛化能力。常用的传统SVM参数优化方法有 上，这样就避免了直接在高维空间中的复杂计算。 实验法、网格法、梯度下降法等。但是这些算法 在实际应用中，往往依赖先验领域理论知识才 已经难以满足人们需求，存在各种各样的问题。 能选择有效的核函数。广泛使用的核函数主要有： 实验法主要原理是通过不断尝试不同的参数， 多项式核函数： 最后选出一个最适合问题的参数。实验选择方法缺
支持向量机 (support vector machine, SVM) 是 20 世纪 90 年代中期发展起来的一种机器学习方法。 该方法是基于统计学习理论，通过寻求结构化风险 最小来提高学习机泛化能力，完成经验风险和置信 范围的最小化，从而达到在统计样本数量较少的情 况下，也能获得优良统计规律的目的。因为其学习 性能突出，所以该领域成了大量学者的焦点。该技 术目前也成为机器学习界的研究热点，并在很多领 域都得到了成功的应用，如人脸识别、手写数字识 别、文本自动分类以及机器翻译等。 SVM 的基本思想是使用核函数把输入样本空 间映射到高维特征空间，在高维空间中求得一个最 优分类面，得到输入与输出变量间的非线性关系， 如图 1 所示。 T = {(x1, y1),(x2, y2),···,(xN, yN)} xi ∈ R n yi ∈ {1,−1} i = 1,2,···,N xi yi = 1 xi yi = −1 xi (xi , yi) 假设给定一个特征空间上的训练数据集 ，其中， 为第 i 个 特征向量，也称为实例； ， ，为 的类标记，当 时，称 为正例，当 时，称 为负例。 称为样本点。算法的关键是建立 一个分类超平面作为决策面，使得正例和反例的隔 离边缘最大化。其中分类超平面就是求函数： φ(w) = 1 2 ∥w∥ 2 s.t. yi(w· xi +b) ⩾ 1,i = 1,2,· · ·,N (1) 式中：w 是超平面的法向量，b 是超平面的常数项， xi 为训练样本，yi 为样本的类别。 实际中，学者们会经常遇到线性不可分的样 例，此时常用的做法是把样例特征映射到高维空间 去。如果凡是遇到线性不可分的样例，一律映射到 高维空间，那么这个维度大小就会特别高，处理起 来就会特别困难。此时核函数在处理该问题上面发 挥重要作用，它的价值在于：虽然也是将特征从低 维到高维转换，但不同的是该方法事先会在低维上 进行计算，然后将实质上的分类效果表现在了高维 上，这样就避免了直接在高维空间中的复杂计算。 在实际应用中，往往依赖先验领域理论知识才 能选择有效的核函数。广泛使用的核函数主要有： 多项式核函数： k(x1 , x2) = (⟨x1 , x2⟩+R) d (2) 高斯核函数： k(x1 , x2) = exp{ − ∥x1 − x2∥ 2 2σ2 } (3) 线性核函数： k(x1, x2) = ⟨x1, x2⟩ (4) 根据问题和数据的不同，选择不同的参数，实际上 就得到了不同的核函数，同时核函数的参数选取不 同，会直接影响支持向量机的预测精度和分类性能。 2 群智能算法 随着人类对生物启发式计算的研究，一些社会 性动物的自组织行为引起了科学家的广泛关注。这 些社会性动物在进化过程中形成了一个共同的特 点：个体的行为都很简单，但当它们一起工作时，却 能够表现出非常复杂的行为特征。 群智能算法的基本思想是模仿自然界当中生物 的种群行为来构造随机优化算法。该算法主要是将 优化和搜索过程模拟成种群中个体的觅食或进化过 程，用搜索空间中的点模仿自然界当中的种群个 体，将求解问题的目标函数度量成种群中个体对环 境的适应能力；将种群中个体的优胜劣汰过程或觅 食过程类比为搜索过程中用较优的可行解取代较差 的可行解的寻优迭代过程。因此，群智能算法是一 种具有“生成+检验”特征的迭代搜索优化算法。 群智能算法包括遗传算法、蚁群算法、粒子群 算法、人工鱼群算法、人工蜂群算法、萤火虫算法以 及蝙蝠算法等，作为一类新型进化算法，以其分布 性、自组织性、强的鲁棒性等优点，已经成功地应用 于函数优化等领域。群智能算法从一出现便引起了 研究者的广泛关注，其理论研究在不断深入的同 时，其应用领域也在随之不断扩展，例如交通流模 型验证问题[2] 、分布式高效定位问题[3]以及配电系统 中的电容器分配问题[4] ，充分说明了群智能算法所 蕴藏的巨大潜力。同时，群智能算法在 SVM 参数 优化方面也得到了广泛的应用，进一步提高了 SVM 的分类预测精度以及泛化能力。 3 群智能算法优化支持向量机参数 参数优化是 SVM 研究中的一个重要问题，参 数选择的不同会直接影响 SVM 模型的分类预测精 度和泛化能力。常用的传统 SVM 参数优化方法有 实验法、网格法、梯度下降法[5-6]等。但是这些算法 已经难以满足人们需求，存在各种各样的问题。 实验法主要原理是通过不断尝试不同的参数， 最后选出一个最适合问题的参数。实验选择方法缺 䒿ڑ金䬠 ➥ᒭ⾦䬠 φ 图 1 寻找到的最优分类面 Fig. 1 Finding the optimal classification surface 第 1 期 李素，等：群智能算法优化支持向量机参数综述 ·71·
·72· 智能系统学报 第13卷 乏理论指导，全凭经验，导致最终获得的参数不一 等还提出了一种可以自动选择核参数并且进行 定是最优的。网格参数优化算法的基本原理是：首 SVM训练的GASJ算法，该算法将随机搜索引入 先对指定的网格范围内的每一个点进行遍历，然后 到遗传算法当中，有效地提高了遗传算法的效率， 将每一个点转换为SVM的参数进行验证，最后选 使SVM具有较高的分类性能。 择误差最小网格点作为SVM的最优参数，该方法 为了提高SVM的精度和最小化训练时间， 十分耗时。梯度下降算法对初始值的选择十分敏 K.S.Sajan等6提出了使用遗传算法来获取SVM参 感，并且有些时候实验结果误差十分大，所以这些 数的最优值，并且应用到在线电压稳定性监控。 算法已经难以满足人们需求。因此设计高效的优化 J.S.Chou等1m提出了一种利用快速杂乱遗传算法 算法成为众多科研工作者的研究目标。 对SVM的参数进行优化，并且将其用于早期预测 群智能算法在参数优化方面取得了很多重要成 公私合作项目初始阶段的争议倾向当中。Li Duan 果，所以使用群智能算法来对SVM参数进行优化 等提出了一种使用遗传算法优化SVM参数，并 是一个不错的选择。下面主要讨论不同的群智能算 且该算法应用于7种柑橘草药的区分和分类当中。 法在SVM参数优化领域中的研究成果。 遗传算法在首次被提出用于SVM参数优化方 3.1遗传算法 法的时候，存在很多的问题，使得SVM的预测与分 3.1.1遗传算法简介 类精度不高。经过国内外学者不断地改进与研究， 遗传算法(genetic algorithm,GA)是一类模仿 提出了各种各样的改进遗传算法用于SVM参数优 生物界的进化规律演化而来的随机化搜索方法，是 化，使得SVM具有较高的分类预测性能，不会在一 由美国的J.H.Holland"教授提出的。遗传算法的主 定程度上过早陷人局部最优。遗传算法的应用研究 要原理是以C.R.Darwin的生物进化论和G.Mendel 显得格外活跃，而且利用遗传算法进行优化的能力 的遗传变异理论为基础，通过模仿自然界生物进化 也显著提高。 机制达到随机全局搜索和优化的目的。 3.2蚁群算法 遗传算法的主要特，点是直接对结构对象进行操 3.2.1蚁群算法简介 作、具有更好的全局寻优能力以及能自动获取和指 蚁群算法(ant colony optimization,.ACO)又称 导优化的搜索空间，自适应地调整搜索方向，不需 蚂蚁算法，是一种用来寻找最优解决方案的概率型 要确定的规则。由于基于遗传算法的这些优点，已 技术。它由意大利学者Marco Dorigo等9：20首次提 被广泛地应用于飞机间的冲突解脱问题，、集成供 出。蚁群算法的主要原理是：种群中单个蚂蚁在觅 应链问题以及机器学习等领域。 食的过程中可以在其经过的路径上留下一种称为信 3.1.2遗传算法优化支持向量机参数 息素的物质，并且在觅食的过程中能够感知到信息 在2006年，E.Avci和C.L.Huang'首次提出 素的强度，同时它们朝着信息素强度高的方向移 了基于遗传算法的支持向量机参数优化方法。 动，因此蚂蚁种群组成的集体觅食就表现为一种对 2015年，王琼瑶等提出了一种基于改进遗传算法 信息素的正反馈现象，从而逐渐逼近最优路径，找 的SVM参数优化模型，该模型将遗传算法与SVM 到最优路径。 结合，利用遗传算法将对SVM具有重要意义的惩 蚁群算法主要特点是通过正反馈、分布式协作 罚参数、核参数和损失函数同时优化。解决了SVM 来寻找最优路径。蚁群算法就是根据这一特点，通 算法在回归预测时参数选取不当导致过学习和欠学 过模仿蚂蚁的行为，从而实现寻优。自蚁群算法提 习的问题。实验结果也表明改进的算法较大地提高 出以来，引起了国内外研究人员的极大兴趣，对该 了SVM算法整体的寻优能力。 算法进行了广泛的研究，并且该算法成功应用于机 针对基于遗传算法对SVM参数优化出现的训 器人避障问题2)、路径规划问题22以及工作车间计 练时间较长以及分类精度较低等问题，孟滔等通 划问题21等领域。 过重新定义遗传算法参数的寻优范围，提出了一种 3.2.2蚁群算法优化支持向量机参数 自适应遗传算法。算法通过网格搜索法确定最佳参 最初蚁群算法是针对离散优化问题而提出的一 数的最小寻优范围，有效地帮助常规遗传算法避免 种智能算法，但是SVM参数优化是一个连续优化 陷入局部最优解，同时保证了搜索的效率，并且改 的问题。因此，在2003年汪镭等2首次提出了一种 善了基于常规遗传算法得到的惩罚参数C过大，导 应用在连续空间寻优问题求解的蚁群算法，该算法 致分类准确率较低的问题。针对此问题，高雷阜 有效地解决了蚁群算法所存在的问题，为SVM
乏理论指导，全凭经验，导致最终获得的参数不一 定是最优的。网格参数优化算法的基本原理是：首 先对指定的网格范围内的每一个点进行遍历，然后 将每一个点转换为 SVM 的参数进行验证，最后选 择误差最小网格点作为 SVM 的最优参数，该方法 十分耗时。梯度下降算法对初始值的选择十分敏 感，并且有些时候实验结果误差十分大，所以这些 算法已经难以满足人们需求。因此设计高效的优化 算法成为众多科研工作者的研究目标。 群智能算法在参数优化方面取得了很多重要成 果，所以使用群智能算法来对 SVM 参数进行优化 是一个不错的选择。下面主要讨论不同的群智能算 法在 SVM 参数优化领域中的研究成果。 3.1 遗传算法 3.1.1 遗传算法简介 遗传算法 (genetic algorithm, GA) 是一类模仿 生物界的进化规律演化而来的随机化搜索方法，是 由美国的 J.H.Holland[7]教授提出的。遗传算法的主 要原理是以 C.R.Darwin 的生物进化论和 G.Mendel 的遗传变异理论为基础，通过模仿自然界生物进化 机制达到随机全局搜索和优化的目的。 遗传算法的主要特点是直接对结构对象进行操 作、具有更好的全局寻优能力以及能自动获取和指 导优化的搜索空间，自适应地调整搜索方向，不需 要确定的规则。由于基于遗传算法的这些优点，已 被广泛地应用于飞机间的冲突解脱问题[8] 、集成供 应链问题[9]以及机器学习[10]等领域。 3.1.2 遗传算法优化支持向量机参数 在 2006 年，E. Avci[11]和 C.L.Huang[12]首次提出 了基于遗传算法的支持向量机参数优化方法。 2015 年，王琼瑶等[13]提出了一种基于改进遗传算法 的 SVM 参数优化模型，该模型将遗传算法与 SVM 结合，利用遗传算法将对 SVM 具有重要意义的惩 罚参数、核参数和损失函数同时优化。解决了 SVM 算法在回归预测时参数选取不当导致过学习和欠学 习的问题。实验结果也表明改进的算法较大地提高 了 SVM 算法整体的寻优能力。 针对基于遗传算法对 SVM 参数优化出现的训 练时间较长以及分类精度较低等问题，孟滔等[14]通 过重新定义遗传算法参数的寻优范围，提出了一种 自适应遗传算法。算法通过网格搜索法确定最佳参 数的最小寻优范围，有效地帮助常规遗传算法避免 陷入局部最优解，同时保证了搜索的效率，并且改 善了基于常规遗传算法得到的惩罚参数 C 过大，导 致分类准确率较低的问题。针对此问题，高雷阜 等 [15]还提出了一种可以自动选择核参数并且进行 SVM 训练的 GA_SJ 算法，该算法将随机搜索引入 到遗传算法当中，有效地提高了遗传算法的效率， 使 SVM 具有较高的分类性能。 为了提高 SVM 的精度和最小化训练时间， K.S.Sajan 等 [16]提出了使用遗传算法来获取 SVM 参 数的最优值，并且应用到在线电压稳定性监控。 J.S.Chou 等 [17]提出了一种利用快速杂乱遗传算法 对 SVM 的参数进行优化，并且将其用于早期预测 公私合作项目初始阶段的争议倾向当中。Li Duan 等 [18]提出了一种使用遗传算法优化 SVM 参数，并 且该算法应用于 7 种柑橘草药的区分和分类当中。 遗传算法在首次被提出用于 SVM 参数优化方 法的时候，存在很多的问题，使得 SVM 的预测与分 类精度不高。经过国内外学者不断地改进与研究， 提出了各种各样的改进遗传算法用于 SVM 参数优 化，使得 SVM 具有较高的分类预测性能，不会在一 定程度上过早陷入局部最优。遗传算法的应用研究 显得格外活跃，而且利用遗传算法进行优化的能力 也显著提高。 3.2 蚁群算法 3.2.1 蚁群算法简介 蚁群算法 (ant colony optimization, ACO) 又称 蚂蚁算法，是一种用来寻找最优解决方案的概率型 技术。它由意大利学者 Marco Dorigo 等 [19-20]首次提 出。蚁群算法的主要原理是：种群中单个蚂蚁在觅 食的过程中可以在其经过的路径上留下一种称为信 息素的物质，并且在觅食的过程中能够感知到信息 素的强度，同时它们朝着信息素强度高的方向移 动，因此蚂蚁种群组成的集体觅食就表现为一种对 信息素的正反馈现象，从而逐渐逼近最优路径，找 到最优路径。 蚁群算法主要特点是通过正反馈、分布式协作 来寻找最优路径。蚁群算法就是根据这一特点，通 过模仿蚂蚁的行为，从而实现寻优。自蚁群算法提 出以来，引起了国内外研究人员的极大兴趣，对该 算法进行了广泛的研究，并且该算法成功应用于机 器人避障问题[21] 、路径规划问题[22]以及工作车间计 划问题[23]等领域。 3.2.2 蚁群算法优化支持向量机参数 最初蚁群算法是针对离散优化问题而提出的一 种智能算法，但是 SVM 参数优化是一个连续优化 的问题。因此，在 2003 年汪镭等[24]首次提出了一种 应用在连续空间寻优问题求解的蚁群算法，该算法 有效地解决了蚁群算法所存在的问题，为 SVM ·72· 智 能 系 统 学 报 第 13 卷
第1期 李素，等：群智能算法优化支持向量机参数综述 。73· 选择了最优的参数且提高了SVM的分类精度。针 复杂度较高，运行时间较长，这些还是一个亟待解 对SVM参数优化是一个连续优化的问题，肖国荣 决的问题。 等2也提出了一种改进蚁群优化算法，用于SVM 3.3粒子群算法 参数寻优。且实验结果表明，采用最优参数建立的 3.3.1粒子群算法简介 网络入侵检测模型，该模型对网络入侵的正确率和 粒子群算法(particle swarm optimization,PSO) 检测速度都有显著提高。 最早由Eberhart和Kennedy1.于1995年提出，它 随着研究的不断进步，蚁群算法拓展到解决连 的基本概念源于对鸟群觅食行为的研究。粒子群算 续域问题当中也遇到了各种各样的困难，由于连续 法的主要原理是：在对动物群体运动行为观察的基 空间的路径不是实实在在地存在，所以需要进行改 础上，借鉴群体中的个体对信息的共享使整个群体 进。在2015年，高雷阜等2提出了一种改进的蚁群 的运动在问题求解空间中产生，从无序到有序的演 算法用来优化SVM参数，主要从对信息素的定义 变过程，最终获得最优解。 方式及留存方式、蚁群搜索寻优方式、蚁群行进方 该算法是一种全局并行寻优算法，相比较于其 式三方面进行改进。改进的蚁群算法在其搜索操作 他优化算法，具有进化时间短、寻优精度高等优 中加入了有向搜索，同时将信息素的更新引入时变 点3)。自粒子群算法提出以来，已成功应用于求解 函数，采取和迭代次数、目标函数值相关的动态更 旅行商问题3、电容器分配问题以及机器学习 新策略。该算法虽然为SVM的核函数参数优化提 等相关领域。 供了一种可行的方法，但是算法的复杂度较大，运 3.3.2粒子群算法优化支持向量机参数 行时间较长，还有待改进。 普通的粒子群算法存在后期趋同性严重、后期 SVM是智能故障诊断中广泛使用的机器学习 收敛速度缓慢以及易陷入局部极小点等缺点。针对 方法，同时如何寻找到能够区分不同故障的有利条 普通粒子群存在的缺点，单黎黎6等提出了一种改 件和优化SVM参数后使其具有良好特征被认为是 进的粒子群算法实现SVM参数的寻优。该算法为 高度影响SVM的最终诊断精度的两个最重要问 了同时克服这些缺陷，在引入动量项的同时使得粒 题。所以Zhang Xiaoli等2n提出了一种蚁群优化算 子不仅跟随全局和局部最优解，还会跟随任意一个 法用于优化SVM参数并且应用于旋转机械的智能 粒子的个体极值以达到既缓和后期震荡又解决后期 故障诊断当中。与其他方法相比，实验结果表明本 趋同的目的。通过函数仿真实验验证了基于改进的 文提出的方法可以获得更好的效果。Han Pu等2例 粒子群算法具有寻优精度高、收敛速度快等优势。 提出了一种蚁群优化算法优化SVM的参数，并且 为了解决普通粒子群算法存在的缺点，毛耀宗等7 应用于煤灰融合温度预测当中，实验结果显示本文 也提出了一种基于粒子群算法，并且加入图形处理 器加速的SVM参数优化方法。为了快速寻找最优 中所描述的优化算法可以使SVM取得最优参数组 参数组合，该方法利用粒子群算法的收敛速度快、 合，防止陷人局部最优，最终表明此模型可以实现 简单易行等特点，并且加入图形处理器并行化处理 更好的预测性能。R.Aalizadeh等2提出了一种通 能力计算每个参数的分类准确率，进一步提升在一 过蚁群算法优化SVM参数模型并且应用于预测新 定的搜索空间内寻找最佳参数组合的计算速度。这 出现的污染物对水跳蚤毒性的影响。实验结果表 一过程避免了穷尽所有可能的情况，同时也可以得 明，该模型被成功地应用于附加的评估集，并且对 到满意的结果。实验结果表明这种方法能获得满意 于发现落入所定义的适用性域内的化合物的预测结 的预测准确率并且降低了程序的寻优时间。 果是非常准确的。HB.Alwan等o提出了一种混合 粒子群算法在SVM参数优化方面得到进一步 变量蚁群优化算法用来进行特征子集选择和调整 的研究，通过粒子群算法寻找到的最优参数使得 SVM参数，且结果表明该方法在分类精度和特征子 SVM的分类预测精度明显提高。例如，王喜宾等B涮 集选择方面较其他方法更加有效。 提出了粒子群模式搜索算法来对SVM的参数进行 综上所述，蚁群算法应用在SVM参数优化方 优化。实验结果表明，搜索到的最优参数可以达到 面取得很大进展。从最初只为了解决离散优化问题 较高的正确率；胡云艳等B提出了一种粒子群算法 被提出，到如今经过国内外学者的研究与改进，蚁 对SVM参数进行优化，此算法应用到模拟电路诊 群算法已经能很好地应用于SVM参数的连续优化 断当中，提高了模拟电路诊断的正确率。郭凤仪等0 问题当中。经过各种实验结果表明，蚁群算法在参 提出了基于粒子群算法参数优化的SVM模型，在 数优化方面具有良好的鲁棒性和较强的全局搜索能 拟合精度方面有很大的提高，并且具有较好的泛化 力。但是该算法依然存在一些问题，如算法的时间 能力
选择了最优的参数且提高了 SVM 的分类精度。针 对 SVM 参数优化是一个连续优化的问题，肖国荣 等 [25]也提出了一种改进蚁群优化算法，用于 SVM 参数寻优。且实验结果表明，采用最优参数建立的 网络入侵检测模型，该模型对网络入侵的正确率和 检测速度都有显著提高。 随着研究的不断进步，蚁群算法拓展到解决连 续域问题当中也遇到了各种各样的困难，由于连续 空间的路径不是实实在在地存在，所以需要进行改 进。在 2015 年，高雷阜等[26]提出了一种改进的蚁群 算法用来优化 SVM 参数，主要从对信息素的定义 方式及留存方式、蚁群搜索寻优方式、蚁群行进方 式三方面进行改进。改进的蚁群算法在其搜索操作 中加入了有向搜索，同时将信息素的更新引入时变 函数，采取和迭代次数、目标函数值相关的动态更 新策略。该算法虽然为 SVM 的核函数参数优化提 供了一种可行的方法，但是算法的复杂度较大，运 行时间较长，还有待改进。 SVM 是智能故障诊断中广泛使用的机器学习 方法，同时如何寻找到能够区分不同故障的有利条 件和优化 SVM 参数后使其具有良好特征被认为是 高度影响 SVM 的最终诊断精度的两个最重要问 题。所以 Zhang Xiaoli 等 [27]提出了一种蚁群优化算 法用于优化 SVM 参数并且应用于旋转机械的智能 故障诊断当中。与其他方法相比，实验结果表明本 文提出的方法可以获得更好的效果。Han Pu 等 [28] 提出了一种蚁群优化算法优化 SVM 的参数，并且 应用于煤灰融合温度预测当中，实验结果显示本文 中所描述的优化算法可以使 SVM 取得最优参数组 合，防止陷入局部最优，最终表明此模型可以实现 更好的预测性能。R.Aalizadeh 等 [29]提出了一种通 过蚁群算法优化 SVM 参数模型并且应用于预测新 出现的污染物对水跳蚤毒性的影响。实验结果表 明，该模型被成功地应用于附加的评估集，并且对 于发现落入所定义的适用性域内的化合物的预测结 果是非常准确的。H. B.Alwan 等 [30]提出了一种混合 变量蚁群优化算法用来进行特征子集选择和调整 SVM 参数，且结果表明该方法在分类精度和特征子 集选择方面较其他方法更加有效。 综上所述，蚁群算法应用在 SVM 参数优化方 面取得很大进展。从最初只为了解决离散优化问题 被提出，到如今经过国内外学者的研究与改进，蚁 群算法已经能很好地应用于 SVM 参数的连续优化 问题当中。经过各种实验结果表明，蚁群算法在参 数优化方面具有良好的鲁棒性和较强的全局搜索能 力。但是该算法依然存在一些问题，如算法的时间 复杂度较高，运行时间较长，这些还是一个亟待解 决的问题。 3.3 粒子群算法 3.3.1 粒子群算法简介 粒子群算法 (particle swarm optimization, PSO) 最早由 Eberhart 和 Kennedy[31-32]于 1995 年提出，它 的基本概念源于对鸟群觅食行为的研究。粒子群算 法的主要原理是：在对动物群体运动行为观察的基 础上，借鉴群体中的个体对信息的共享使整个群体 的运动在问题求解空间中产生，从无序到有序的演 变过程，最终获得最优解。 该算法是一种全局并行寻优算法，相比较于其 他优化算法，具有进化时间短、寻优精度高等优 点 [33]。自粒子群算法提出以来，已成功应用于求解 旅行商问题[34] 、电容器分配问题[4]以及机器学习[35] 等相关领域。 3.3.2 粒子群算法优化支持向量机参数 普通的粒子群算法存在后期趋同性严重、后期 收敛速度缓慢以及易陷入局部极小点等缺点。针对 普通粒子群存在的缺点，单黎黎[36]等提出了一种改 进的粒子群算法实现 SVM 参数的寻优。该算法为 了同时克服这些缺陷, 在引入动量项的同时使得粒 子不仅跟随全局和局部最优解, 还会跟随任意一个 粒子的个体极值以达到既缓和后期震荡又解决后期 趋同的目的。通过函数仿真实验验证了基于改进的 粒子群算法具有寻优精度高、收敛速度快等优势。 为了解决普通粒子群算法存在的缺点，毛耀宗等[37] 也提出了一种基于粒子群算法，并且加入图形处理 器加速的 SVM 参数优化方法。为了快速寻找最优 参数组合，该方法利用粒子群算法的收敛速度快、 简单易行等特点，并且加入图形处理器并行化处理 能力计算每个参数的分类准确率，进一步提升在一 定的搜索空间内寻找最佳参数组合的计算速度。这 一过程避免了穷尽所有可能的情况，同时也可以得 到满意的结果。实验结果表明这种方法能获得满意 的预测准确率并且降低了程序的寻优时间。 粒子群算法在 SVM 参数优化方面得到进一步 的研究，通过粒子群算法寻找到的最优参数使得 SVM 的分类预测精度明显提高。例如，王喜宾等[38] 提出了粒子群模式搜索算法来对 SVM 的参数进行 优化。实验结果表明，搜索到的最优参数可以达到 较高的正确率；胡云艳等[39]提出了一种粒子群算法 对 SVM 参数进行优化，此算法应用到模拟电路诊 断当中，提高了模拟电路诊断的正确率。郭凤仪等[40] 提出了基于粒子群算法参数优化的 SVM 模型，在 拟合精度方面有很大的提高，并且具有较好的泛化 能力。 第 1 期 李素，等：群智能算法优化支持向量机参数综述 ·73·
·74· 智能系统学报 第13卷 此外，粒子群算法优化SVM参数还被应用于 朱文静等so也提出了一种混沌人工鱼群算法对SVM 确定从新生儿到六岁的幼儿的骨龄、非重塑护提 参数的优化方法，在人工鱼群优化算法基础上引入 防波提的损伤水平预测以及评价产品的Kansei 混沌思想，利用混沌序列的随机性、遍历性和规律 图像等方面，同时以上参考文献中实验结果表明， 性来提高算法的效率，得到了一种性能更好的混沌 搜索到的最优参数可以达到较高的正确率，有效提 人工鱼群算法，并将通过该算法优化后的SVM的 高SVM预测与分类精度。 核参数与惩罚因子应用于语音识别系统中。冯晓琳 综上所述，粒子群算法引起国内外学者的广泛 等例也提出了一种基于改进型人工鱼群算法的SVM 研究。虽然粒子群算法依然存在各种各样的问题， 参数优化方法。该改进的人工鱼群算法实行参数动 但是通过不断地研究与改进，粒子群算法可以有效 态化，加入局部遍历算法，提高了人工鱼群算法的 地实现SVM参数的选择，是一种优秀的SVM参数 精度。 优化方法。 传统人工鱼群算法的循环体有可能出现最佳解 3.4人工鱼群算法 的缺失，为了解决此问题，Bai Jing等s提出了一种 3.4.1人工鱼群算法简介 基于并行人工鱼群算法的SVM参数优化方法。实 人工鱼群算法(artificial fish swarm algorithm, 验结果表明，该新算法是一种有效的SVM参数优 AFSA)是我国学者李晓磊44提出的一种模拟鱼类 化方法，使得SVM不仅具有良好的泛化能力，同时 觅食活动的群智能算法。人工鱼群算法主要原理是 还具有更好的鲁棒性。 通过模拟鱼群觅食、聚群、追尾三大基本行为，采用 针对传统人工鱼群算法具有陷入局部最优的缺 自下而上的思路进行寻优。 陷，Lin Kuancheng等s提出一种基于改进的人工鱼 人工鱼群算法具有寻优速度快、全局寻优能力 群算法的SVM参数优化方法。实验结果表明，与 以及较强的并行处理能力等优点，被广泛应用于车 原始人工鱼群算法相比，改进后的算法在分类精度 间调度分配46、电力系统规划列以及机器学习48割 上具有明显的优越性。 等领域。 目前仍有很多学者使用人工鱼群算法来优化 3.42人工鱼群算法优化支持向量机参数 SVM参数，并且应用于各种领域，例如僵尸网络检 使用人工鱼群算法进行SVM参数优化的实验 测当中等。通过以上领域的应用和实验结果的显 中，人工鱼群算法使用多条人工鱼同时进行寻优， 示，充分证明了人工鱼群算法在优化SVM参数方 从中选取最优的值作为此次优化的结果。由于缺乏 面具有很大优势，寻找到的最优参数有效地提高了 对SVM的参数优化问题的理论支持，所以高雷阜 SVM的分类预测精度。 等4提出了基于人工鱼群算法的SVM参数优化选 综上所述，人工鱼群算法作为新兴的群体智能 取算法。文献中利用人工鱼群的并行性，能够更快 优化算法，具有较好的并行性以及不易陷入局部极 地收敛于全局极值点，并且以分类准确率最大化作 值等优点，同时还具有良好的寻优能力，可以使SVM 为优化原则建立目标函数，实现对SVM的核参数 获得更高的预测精度。通过不断的研究与改进，人 和罚参数的优化选取。数值实验结果表明，人工鱼 工鱼群算法已成为一种可行的SVM参数优化方法。 群算法在SVM参数优化选取中具有更快的寻优性 3.5人工蜂群算法 能，同时具有较高的分类准确率。在文献的结论提 3.5.1人工蜂群算法简介 出了针对不同的具体问题只是通过现有的核函数的 人工蜂群算法(artificial bee colony algorithm, 选取，可能在某种程度上会影响SVM的性能，而且 ABC)是用于模拟蜂群智能搜索行为的一种仿生算 人工鱼群算法能较快收敛到最优解的邻域中，但是 法，由土耳其埃尔吉耶斯大学的Karabogalss1于 搜索寻优的性能仍需改进。 2005年提出。人工蜂群算法的主要原理是，模仿自 虽然人工鱼群算法具有对初值要求不高以及简 然界中蜜蜂采蜜的过程，群体中的蜜蜂根据分工不 单实现等优点，但是也存在寻优精度不高、后期收 同完成采蜜过程的各阶段任务，通过食物源信息的 敛速度较慢的缺陷。针对此问题，田海雷等4提出 收集与共享，寻找问题的最优解。 了一种基于改进人工鱼群算法，对SVM参数进行 人工蜂群算法作为一种模拟蜜蜂群智能搜索行 优化，在对人工鱼群算法进行深入分析的基础上， 为的优化算法，具有控制参数少、计算简单和易于 同时对人工鱼群算法进行改进，改进后的人工鱼自 实现等特点，已成为目前研究的热点之一，被广泛 适应地获取视野和步长，从而有效地改善算法的性 应用于飞机着陆问题56、无人机航路规划问题$以 能，实验结果表明该算法获得了更高的预测精度。 及车间调度问题8
此外，粒子群算法优化 SVM 参数还被应用于 确定从新生儿到六岁的幼儿的骨龄[41] 、非重塑护提 防波提的损伤水平预测[42]以及评价产品的 Kansei 图像[43]等方面，同时以上参考文献中实验结果表明， 搜索到的最优参数可以达到较高的正确率，有效提 高 SVM 预测与分类精度。 综上所述，粒子群算法引起国内外学者的广泛 研究。虽然粒子群算法依然存在各种各样的问题， 但是通过不断地研究与改进，粒子群算法可以有效 地实现 SVM 参数的选择，是一种优秀的 SVM 参数 优化方法。 3.4 人工鱼群算法 3.4.1 人工鱼群算法简介 人工鱼群算法 (artificial fish swarm algorithm, AFSA) 是我国学者李晓磊[44-45]提出的一种模拟鱼类 觅食活动的群智能算法。人工鱼群算法主要原理是 通过模拟鱼群觅食、聚群、追尾三大基本行为，采用 自下而上的思路进行寻优。 人工鱼群算法具有寻优速度快、全局寻优能力 以及较强的并行处理能力等优点，被广泛应用于车 间调度分配[46] 、电力系统规划[47]以及机器学习[48] 等领域。 3.4.2 人工鱼群算法优化支持向量机参数 使用人工鱼群算法进行 SVM 参数优化的实验 中，人工鱼群算法使用多条人工鱼同时进行寻优， 从中选取最优的值作为此次优化的结果。由于缺乏 对 SVM 的参数优化问题的理论支持，所以高雷阜 等 [48]提出了基于人工鱼群算法的 SVM 参数优化选 取算法。文献中利用人工鱼群的并行性，能够更快 地收敛于全局极值点，并且以分类准确率最大化作 为优化原则建立目标函数，实现对 SVM 的核参数 和罚参数的优化选取。数值实验结果表明，人工鱼 群算法在 SVM 参数优化选取中具有更快的寻优性 能，同时具有较高的分类准确率。在文献的结论提 出了针对不同的具体问题只是通过现有的核函数的 选取，可能在某种程度上会影响 SVM 的性能，而且 人工鱼群算法能较快收敛到最优解的邻域中，但是 搜索寻优的性能仍需改进。 虽然人工鱼群算法具有对初值要求不高以及简 单实现等优点，但是也存在寻优精度不高、后期收 敛速度较慢的缺陷。针对此问题，田海雷等[49]提出 了一种基于改进人工鱼群算法，对 SVM 参数进行 优化，在对人工鱼群算法进行深入分析的基础上， 同时对人工鱼群算法进行改进，改进后的人工鱼自 适应地获取视野和步长，从而有效地改善算法的性 能，实验结果表明该算法获得了更高的预测精度。 朱文静等[50]也提出了一种混沌人工鱼群算法对 SVM 参数的优化方法，在人工鱼群优化算法基础上引入 混沌思想，利用混沌序列的随机性、遍历性和规律 性来提高算法的效率，得到了一种性能更好的混沌 人工鱼群算法，并将通过该算法优化后的 SVM 的 核参数与惩罚因子应用于语音识别系统中。冯晓琳 等 [51]也提出了一种基于改进型人工鱼群算法的 SVM 参数优化方法。该改进的人工鱼群算法实行参数动 态化，加入局部遍历算法，提高了人工鱼群算法的 精度。 传统人工鱼群算法的循环体有可能出现最佳解 的缺失，为了解决此问题，Bai Jing 等 [52]提出了一种 基于并行人工鱼群算法的 SVM 参数优化方法。实 验结果表明，该新算法是一种有效的 SVM 参数优 化方法，使得 SVM 不仅具有良好的泛化能力，同时 还具有更好的鲁棒性。 针对传统人工鱼群算法具有陷入局部最优的缺 陷，Lin Kuancheng 等 [53]提出一种基于改进的人工鱼 群算法的 SVM 参数优化方法。实验结果表明，与 原始人工鱼群算法相比，改进后的算法在分类精度 上具有明显的优越性。 目前仍有很多学者使用人工鱼群算法来优化 SVM 参数，并且应用于各种领域，例如僵尸网络检 测当中[54]等。通过以上领域的应用和实验结果的显 示，充分证明了人工鱼群算法在优化 SVM 参数方 面具有很大优势，寻找到的最优参数有效地提高了 SVM 的分类预测精度。 综上所述，人工鱼群算法作为新兴的群体智能 优化算法，具有较好的并行性以及不易陷入局部极 值等优点，同时还具有良好的寻优能力，可以使 SVM 获得更高的预测精度。通过不断的研究与改进，人 工鱼群算法已成为一种可行的 SVM 参数优化方法。 3.5 人工蜂群算法 3.5.1 人工蜂群算法简介 人工蜂群算法 (artificial bee colony algorithm, ABC) 是用于模拟蜂群智能搜索行为的一种仿生算 法，由土耳其埃尔吉耶斯大学的 Karaboga[ 5 5 ]于 2005 年提出。人工蜂群算法的主要原理是，模仿自 然界中蜜蜂采蜜的过程，群体中的蜜蜂根据分工不 同完成采蜜过程的各阶段任务，通过食物源信息的 收集与共享，寻找问题的最优解。 人工蜂群算法作为一种模拟蜜蜂群智能搜索行 为的优化算法，具有控制参数少、计算简单和易于 实现等特点，已成为目前研究的热点之一，被广泛 应用于飞机着陆问题[56] 、无人机航路规划问题[57]以 及车间调度问题[58]。 ·74· 智 能 系 统 学 报 第 13 卷
第1期 李素，等：群智能算法优化支持向量机参数综述 。75· 3.5.2人工蜂群算法优化支持向量机参数 综上所述，人工蜂群算法通过不断地研究与改 针对传统的人工蜂群算法初始种群在解空间分 进，在陷入局部最优解问题时，该算法极大程度地 布不均匀、收敛速度慢等缺点，吴少华等5提出了 避免了该问题，并且优化性能比传统方法更出色。 一种基于二维均匀设计和欧式距离的改进人工蜂群 人工蜂群算法提出的时间还不长，仍处于起步阶 算法，对算法的主要改进为：在种群初始时，引入二 段，还需要更进一步的研究。 维均匀设计理论，使初始食物源更加均匀地分布在 3.6萤火虫算法 解搜索空间当中；在构建新食物源时，提出一种基 3.6.1萤火虫算法简介 于欧氏距离的觅食方法以改进种群局部和全局的更 萤火虫算法(glowworm swarm optimization, 新策略，此改进提高了算法的全局搜索能力。仿真 GSO)是印度学者KN.Krishnanand6s等提出的一种 实验结果表明，改进的蜂群算法具有更快的收敛速 群智能优化算法。萤火虫算法的主要原理是：模拟 度。刘霞等6也提出了一种基于混沌人工蜂群算法 萤火虫运动过程中通过个体的荧光素发出的荧光来 优化的SVM齿轮故障诊断方法。该方法采用Lo- 吸引其他同伴，并向领域中荧光最亮、位置较优的 gistic混沌映射初始化种群和锦标赛选择策略，对 萤火虫移动，从而达到自身的位置最优。 SVM的惩罚因子和核函数参数进行优化。混沌人 萤火虫算法具有寻优速度快、计算时间短等特 工蜂群算法在一定程度上避免了寻优速度较慢和早 点，目前已成功应用于求解阻塞流水线调度问题6刀 熟收敛的问题，其优化的SVM能获得更高的分类 传感器节能6和人工智能6等领域。 正确率和更快的搜索速度，该方法具有重要的工程 3.6.2萤火虫算法优化支持向量机参数 应用价值。 针对基本萤火虫算法存在着早期收敛速度较 针对基于传统的参数优化算法在优化过程中会 慢，后期收敛不稳定等问题，杨海等6提出了一种基 不同程度地陷入局部最优解的问题，刘铭等6)提出 于改进萤火虫算法的SVM核函数参数选取方法。 了一种基于交叉变异人工蜂群算法的SVM参数优 文献[69]中是通过改进萤火虫位置更新公式，并在 化方法，并将其应用于入侵检测。实验表明，此算 移动过程中引入亮度特征从而确定最佳的SVM核 法克服了局部最优值的缺陷，使检测器获得了更高 函数参数。位置更新公式为 的检测率、较低的误报率，所以入侵检测系统在防 御网络入侵方面表现得更好。李璟民等6提出了一 x.(t+1)=x()+l(t)XBoe(x+x)+ax(rand-)(5) 种人工蜂群优化SVM参数的方法，对SVM的惩罚 式（⑤）表示当在视野范围内遇到比自己更亮的 因子和函数宽度进行优化，并将该优化方法应用于 萤火虫时，利用彼此之间的距离参考空间能见度， 小麦完好粒、霉变粒和发芽粒3类麦粒的识别当 形成一个高亮度个体对低亮度个体的吸引力，同时 中。实验结果表明，采用人工蜂群来优化SVM的 可以使用常量e来加速收敛。其中B。表示距离为 方法对小麦完好粒、霉变粒和发芽粒的分类正确率 0时的吸引力，y为光强吸收系数，表示两只萤火 达到86%以上；该研究有较强的实用价值，为 虫之间的欧几里得距离的平方，rand为[O,1]上服从 SVM性能优化提供了一种新的方法。 均匀分布的随机因子。实验结果表明，改进后的萤 还有一些学者用人工蜂群算法优化SVM参 火虫算法选取的SVM核函数参数在保证了分类器 数，同时应用到一些领域来验证该算法的有效性， 收敛性能的同时，显著提高了分类精度，取得了良 例如，Yang等6提出了一种基于人工蜂群算法优 好的优化效果。 化SVM参数的方法，同时应用于齿轮故障诊断当 目前使用萤火虫算法优化SVM参数的学者也 中。与其他群智能算法进行比较，实验结果表明该 出现了很多，例如李茜楠等0提出了一种基于优化 方法可以在最少的时间获得较高的精度；D.T.Bui 此算法的高光谱遥感波段选择方法。该算法针对原 等6提出了一种利用最小二乘SVM推理模型和人 始萤火虫算法的缺点，改进了算法的初始值以及目 工蜂群优化的混合智能方法对老挝地区（越南）降 标函数，设计了一种新型的基于仿生算法的波段选 雨诱发滑坡的空间预测。实验结果表明，该模型的 择新方法。实验结果表明，该方法可以比较快速地 预测能力比从流行的SVM获得的预测能力更好。 选取目标波段，并且具有较高的精度。刘玉坤等四 因此，该模型是研究区域滑坡空间预测的有效工 提出了一种人工萤火虫算法优化最小二乘SVM的 具：Z.Mustaffa等6提出一种人工蜂群算法来优化 方法，并且应用于网络热点话题预测当中。预测结 最小二乘SVM的参数，并用于商品价格预测当中。实证 果表明，用萤火虫算法优化的最小二乘SVM网络 结果显示了所提出的技术具有更高预测精度的能力。 热点预测模型不仅提高了网络热点话题的预测准确
3.5.2 人工蜂群算法优化支持向量机参数 针对传统的人工蜂群算法初始种群在解空间分 布不均匀、收敛速度慢等缺点，吴少华等[59]提出了 一种基于二维均匀设计和欧式距离的改进人工蜂群 算法，对算法的主要改进为：在种群初始时，引入二 维均匀设计理论，使初始食物源更加均匀地分布在 解搜索空间当中；在构建新食物源时，提出一种基 于欧氏距离的觅食方法以改进种群局部和全局的更 新策略，此改进提高了算法的全局搜索能力。仿真 实验结果表明，改进的蜂群算法具有更快的收敛速 度。刘霞等[60]也提出了一种基于混沌人工蜂群算法 优化的 SVM 齿轮故障诊断方法。该方法采用 Logistic 混沌映射初始化种群和锦标赛选择策略，对 SVM 的惩罚因子和核函数参数进行优化。混沌人 工蜂群算法在一定程度上避免了寻优速度较慢和早 熟收敛的问题，其优化的 SVM 能获得更高的分类 正确率和更快的搜索速度，该方法具有重要的工程 应用价值。 针对基于传统的参数优化算法在优化过程中会 不同程度地陷入局部最优解的问题，刘铭等[61]提出 了一种基于交叉变异人工蜂群算法的 SVM 参数优 化方法，并将其应用于入侵检测。实验表明，此算 法克服了局部最优值的缺陷，使检测器获得了更高 的检测率、较低的误报率，所以入侵检测系统在防 御网络入侵方面表现得更好。李璟民等[62]提出了一 种人工蜂群优化 SVM 参数的方法，对 SVM 的惩罚 因子和函数宽度进行优化，并将该优化方法应用于 小麦完好粒、霉变粒和发芽粒 3 类麦粒的识别当 中。实验结果表明，采用人工蜂群来优化 SVM 的 方法对小麦完好粒、霉变粒和发芽粒的分类正确率 达到 8 6% 以上；该研究有较强的实用价值，为 SVM 性能优化提供了一种新的方法。 还有一些学者用人工蜂群算法优化 SVM 参 数，同时应用到一些领域来验证该算法的有效性， 例如，Yang 等 [63]提出了一种基于人工蜂群算法优 化 SVM 参数的方法，同时应用于齿轮故障诊断当 中。与其他群智能算法进行比较，实验结果表明该 方法可以在最少的时间获得较高的精度；D.T.Bui 等 [64]提出了一种利用最小二乘 SVM 推理模型和人 工蜂群优化的混合智能方法对老挝地区 (越南) 降 雨诱发滑坡的空间预测。实验结果表明，该模型的 预测能力比从流行的 SVM 获得的预测能力更好。 因此，该模型是研究区域滑坡空间预测的有效工 具；Z.Mustaffa 等 [65]提出一种人工蜂群算法来优化 最小二乘SVM的参数，并用于商品价格预测当中。实证 结果显示了所提出的技术具有更高预测精度的能力。 综上所述，人工蜂群算法通过不断地研究与改 进，在陷入局部最优解问题时，该算法极大程度地 避免了该问题，并且优化性能比传统方法更出色。 人工蜂群算法提出的时间还不长，仍处于起步阶 段，还需要更进一步的研究 。 3.6 萤火虫算法 3.6.1 萤火虫算法简介 萤火虫算法 (glowworm swarm optimization, GSO) 是印度学者 K.N.Krishnanand[66]等提出的一种 群智能优化算法。萤火虫算法的主要原理是：模拟 萤火虫运动过程中通过个体的荧光素发出的荧光来 吸引其他同伴，并向领域中荧光最亮、位置较优的 萤火虫移动，从而达到自身的位置最优。 萤火虫算法具有寻优速度快、计算时间短等特 点，目前已成功应用于求解阻塞流水线调度问题[67] 、 传感器节能[68]和人工智能[69]等领域。 3.6.2 萤火虫算法优化支持向量机参数 针对基本萤火虫算法存在着早期收敛速度较 慢，后期收敛不稳定等问题，杨海等[69]提出了一种基 于改进萤火虫算法的 SVM 核函数参数选取方法。 文献[69]中是通过改进萤火虫位置更新公式，并在 移动过程中引入亮度特征从而确定最佳的 SVM 核 函数参数。位置更新公式为 xi(t+1) = xi(t)+lj(t)×β0e −γr 2 i j(xj+xi)+α×(rand− 1 2 ) (5) r 2 i j 式 (5) 表示当在视野范围内遇到比自己更亮的 萤火虫时，利用彼此之间的距离参考空间能见度， 形成一个高亮度个体对低亮度个体的吸引力，同时 可以使用常量 e 来加速收敛。其中 β0 表示距离为 0 时的吸引力，γ 为光强吸收系数， 表示两只萤火 虫之间的欧几里得距离的平方，rand 为[0, 1]上服从 均匀分布的随机因子。实验结果表明，改进后的萤 火虫算法选取的 SVM 核函数参数在保证了分类器 收敛性能的同时，显著提高了分类精度，取得了良 好的优化效果。 目前使用萤火虫算法优化 SVM 参数的学者也 出现了很多，例如李茜楠等[70]提出了一种基于优化 此算法的高光谱遥感波段选择方法。该算法针对原 始萤火虫算法的缺点，改进了算法的初始值以及目 标函数，设计了一种新型的基于仿生算法的波段选 择新方法。实验结果表明，该方法可以比较快速地 选取目标波段，并且具有较高的精度。刘玉坤等[71] 提出了一种人工萤火虫算法优化最小二乘 SVM 的 方法，并且应用于网络热点话题预测当中。预测结 果表明，用萤火虫算法优化的最小二乘 SVM 网络 热点预测模型不仅提高了网络热点话题的预测准确 第 1 期 李素，等：群智能算法优化支持向量机参数综述 ·75·
·76· 智能系统学报 第13卷 性，而且在网络舆情分析中还具有广泛的应用前景。 3.8其他群智能算法优化支持向量机参数 综上所述，萤火虫算法用于SVM参数优化方 除了本文单独列举出的7种群智能算法以外 法，存在很多的问题。经过不断地改进与研究，提 还有很多群智能算法被提出并且应用于SVM参数 出了各种各样的改进萤火虫算法用于SVM参数优 优化当中，如混合蛙跳算法、果蝇优化算法、细菌觅 化方面，使得SVM具有较高的分类性能，同时具备 食优化算法以及花授粉算法等。 比传统方法更好的优化性能。 混合蛙跳算法(shuffled frog leaping algorithm, 3.7蝙蝠算法 SFLA)的主要原理是：在一片湿地中生活着一群青 3.7.1蝙蝠算法简介 蛙，湿地内分布着许多石头，青蛙个体之间通过文 2010年YANG Xinshel2-7提出了一种元启发 化的交流实现信息的交换，青蛙通过寻找不同的石 式优化算法，这种算法就是蝙蝠算法(bat algorithm, 头进行跳跃去找到食物较多的地方。 BA)。蝙蝠算法的主要原理是，模仿自然界中的蝙 混合蛙跳算法是2003年Muzaffar Eusuff和 蝠利用声呐来避免障碍物探测猎物的群智能优化 Kevin Lansey提出的一种群智能优化算法，该算法 算法。 可以用于解决许多复杂的优化问题。曾燕等到 蝙蝠算法是一种新型的智能算法，在有效性和 人提出了一种基于改进的混合蛙跳算法优化最小二 准确性方面有明显的提高，同时它具有模型简单、 乘SVM的蔬菜总黄酮软测量模型。实验结果表 搜索能力强、收敛速度快等特点，被广泛应用于灰 明，该模型具有测量精度高，稳定性好的优点，有利 色图像边缘检测、电容车辆路由问题以及电力 于蔬菜总黄酮化学物测量工程的实际应用。 系统m当中。 果蝇优化算法(fruit fly optimization algorithm, 3.7.2蝙蝠算法优化支持向量机参数 FOA)的主要原理是：果蝇根据食物气味的浓度分 2015年，魏峻7提出了一种基于ReliefF和蝙 布判断飞行方向，如果其中一只果蝇的所处位置气 蝠算法的SVM参数优化方法，对SVM的惩罚参数 味浓度最高，那么种群中其余果蝇就会朝该方向移 动，然后再以该位置为初始位置继续随机飞行，得出 和核参数进行优化。该方法首先基于ReliefF的基 气味浓度最高的果蝇位置，以此递推最终找到食物。 因初选，剔除与分类无关的噪声和冗余基因，其次 果蝇优化算法是基于果蝇觅食的行为推演出来 进行基于蝙蝠算法的SVM参数优化。结果表明， 的全局寻优方法，是我国学者Pan Wenchaots在 该算法得到的最优参数对SVM的分类精度得到较 2012年提出的群智能优化算法。宁剑平81等提出 明显的提高，同时对SVM的学习和泛化能力也有 了一种递减步长果蝇优化算法，将该算法用于 所加强。 SVM回归模型的惩罚因子和核函数参数优化中，结 SVM的参数（例如核参数和惩罚参数）选取不 果表明该算法收敛速度快，全局搜索与局部寻优能 当会对预测模型的准确性有很大影响，针对此问题 力强。SiLi等s提出了一种改进的果蝇优化算法 A.Tharwat等提出了一种基于蝙蝠算法的SVM参 来优化最小二乘SVM参数，并且应用于振动信号 数优化方法，与粒子群算法和遗传算法进行比较， 的剪切切割模式识别当中。由于交通流预测的准确 实验结果表明，该模型能够找到SVM的最优参数 性在现代智能交通系统领域起着重要作用，并且果 组合，避免了局部最优问题。 蝇优化算法具有易于理解和快速收敛到全局最优解 还有一些学者用蝙蝠算法优化SVM参数，同 的优点，因此Cong等8”提出了一种基于最小二乘 时应用到一些领域来验证该算法的有效性，例如， SVM的交通流预测模型，并通过果蝇优化算法自适 E.Tuba等so提出了一种蝙蝠算法用来优化SVM参 应确定具有两个参数的最小二乘SVM模型。 数的方法。该方法应用于手写数字识别当中分类问 细菌觅食优化算法(bacteria foraging algorithm 题中，实验结果表明使用蝙蝠算法可以准确迅速找 BFA)的主要原理是：该算法是根据细菌菌落生长 到SVM参数的最优值，并且有效地减少分类误差 演化的基本规律提出一种新的优化方法。细菌觅食 率。Xing Bing等提出使用蝙蝠算法用于SVM参 算法的生物学基础是大肠杆菌在人类肠道中觅食过 数优化，同时应用在洪水月平均流预测方面，并且 程中的智能表现，通过趋化、繁殖、驱散这3个步骤 实验结果表明该模型具有更准确的预测率。 来迭代的更新细菌的所在位置，使细菌能够趋向营 综上所述，蝙蝠算法作为一种新颖的随机型搜 养丰富的地方。为正确选择应用于人脸识别的SVM 索算法，相对于其他的算法，显著提高了有效性和 相关参数，马家辰8]等提出了一种应用于表情识别 准确性，但是该算法是目前较新的算法，它的优化 的基于细菌觅食算法的SVM参数选择方法。实验 性能还需进一步改进完善。 结果表明，采用该方法能够使人脸表情识别分类结
性，而且在网络舆情分析中还具有广泛的应用前景。 综上所述，萤火虫算法用于 SVM 参数优化方 法，存在很多的问题。经过不断地改进与研究，提 出了各种各样的改进萤火虫算法用于 SVM 参数优 化方面，使得 SVM 具有较高的分类性能，同时具备 比传统方法更好的优化性能。 3.7 蝙蝠算法 3.7.1 蝙蝠算法简介 2010 年 YANG Xinshe[72-74]提出了一种元启发 式优化算法，这种算法就是蝙蝠算法 (bat algorithm, BA)。蝙蝠算法的主要原理是，模仿自然界中的蝙 蝠利用声呐来避免障碍物探测猎物的群智能优化 算法。 蝙蝠算法是一种新型的智能算法，在有效性和 准确性方面有明显的提高，同时它具有模型简单、 搜索能力强、收敛速度快等特点，被广泛应用于灰 色图像边缘检测[75] 、电容车辆路由问题[76]以及电力 系统[77]当中。 3.7.2 蝙蝠算法优化支持向量机参数 2015 年，魏峻[78]提出了一种基于 ReliefF 和蝙 蝠算法的 SVM 参数优化方法，对 SVM 的惩罚参数 和核参数进行优化。该方法首先基于 ReliefF 的基 因初选，剔除与分类无关的噪声和冗余基因，其次 进行基于蝙蝠算法的 SVM 参数优化。结果表明， 该算法得到的最优参数对 SVM 的分类精度得到较 明显的提高，同时对 SVM 的学习和泛化能力也有 所加强。 SVM 的参数 (例如核参数和惩罚参数) 选取不 当会对预测模型的准确性有很大影响，针对此问题 A.Tharwat[79]等提出了一种基于蝙蝠算法的 SVM 参 数优化方法，与粒子群算法和遗传算法进行比较， 实验结果表明，该模型能够找到 SVM 的最优参数 组合，避免了局部最优问题。 还有一些学者用蝙蝠算法优化 SVM 参数，同 时应用到一些领域来验证该算法的有效性，例如， E.Tuba 等 [80]提出了一种蝙蝠算法用来优化 SVM 参 数的方法。该方法应用于手写数字识别当中分类问 题中，实验结果表明使用蝙蝠算法可以准确迅速找 到 SVM 参数的最优值，并且有效地减少分类误差 率。Xing Bing 等 [81]提出使用蝙蝠算法用于 SVM 参 数优化，同时应用在洪水月平均流预测方面，并且 实验结果表明该模型具有更准确的预测率。 综上所述，蝙蝠算法作为一种新颖的随机型搜 索算法，相对于其他的算法，显著提高了有效性和 准确性，但是该算法是目前较新的算法，它的优化 性能还需进一步改进完善。 3.8 其他群智能算法优化支持向量机参数 除了本文单独列举出的 7 种群智能算法以外， 还有很多群智能算法被提出并且应用于 SVM 参数 优化当中，如混合蛙跳算法、果蝇优化算法、细菌觅 食优化算法以及花授粉算法等。 混合蛙跳算法 (shuffled frog leaping algorithm, SFLA) 的主要原理是：在一片湿地中生活着一群青 蛙，湿地内分布着许多石头，青蛙个体之间通过文 化的交流实现信息的交换，青蛙通过寻找不同的石 头进行跳跃去找到食物较多的地方。 混合蛙跳算法是 2003 年 Muzaffar Eusuff 和 Kevin Lansey 提出的一种群智能优化算法，该算法 可以用于解决许多复杂的优化问题[82]。曾燕等[83] 人提出了一种基于改进的混合蛙跳算法优化最小二 乘 SVM 的蔬菜总黄酮软测量模型。实验结果表 明，该模型具有测量精度高，稳定性好的优点，有利 于蔬菜总黄酮化学物测量工程的实际应用。 果蝇优化算法 (fruit fly optimization algorithm, FOA) 的主要原理是：果蝇根据食物气味的浓度分 布判断飞行方向，如果其中一只果蝇的所处位置气 味浓度最高，那么种群中其余果蝇就会朝该方向移 动，然后再以该位置为初始位置继续随机飞行，得出 气味浓度最高的果蝇位置, 以此递推最终找到食物。 果蝇优化算法是基于果蝇觅食的行为推演出来 的全局寻优方法，是我国学者 Pan Wenchao[84]在 2012 年提出的群智能优化算法。宁剑平[85]等提出 了一种递减步长果蝇优化算法，将该算法用于 SVM 回归模型的惩罚因子和核函数参数优化中，结 果表明该算法收敛速度快，全局搜索与局部寻优能 力强。Si Lei等 [86]提出了一种改进的果蝇优化算法 来优化最小二乘 SVM 参数，并且应用于振动信号 的剪切切割模式识别当中。由于交通流预测的准确 性在现代智能交通系统领域起着重要作用, 并且果 蝇优化算法具有易于理解和快速收敛到全局最优解 的优点, 因此 Cong 等 [87]提出了一种基于最小二乘 SVM 的交通流预测模型，并通过果蝇优化算法自适 应确定具有两个参数的最小二乘 SVM 模型。 细菌觅食优化算法 (bacteria foraging algorithm, BFA) 的主要原理是：该算法是根据细菌菌落生长 演化的基本规律提出一种新的优化方法。细菌觅食 算法的生物学基础是大肠杆菌在人类肠道中觅食过 程中的智能表现，通过趋化、繁殖、驱散这 3 个步骤 来迭代的更新细菌的所在位置，使细菌能够趋向营 养丰富的地方。为正确选择应用于人脸识别的 SVM 相关参数，马家辰[88]等提出了一种应用于表情识别 的基于细菌觅食算法的 SVM 参数选择方法。实验 结果表明，采用该方法能够使人脸表情识别分类结 ·76· 智 能 系 统 学 报 第 13 卷
第1期 李素，等：群智能算法优化支持向量机参数综述 。77· 果具有更高的准确率。杨大炼等提出了一种基于 SVM的空气质量预测方法。实验表明，该方法的预 自适应细菌觅食算法的SVM参数快速选取方法。 测性能较优，具有较高的稳定性和可信性。 研究结果表明，细菌觅食优化算法能够更加快速地 综上所述，群智能算法单独使用会存在各种各 选取到最优参数，并且应用于提高齿轮箱故障诊断 样的问题，所以许多学者为了提高SVM的预测精 的精度。 度，提出了群智能算法与其他算法相结合的SVM 花授粉算法(flower polination algorithm,FPA) 参数优化方法，并且在原来的基础上有效地选取最 的主要原理是模拟自然界花朵授粉过程而提出的一 优参数，提高SVM的预测精度。 种新型元启发式群智能优化算法。花授粉算法是 3.10混合群智能算法优化支持向量机参数 由YANG等0在2012年提出的。该算法拥有的参 单一的群智能算法自身存在很多局限性，因此 数少，具有计算简单、效率高以及易于实现等优点。 很多学者通过借鉴其他算法特性来对此进行改进， 但是传统的花授粉算法自身也存在搜索速度慢、易 并提出了混合群智能算法来优化SVM参数的方法。 陷入局部最优等缺点。针对传统花授粉算法存在的 冯哲等提出了一种改进的粒子群算法与人工鱼群 问题，N.D.Hoang等提出了一种差分花授粉算法 算法混合算法优化SVM参数。此算法是基于小生 优化SVM参数，并且用于水泥浆灌溉过程的估算。 境和交叉选择算子的粒子群算法引入变异算子和族 实验结果表明该方法可以提供更好的预测性能。 外竞争机制加以改进后与人工鱼群算法混合。实验 Zhang Wenyu等提出了一种具有混沌局部搜索的 结果表明，该算法稳健性更好，并且文中将此方法 花授粉算法用于SVM参数优化，同时应用于风速 应用于电镜及超声纹理图像分割中，能较好地提取 预测当中。实验结果表明该算法在高精度风速预测 出目标区域，图像边缘部分的分类也很清晰。刘俊 当中是有效的。 芳9提出了改进的粒子群算法和人工蜂群算法的混 3.9群智能算法与其他算法相结合优化支持向量 合优化算法，人工蜂群算法具有全局和局部寻优的 机参数 特点，将其与粒子群算法结合，能够有效弥补粒子 因为群智能算法自身存在很多局限性，所以许 群算法早熟收敛和极易陷入局部最优的不足，同时 多学者提出了群智能算法与其他算法相结合的方法 保留了粒子群的全局搜索和简单容易实现的特点。 来优化SVM参数。此种结合不但保留了群智能算 戴上平等提出了遗传算法和粒子群算法融合算法 法的优点，同时还具有其他算法的优点，并且取得 对SVM参数进行优化求解，结果表明这种组合是 了显著效果，使得算法的效率和性能方面都有了很 有效的。 大的提高。 综上所述，群智能算法之间的混合使用，可以 针对遗传算法存在的缺点，2013年王萍萍等9] 寻找到最优参数，并且很大程度地提高SVM的预 提出了一种将遗传算法与Powell算法结合用来优 测与分类精度，通过混合群智能算法对SVM参数 化SVM核参数的方法，该算法在保持了遗传算法 优化的实验结果中表明，改进的算法不但具备其中 的强全局搜索能力的同时还具有Powell算法的局 一种群智能算法的优点同时也具备另外一种群智能 部搜索优势，通过不断在迭代的过程中对全局最优 算法的优点，是一种可行且有效的方法。 值的调整来避免遗传算法的早熟收敛，由此得到更 3.11各种群智能算法优化支持向量机参数的优化 好的寻优性能。实验结果表明，该算法大大地提高 性能比较 了算法的效率和性能，并且准确率较高。 每种群智能算法在优化SVM参数的时候都存 针对蚁群算法容易陷入局部最优的问题，2013 在自身的不足。经过上面的综述之后，总结结果见 年耿俊豹等提出了一种基于蚁群算法和循环交叉 表1所示。 验证法的SVM参数优化方法。通过蚁群算法的函 对每种群智能算法优化SVM参数的优化性能 数优化功能，快速准确地确定SVM核函数参数。 比较之后发现，存在的较大问题是易于使实验结果 实验中得知全局核和局部核的组合比单核SVM具 陷入局部最优，例如遗传算法、人工蜂群算法以及 有更好的预测效果，但是最优的核函数并不是简单 花授粉算法。同时还存在后期收敛速度缓慢，例如 的相加组合，而是要通过对SVM参数的调整，最终 粒子群算法。还有寻优速度过慢，虽然有些算法寻 确定最优核函数。此实验的预测模型应用于飞机机 优速度快，但是存在寻优精度不高等问题。人工鱼 体研制费用预测当中，结果显示蚁群算法是一种比 群算法相较于其他几种群智能算法是优化SVM参 较高效的寻优方法，在蚁群算法寻找的最优参数下 数方法中性能最好的。蚁群算法主要存在的问题是 混合核函数的SVM的预测精度明显提高。 如何有效地解决连续优化问题。蝙蝠算法和人工鱼 倪志伟等9提出基于人工鱼和分形维数融合 群算法都存在寻优精度不高的问题
果具有更高的准确率。杨大炼等[89]提出了一种基于 自适应细菌觅食算法的 SVM 参数快速选取方法。 研究结果表明，细菌觅食优化算法能够更加快速地 选取到最优参数，并且应用于提高齿轮箱故障诊断 的精度。 花授粉算法 (flower polination algorithm，FPA) 的主要原理是模拟自然界花朵授粉过程而提出的一 种新型元启发式群智能优化算法。花授粉算法是 由 YANG 等 [90]在 2012 年提出的。该算法拥有的参 数少，具有计算简单、效率高以及易于实现等优点。 但是传统的花授粉算法自身也存在搜索速度慢、易 陷入局部最优等缺点。针对传统花授粉算法存在的 问题，N.D.Hoang 等 [91]提出了一种差分花授粉算法 优化 SVM 参数，并且用于水泥浆灌溉过程的估算。 实验结果表明该方法可以提供更好的预测性能。 Zhang Wenyu 等 [92]提出了一种具有混沌局部搜索的 花授粉算法用于 SVM 参数优化，同时应用于风速 预测当中。实验结果表明该算法在高精度风速预测 当中是有效的。 3.9 群智能算法与其他算法相结合优化支持向量 机参数 因为群智能算法自身存在很多局限性，所以许 多学者提出了群智能算法与其他算法相结合的方法 来优化 SVM 参数。此种结合不但保留了群智能算 法的优点，同时还具有其他算法的优点，并且取得 了显著效果，使得算法的效率和性能方面都有了很 大的提高。 针对遗传算法存在的缺点，2013 年王萍萍等[93] 提出了一种将遗传算法与 Powell 算法结合用来优 化 SVM 核参数的方法，该算法在保持了遗传算法 的强全局搜索能力的同时还具有 Powell 算法的局 部搜索优势，通过不断在迭代的过程中对全局最优 值的调整来避免遗传算法的早熟收敛，由此得到更 好的寻优性能。实验结果表明，该算法大大地提高 了算法的效率和性能，并且准确率较高。 针对蚁群算法容易陷入局部最优的问题，2013 年耿俊豹等[94]提出了一种基于蚁群算法和循环交叉 验证法的 SVM 参数优化方法。通过蚁群算法的函 数优化功能，快速准确地确定 SVM 核函数参数。 实验中得知全局核和局部核的组合比单核 SVM 具 有更好的预测效果，但是最优的核函数并不是简单 的相加组合，而是要通过对 SVM 参数的调整，最终 确定最优核函数。此实验的预测模型应用于飞机机 体研制费用预测当中，结果显示蚁群算法是一种比 较高效的寻优方法，在蚁群算法寻找的最优参数下 混合核函数的 SVM 的预测精度明显提高。 倪志伟等[95]提出基于人工鱼和分形维数融合 SVM 的空气质量预测方法。实验表明，该方法的预 测性能较优，具有较高的稳定性和可信性。 综上所述，群智能算法单独使用会存在各种各 样的问题，所以许多学者为了提高 SVM 的预测精 度，提出了群智能算法与其他算法相结合的 SVM 参数优化方法，并且在原来的基础上有效地选取最 优参数，提高 SVM 的预测精度。 3.10 混合群智能算法优化支持向量机参数 单一的群智能算法自身存在很多局限性，因此 很多学者通过借鉴其他算法特性来对此进行改进， 并提出了混合群智能算法来优化 SVM 参数的方法。 冯哲等[96]提出了一种改进的粒子群算法与人工鱼群 算法混合算法优化 SVM 参数。此算法是基于小生 境和交叉选择算子的粒子群算法引入变异算子和族 外竞争机制加以改进后与人工鱼群算法混合。实验 结果表明，该算法稳健性更好，并且文中将此方法 应用于电镜及超声纹理图像分割中，能较好地提取 出目标区域，图像边缘部分的分类也很清晰。刘俊 芳 [97]提出了改进的粒子群算法和人工蜂群算法的混 合优化算法，人工蜂群算法具有全局和局部寻优的 特点，将其与粒子群算法结合，能够有效弥补粒子 群算法早熟收敛和极易陷入局部最优的不足，同时 保留了粒子群的全局搜索和简单容易实现的特点。 戴上平等[98]提出了遗传算法和粒子群算法融合算法 对 SVM 参数进行优化求解，结果表明这种组合是 有效的。 综上所述，群智能算法之间的混合使用，可以 寻找到最优参数，并且很大程度地提高 SVM 的预 测与分类精度，通过混合群智能算法对 SVM 参数 优化的实验结果中表明，改进的算法不但具备其中 一种群智能算法的优点同时也具备另外一种群智能 算法的优点，是一种可行且有效的方法。 3.11 各种群智能算法优化支持向量机参数的优化 性能比较 每种群智能算法在优化 SVM 参数的时候都存 在自身的不足。经过上面的综述之后，总结结果见 表 1 所示。 对每种群智能算法优化 SVM 参数的优化性能 比较之后发现，存在的较大问题是易于使实验结果 陷入局部最优，例如遗传算法、人工蜂群算法以及 花授粉算法。同时还存在后期收敛速度缓慢，例如 粒子群算法。还有寻优速度过慢，虽然有些算法寻 优速度快，但是存在寻优精度不高等问题。人工鱼 群算法相较于其他几种群智能算法是优化 SVM 参 数方法中性能最好的。蚁群算法主要存在的问题是 如何有效地解决连续优化问题。蝙蝠算法和人工鱼 群算法都存在寻优精度不高的问题。 第 1 期 李素，等：群智能算法优化支持向量机参数综述 ·77·
·78· 智能系统学报 第13卷 表1各群智能算法优化SVM参数存在的优缺点比较 Table 1 Comparison of advantages and disadvantages of optimizing the SVM parameters of various groups of intelligence algorithms 群智能算法 优点 存在的问题 具有全局寻优能力：利用内在并行性，可以进行 易使实验结果陷入局部最优：训练时间较长： 遗传算法 分布式计算 分类精度较低 蚁群算法 具有较强的全局寻优能力：是一种正反馈的算法： 不能处理连续优化问题 具有较强的鲁棒性 粒子群算法 早期收敛速度快：寻优精度高 后期收敛速度缓慢：易陷入局部最优 具有较强的并行处理能力：寻优速度快：具备 人工鱼群算法 寻优精度不高；后期收敛速度较慢 全局寻优能力 人工蜂群算法 控制参数少，计算简单 收敛速度慢：易陷入局部最优 萤火虫算法 寻优速度快 早期收敛速度慢：后期收敛不稳定 蝙蝠算法 收敛速度快：搜索能力强 寻优精度不高 混合蛙跳算法 参数少，易于实现：具备优良全局寻优能力 易陷入局部最优 果蝇优化算法 结构简单，易于实现 易陷入局部最优：寻优精度不高 细菌觅食算法 并行搜索：易跳出局部极小值 收敛速度不够快：寻优精度不够高 群智能算法与其他 具有较强全局搜索能力；避免算法早熟收敛：提高 算法相结合 算法后期收敛速度 避免算法过早陷入局部最优：提高算法的寻优速度： 混合群智能算法 提高算法的寻优精度 每种算法都具有自己的优缺点，例如：粒子群 到满意的结果。因此有人就提出了用群智能算法来 算法具备了寻优精度高优点的同时也存在收敛速度 优化SVM参数，而且群智能算法发展至今以其分 缓慢的缺点：蝙蝠算法具有收敛速度快优点的同时 布性、自组织性、强的鲁棒性等优点已成功地应用 也存在寻优精度不高的缺点。所以，将以上两种算 于函数优化、神经网络等领域。虽然群智能算法用 法组合起来对SVM参数进行优化，弥补了互相的 于优化SVM参数取得了一定的成果，但仍然存在 不足，并发扬了互相的优点。 些问题有待解决。 总的来说，使用混合群智能算法优化SVM参 1)从本文中可以看出，经过国内外学者对群智 数的成果较少，群智能算法与其他算法结合用来优 能算法的不断研究与改进，群智能算法在SVM参 化SVM参数的成果也较少。大多数学者都是对某 数优化方面已经取得了很多重要的成果，例如，具 -种群智能算法进行改进用于SVM参数优化，虽 有较强的并行处理能力、寻优速度快、有效避免陷 然取得了一些实质性的进展，但是还存在各种各样 入局部最优以及可以进行全局寻优等，同时基于群 智能算法优化的SVM模型能够获得更高的预测和 的问题，例如解决了寻优精度不高的问题，但是又 分类精度。所以群智能算法是用来对SVM参数优 会出现寻优速度缓慢等问题。群智能算法优化 化的一个不错的选择。 SVM参数的研究成果当中，使用混合蛙跳算法、细 2)虽然有很多学者使用群智能算法在SVM参 菌觅食算法、花授粉算法以及果蝇优化算法来优化 数优化方面进行了大量的研究工作，但是并没有很 SVM参数的成果较少。 好地解决该问题。例如，改进的遗传算法虽然能在 4结束语 一定条件下避免陷入局部最优，但是依然存在陷入 局部最优的可能性，所以在判断陷入局部最优和跳 本文主要从群智能算法对SVM参数优化的研 出局部最优方面，还有待进一步研究且解决此问 究成果进行了论述。SVM虽然在理论上很完善了， 题。蚁群算法虽然获得的最优参数组合的分类性能 但是在应用上仍然存在一些问题，参数模型的选择 较其他算法更高，但是存在运行时间较长，样本数 就是其中比较典型的问题。然而没有一个成熟的理 增加到一定程度算法的时间复杂度更高等问题。所 论指导，传统的参数选取方法大多都既耗时又得不 以对蚁群算法的收敛性还需进一步研究
每种算法都具有自己的优缺点，例如：粒子群 算法具备了寻优精度高优点的同时也存在收敛速度 缓慢的缺点；蝙蝠算法具有收敛速度快优点的同时 也存在寻优精度不高的缺点。所以，将以上两种算 法组合起来对 SVM 参数进行优化，弥补了互相的 不足，并发扬了互相的优点。 总的来说，使用混合群智能算法优化 SVM 参 数的成果较少，群智能算法与其他算法结合用来优 化 SVM 参数的成果也较少。大多数学者都是对某 一种群智能算法进行改进用于 SVM 参数优化，虽 然取得了一些实质性的进展，但是还存在各种各样 的问题，例如解决了寻优精度不高的问题，但是又 会出现寻优速度缓慢等问题。群智能算法优化 SVM 参数的研究成果当中，使用混合蛙跳算法、细 菌觅食算法、花授粉算法以及果蝇优化算法来优化 SVM 参数的成果较少。 4 结束语 本文主要从群智能算法对 SVM 参数优化的研 究成果进行了论述。SVM 虽然在理论上很完善了， 但是在应用上仍然存在一些问题，参数模型的选择 就是其中比较典型的问题。然而没有一个成熟的理 论指导，传统的参数选取方法大多都既耗时又得不 到满意的结果。因此有人就提出了用群智能算法来 优化 SVM 参数，而且群智能算法发展至今以其分 布性、自组织性、强的鲁棒性等优点已成功地应用 于函数优化、神经网络等领域。虽然群智能算法用 于优化 SVM 参数取得了一定的成果，但仍然存在 一些问题有待解决。 1) 从本文中可以看出，经过国内外学者对群智 能算法的不断研究与改进，群智能算法在 SVM 参 数优化方面已经取得了很多重要的成果，例如，具 有较强的并行处理能力、寻优速度快、有效避免陷 入局部最优以及可以进行全局寻优等，同时基于群 智能算法优化的 SVM 模型能够获得更高的预测和 分类精度。所以群智能算法是用来对 SVM 参数优 化的一个不错的选择。 2) 虽然有很多学者使用群智能算法在 SVM 参 数优化方面进行了大量的研究工作，但是并没有很 好地解决该问题。例如，改进的遗传算法虽然能在 一定条件下避免陷入局部最优，但是依然存在陷入 局部最优的可能性，所以在判断陷入局部最优和跳 出局部最优方面，还有待进一步研究且解决此问 题。蚁群算法虽然获得的最优参数组合的分类性能 较其他算法更高，但是存在运行时间较长，样本数 增加到一定程度算法的时间复杂度更高等问题。所 以对蚁群算法的收敛性还需进一步研究。 表 1 各群智能算法优化 SVM 参数存在的优缺点比较 Table 1 Comparison of advantages and disadvantages of optimizing the SVM parameters of various groups of intelligence algorithms 群智能算法 优点 存在的问题 遗传算法 具有全局寻优能力；利用内在并行性，可以进行 分布式计算 易使实验结果陷入局部最优；训练时间较长； 分类精度较低 蚁群算法 具有较强的全局寻优能力；是一种正反馈的算法； 具有较强的鲁棒性 不能处理连续优化问题 粒子群算法 早期收敛速度快；寻优精度高 后期收敛速度缓慢；易陷入局部最优 人工鱼群算法 具有较强的并行处理能力；寻优速度快；具备 全局寻优能力 寻优精度不高；后期收敛速度较慢 人工蜂群算法 控制参数少，计算简单 收敛速度慢；易陷入局部最优 萤火虫算法 寻优速度快 早期收敛速度慢；后期收敛不稳定 蝙蝠算法 收敛速度快；搜索能力强 寻优精度不高 混合蛙跳算法 参数少，易于实现；具备优良全局寻优能力 易陷入局部最优 果蝇优化算法 结构简单，易于实现 易陷入局部最优；寻优精度不高 细菌觅食算法 并行搜索；易跳出局部极小值 收敛速度不够快；寻优精度不够高 群智能算法与其他 算法相结合 具有较强全局搜索能力；避免算法早熟收敛；提高 算法后期收敛速度 — 混合群智能算法 避免算法过早陷入局部最优；提高算法的寻优速度； 提高算法的寻优精度 — ·78· 智 能 系 统 学 报 第 13 卷
第1期 李素，等：群智能算法优化支持向量机参数综述 。79· 3)大多数研究成果都在关注算法的前期后期 [11]AVCI E.Selecting of the optimal feature subset and kernel 收敛性问题，少部分研究中会将算法的收敛性和寻 parameters in digital modulation classification by using hy- 优精度结合在一起同时考虑，进行改进。群智能算 brid genetic algorithm-support vector machines:HGAS- 法在对SVM进行参数优化时，不能确保每种条件 VM[J].Expert systems with applications,2009,36(2): 下都拥有较强的寻优能力，同时也不能保证得到的 1391-1402. 最优参数对每种模型都拥有很好的分类和预测能 [12]HUANG C L.WANG C J.A GA-based feature selection 力。改进后的算法虽然可以同时具备寻优速度快、 and parameters optimizationfor support vector machines[J]. 寻优精度高、收敛到全局最优解、避免过早陷入局 Expert systems with applications,2006,31(2):231-240. 部最优等优点，但还需要对算法进行不断地研究与 [13]王琼瑶，何友全，彭小玲.基于改进遗传算法的支持向量 改进。 机参数优化方法U.计算机与现代化，2015(3)33-36. WANG Qiongyao,HE Youquan,PENG Xiaoling.Para- 参考文献： meters optimization of support vector machine based on [1]VAPNIK V N.Statistical learning theory[M].New York: improved genetic algorithm[J].Computer and moderniza- Wiley Press,1999. tion,2015(3:33-36. [2]POOLE A,KOTSIALOS A.Swarm intelligence algorithms [14]孟滔，周新志，雷印杰.基于自适应遗传算法的SVM参 for macroscopic traffic flow model validation with automat- 数优化.计算机测量与控制，2016,24(9)：215-217， ic assignment of fundamental diagrams[J].Applied soft 223 computing,2016.38:134-150. MENG Tao,ZHOU Xinzhi,LEI Yinjie.A parameters op- [3]DE SA A O,NEDJAH N,DE MACEDO MOURELLE L. timization method for an SVM based on adaptive genetic Distributed efficient localization in swarm robotic systems algorithm[J].Computer measurement and control,2016. using swarm intelligence algorithms[J].Neurocomputing, 24(9y:215-217.223. 2016.172:322-336. [15]高雷阜，张秀丽，佟盼.GASJ在SVM核参数优化中的 4]RAMADAN H S.BENDARY A F,NAGY S.Particle 应用).计算机工程与应用，2015,51(4)：110-114 swarm optimization algorithm for capacitor allocation prob- GAO Leifu,ZHANG Xiuli,TONG Pan.Application of lem in distribution systems with wind turbine generators[J]. GA SJ in SVM parameter optimization[J].Computer en- International journal of electrical power and energy systems, gineering and applications,2015,51(4):110-114 2017,84:143-152. [16]SAJAN K S,KUMAR V,TYAGI B.Genetic algorithm [5]KEERTHI SS.Efficient tuning of SVM hyperparameters based support vector machine for on-line voltage stability using radius/margin bound and iterative algorithms[J].IEEE monitoring[J].International journal of electrical power and transactions on neural networks,2002,13(5):1225-1229. energy systems,2015,73:200-208. 6]CHAPELLE O,VAPNIK V.BOUSQUET O,et al.Choos- [17]CHOU J S,CHENG Minyuan,WU Yuwei,et al.Optimiz- ing multiple parameters for support vector machines[J].Ma- ing parameters of support vector machine using fast messy chine learning,2002,46(1/2/3):131-159. [7]HOLLAND J H.Adaptation in natural and artificial sys- genetic algorithm for dispute classification[J].Expert sys- tems[Ml.2nd ed.Cambridge:MIT Press,1992. tems with applications,2014,41(8):3955-3964 [8]吴君，张京娟.采用遗传算法的多机自由飞行冲突解脱策 [18]DUAN Li,GUO Long,LIU Ke,et al.Characterization and 略U.智能系统学报，2013,8(1)：16-20 classification of seven Citrus herbs by liquid chromato- WU Jun,ZHANG Jingjuan.Conflict resolution of multiple graphy-quadrupole time-of-flight mass spectrometry and airplanes in free flight based on the genetic algorithm[J]. genetic algorithm optimized support vector machines[J] CAAI transactions on intelligent systems,2013,8(1):16- Journal of chromatography A,2014,1339:118-127 20 [19]DORIGO M,GAMBARDELLA L M.Ant colony system: [9]DIABAT A.DESKOORES R.A hybrid genetic algorithm a cooperative learning approach to the traveling salesman based heuristic for an integrated supply chain problem[J]. problem[J].IEEE transactions on evolutionary computa- Journal of manufacturing systems,2016,38:172-180. tion,1997,1(1):53-66. [10]CHEN Peng,YUAN Lifen,HE Yigang,et al.An im- [20]DORIGO M,STUTZLE T.Ant colony optimization[M]. proved SVM classifier based on double chains quantum ge- Cambridge:MIT Press,2004. netic algorithm and its application in analogue circuit dia- [21]裴振兵，陈雪波.改进蚁群算法及其在机器人避障中的 gnosis[J].Neurocomputing,2016,211:202-211. 应用).智能系统学报，2015,10(1)上90-96
3) 大多数研究成果都在关注算法的前期后期 收敛性问题，少部分研究中会将算法的收敛性和寻 优精度结合在一起同时考虑，进行改进。群智能算 法在对 SVM 进行参数优化时，不能确保每种条件 下都拥有较强的寻优能力，同时也不能保证得到的 最优参数对每种模型都拥有很好的分类和预测能 力。改进后的算法虽然可以同时具备寻优速度快、 寻优精度高、收敛到全局最优解、避免过早陷入局 部最优等优点，但还需要对算法进行不断地研究与 改进。 参考文献： VAPNIK V N. Statistical learning theory[M]. New York: Wiley Press, 1999. [1] POOLE A, KOTSIALOS A. Swarm intelligence algorithms for macroscopic traffic flow model validation with automatic assignment of fundamental diagrams[J]. Applied soft computing, 2016, 38: 134–150. [2] DE SÁ A O, NEDJAH N, DE MACEDO MOURELLE L. Distributed efficient localization in swarm robotic systems using swarm intelligence algorithms[J]. Neurocomputing, 2016, 172: 322–336. [3] RAMADAN H S, BENDARY A F, NAGY S. Particle swarm optimization algorithm for capacitor allocation problem in distribution systems with wind turbine generators[J]. International journal of electrical power and energy systems, 2017, 84: 143–152. [4] KEERTHI S S. Efficient tuning of SVM hyperparameters using radius/margin bound and iterative algorithms[J]. IEEE transactions on neural networks, 2002, 13(5): 1225–1229. [5] CHAPELLE O, VAPNIK V, BOUSQUET O, et al. Choosing multiple parameters for support vector machines[J]. Machine learning, 2002, 46(1/2/3): 131–159. [6] HOLLAND J H. Adaptation in natural and artificial systems[M]. 2nd ed. Cambridge: MIT Press, 1992. [7] 吴君, 张京娟. 采用遗传算法的多机自由飞行冲突解脱策 略[J]. 智能系统学报, 2013, 8(1): 16–20. WU Jun, ZHANG Jingjuan. Conflict resolution of multiple airplanes in free flight based on the genetic algorithm[J]. CAAI transactions on intelligent systems, 2013, 8(1): 16– 20. [8] DIABAT A, DESKOORES R. A hybrid genetic algorithm based heuristic for an integrated supply chain problem[J]. Journal of manufacturing systems, 2016, 38: 172–180. [9] CHEN Peng, YUAN Lifen, HE Yigang, et al. An improved SVM classifier based on double chains quantum genetic algorithm and its application in analogue circuit diagnosis[J]. Neurocomputing, 2016, 211: 202–211. [10] AVCI E. Selecting of the optimal feature subset and kernel parameters in digital modulation classification by using hybrid genetic algorithm-support vector machines: HGASVM[J]. Expert systems with applications, 2009, 36(2): 1391–1402. [11] HUANG C L, WANG C J. A GA-based feature selection and parameters optimizationfor support vector machines[J]. Expert systems with applications, 2006, 31(2): 231–240. [12] 王琼瑶, 何友全, 彭小玲. 基于改进遗传算法的支持向量 机参数优化方法[J]. 计算机与现代化, 2015(3): 33–36. WANG Qiongyao, HE Youquan, PENG Xiaoling. Parameters optimization of support vector machine based on improved genetic algorithm[J]. Computer and modernization, 2015(3): 33–36. [13] 孟滔, 周新志, 雷印杰. 基于自适应遗传算法的 SVM 参 数优化[J]. 计算机测量与控制, 2016, 24(9): 215–217, 223. MENG Tao, ZHOU Xinzhi, LEI Yinjie. A parameters optimization method for an SVM based on adaptive genetic algorithm[J]. Computer measurement and control, 2016, 24(9): 215–217, 223. [14] 高雷阜, 张秀丽, 佟盼. GA_SJ 在 SVM 核参数优化中的 应用[J]. 计算机工程与应用, 2015, 51(4): 110–114. GAO Leifu, ZHANG Xiuli, TONG Pan. Application of GA_SJ in SVM parameter optimization[J]. Computer engineering and applications, 2015, 51(4): 110–114. [15] SAJAN K S, KUMAR V, TYAGI B. Genetic algorithm based support vector machine for on-line voltage stability monitoring[J]. International journal of electrical power and energy systems, 2015, 73: 200–208. [16] CHOU J S, CHENG Minyuan, WU Yuwei, et al. Optimizing parameters of support vector machine using fast messy genetic algorithm for dispute classification[J]. Expert systems with applications, 2014, 41(8): 3955–3964. [17] DUAN Li, GUO Long, LIU Ke, et al. Characterization and classification of seven Citrus herbs by liquid chromatography–quadrupole time-of-flight mass spectrometry and genetic algorithm optimized support vector machines[J]. Journal of chromatography A, 2014, 1339: 118–127. [18] DORIGO M, GAMBARDELLA L M. Ant colony system: a cooperative learning approach to the traveling salesman problem[J]. IEEE transactions on evolutionary computation, 1997, 1(1): 53–66. [19] DORIGO M, STÜTZLE T. Ant colony optimization[M]. Cambridge: MIT Press, 2004. [20] 裴振兵, 陈雪波. 改进蚁群算法及其在机器人避障中的 应用[J]. 智能系统学报, 2015, 10(1): 90–96. [21] 第 1 期 李素，等：群智能算法优化支持向量机参数综述 ·79·
