第1期 李素，等：群智能算法优化支持向量机参数综述 。73· 选择了最优的参数且提高了SVM的分类精度。针 复杂度较高，运行时间较长，这些还是一个亟待解 对SVM参数优化是一个连续优化的问题，肖国荣 决的问题。 等2也提出了一种改进蚁群优化算法，用于SVM 3.3粒子群算法 参数寻优。且实验结果表明，采用最优参数建立的 3.3.1粒子群算法简介 网络入侵检测模型，该模型对网络入侵的正确率和 粒子群算法(particle swarm optimization,PSO) 检测速度都有显著提高。 最早由Eberhart和Kennedy1.于1995年提出，它 随着研究的不断进步，蚁群算法拓展到解决连 的基本概念源于对鸟群觅食行为的研究。粒子群算 续域问题当中也遇到了各种各样的困难，由于连续 法的主要原理是：在对动物群体运动行为观察的基 空间的路径不是实实在在地存在，所以需要进行改 础上，借鉴群体中的个体对信息的共享使整个群体 进。在2015年，高雷阜等2提出了一种改进的蚁群 的运动在问题求解空间中产生，从无序到有序的演 算法用来优化SVM参数，主要从对信息素的定义 变过程，最终获得最优解。 方式及留存方式、蚁群搜索寻优方式、蚁群行进方 该算法是一种全局并行寻优算法，相比较于其 式三方面进行改进。改进的蚁群算法在其搜索操作 他优化算法，具有进化时间短、寻优精度高等优 中加入了有向搜索，同时将信息素的更新引入时变 点3)。自粒子群算法提出以来，已成功应用于求解 函数，采取和迭代次数、目标函数值相关的动态更 旅行商问题3、电容器分配问题以及机器学习 新策略。该算法虽然为SVM的核函数参数优化提 等相关领域。 供了一种可行的方法，但是算法的复杂度较大，运 3.3.2粒子群算法优化支持向量机参数 行时间较长，还有待改进。 普通的粒子群算法存在后期趋同性严重、后期 SVM是智能故障诊断中广泛使用的机器学习 收敛速度缓慢以及易陷入局部极小点等缺点。针对 方法，同时如何寻找到能够区分不同故障的有利条 普通粒子群存在的缺点，单黎黎6等提出了一种改 件和优化SVM参数后使其具有良好特征被认为是 进的粒子群算法实现SVM参数的寻优。该算法为 高度影响SVM的最终诊断精度的两个最重要问 了同时克服这些缺陷，在引入动量项的同时使得粒 题。所以Zhang Xiaoli等2n提出了一种蚁群优化算 子不仅跟随全局和局部最优解，还会跟随任意一个 法用于优化SVM参数并且应用于旋转机械的智能 粒子的个体极值以达到既缓和后期震荡又解决后期 故障诊断当中。与其他方法相比，实验结果表明本 趋同的目的。通过函数仿真实验验证了基于改进的 文提出的方法可以获得更好的效果。Han Pu等2例 粒子群算法具有寻优精度高、收敛速度快等优势。 提出了一种蚁群优化算法优化SVM的参数，并且 为了解决普通粒子群算法存在的缺点，毛耀宗等7 应用于煤灰融合温度预测当中，实验结果显示本文 也提出了一种基于粒子群算法，并且加入图形处理 器加速的SVM参数优化方法。为了快速寻找最优 中所描述的优化算法可以使SVM取得最优参数组 参数组合，该方法利用粒子群算法的收敛速度快、 合，防止陷人局部最优，最终表明此模型可以实现 简单易行等特点，并且加入图形处理器并行化处理 更好的预测性能。R.Aalizadeh等2提出了一种通 能力计算每个参数的分类准确率，进一步提升在一 过蚁群算法优化SVM参数模型并且应用于预测新 定的搜索空间内寻找最佳参数组合的计算速度。这 出现的污染物对水跳蚤毒性的影响。实验结果表 一过程避免了穷尽所有可能的情况，同时也可以得 明，该模型被成功地应用于附加的评估集，并且对 到满意的结果。实验结果表明这种方法能获得满意 于发现落入所定义的适用性域内的化合物的预测结 的预测准确率并且降低了程序的寻优时间。 果是非常准确的。HB.Alwan等o提出了一种混合 粒子群算法在SVM参数优化方面得到进一步 变量蚁群优化算法用来进行特征子集选择和调整 的研究，通过粒子群算法寻找到的最优参数使得 SVM参数，且结果表明该方法在分类精度和特征子 SVM的分类预测精度明显提高。例如，王喜宾等B涮 集选择方面较其他方法更加有效。 提出了粒子群模式搜索算法来对SVM的参数进行 综上所述，蚁群算法应用在SVM参数优化方 优化。实验结果表明，搜索到的最优参数可以达到 面取得很大进展。从最初只为了解决离散优化问题 较高的正确率；胡云艳等B提出了一种粒子群算法 被提出，到如今经过国内外学者的研究与改进，蚁 对SVM参数进行优化，此算法应用到模拟电路诊 群算法已经能很好地应用于SVM参数的连续优化 断当中，提高了模拟电路诊断的正确率。郭凤仪等0 问题当中。经过各种实验结果表明，蚁群算法在参 提出了基于粒子群算法参数优化的SVM模型，在 数优化方面具有良好的鲁棒性和较强的全局搜索能 拟合精度方面有很大的提高，并且具有较好的泛化 力。但是该算法依然存在一些问题，如算法的时间 能力。选择了最优的参数且提高了 SVM 的分类精度。针 对 SVM 参数优化是一个连续优化的问题，肖国荣 等 [25]也提出了一种改进蚁群优化算法，用于 SVM 参数寻优。且实验结果表明，采用最优参数建立的 网络入侵检测模型，该模型对网络入侵的正确率和 检测速度都有显著提高。 随着研究的不断进步，蚁群算法拓展到解决连 续域问题当中也遇到了各种各样的困难，由于连续 空间的路径不是实实在在地存在，所以需要进行改 进。在 2015 年，高雷阜等[26]提出了一种改进的蚁群 算法用来优化 SVM 参数，主要从对信息素的定义 方式及留存方式、蚁群搜索寻优方式、蚁群行进方 式三方面进行改进。改进的蚁群算法在其搜索操作 中加入了有向搜索，同时将信息素的更新引入时变 函数，采取和迭代次数、目标函数值相关的动态更 新策略。该算法虽然为 SVM 的核函数参数优化提 供了一种可行的方法，但是算法的复杂度较大，运 行时间较长，还有待改进。 SVM 是智能故障诊断中广泛使用的机器学习 方法，同时如何寻找到能够区分不同故障的有利条 件和优化 SVM 参数后使其具有良好特征被认为是 高度影响 SVM 的最终诊断精度的两个最重要问 题。所以 Zhang Xiaoli 等 [27]提出了一种蚁群优化算 法用于优化 SVM 参数并且应用于旋转机械的智能 故障诊断当中。与其他方法相比，实验结果表明本 文提出的方法可以获得更好的效果。Han Pu 等 [28] 提出了一种蚁群优化算法优化 SVM 的参数，并且 应用于煤灰融合温度预测当中，实验结果显示本文 中所描述的优化算法可以使 SVM 取得最优参数组 合，防止陷入局部最优，最终表明此模型可以实现 更好的预测性能。R.Aalizadeh 等 [29]提出了一种通 过蚁群算法优化 SVM 参数模型并且应用于预测新 出现的污染物对水跳蚤毒性的影响。实验结果表 明，该模型被成功地应用于附加的评估集，并且对 于发现落入所定义的适用性域内的化合物的预测结 果是非常准确的。H. B.Alwan 等 [30]提出了一种混合 变量蚁群优化算法用来进行特征子集选择和调整 SVM 参数，且结果表明该方法在分类精度和特征子 集选择方面较其他方法更加有效。 综上所述，蚁群算法应用在 SVM 参数优化方 面取得很大进展。从最初只为了解决离散优化问题 被提出，到如今经过国内外学者的研究与改进，蚁 群算法已经能很好地应用于 SVM 参数的连续优化 问题当中。经过各种实验结果表明，蚁群算法在参 数优化方面具有良好的鲁棒性和较强的全局搜索能 力。但是该算法依然存在一些问题，如算法的时间 复杂度较高，运行时间较长，这些还是一个亟待解 决的问题。 3.3 粒子群算法 3.3.1 粒子群算法简介 粒子群算法 (particle swarm optimization, PSO) 最早由 Eberhart 和 Kennedy[31-32]于 1995 年提出，它 的基本概念源于对鸟群觅食行为的研究。粒子群算 法的主要原理是：在对动物群体运动行为观察的基 础上，借鉴群体中的个体对信息的共享使整个群体 的运动在问题求解空间中产生，从无序到有序的演 变过程，最终获得最优解。 该算法是一种全局并行寻优算法，相比较于其 他优化算法，具有进化时间短、寻优精度高等优 点 [33]。自粒子群算法提出以来，已成功应用于求解 旅行商问题[34] 、电容器分配问题[4]以及机器学习[35] 等相关领域。 3.3.2 粒子群算法优化支持向量机参数 普通的粒子群算法存在后期趋同性严重、后期 收敛速度缓慢以及易陷入局部极小点等缺点。针对 普通粒子群存在的缺点，单黎黎[36]等提出了一种改 进的粒子群算法实现 SVM 参数的寻优。该算法为 了同时克服这些缺陷, 在引入动量项的同时使得粒 子不仅跟随全局和局部最优解, 还会跟随任意一个 粒子的个体极值以达到既缓和后期震荡又解决后期 趋同的目的。通过函数仿真实验验证了基于改进的 粒子群算法具有寻优精度高、收敛速度快等优势。 为了解决普通粒子群算法存在的缺点，毛耀宗等[37] 也提出了一种基于粒子群算法，并且加入图形处理 器加速的 SVM 参数优化方法。为了快速寻找最优 参数组合，该方法利用粒子群算法的收敛速度快、 简单易行等特点，并且加入图形处理器并行化处理 能力计算每个参数的分类准确率，进一步提升在一 定的搜索空间内寻找最佳参数组合的计算速度。这 一过程避免了穷尽所有可能的情况，同时也可以得 到满意的结果。实验结果表明这种方法能获得满意 的预测准确率并且降低了程序的寻优时间。 粒子群算法在 SVM 参数优化方面得到进一步 的研究，通过粒子群算法寻找到的最优参数使得 SVM 的分类预测精度明显提高。例如，王喜宾等[38] 提出了粒子群模式搜索算法来对 SVM 的参数进行 优化。实验结果表明，搜索到的最优参数可以达到 较高的正确率；胡云艳等[39]提出了一种粒子群算法 对 SVM 参数进行优化，此算法应用到模拟电路诊 断当中，提高了模拟电路诊断的正确率。郭凤仪等[40] 提出了基于粒子群算法参数优化的 SVM 模型，在 拟合精度方面有很大的提高，并且具有较好的泛化 能力。 第 1 期 李素，等：群智能算法优化支持向量机参数综述 ·73·