·72· 智能系统学报 第13卷 乏理论指导，全凭经验，导致最终获得的参数不一 等还提出了一种可以自动选择核参数并且进行 定是最优的。网格参数优化算法的基本原理是：首 SVM训练的GASJ算法，该算法将随机搜索引入 先对指定的网格范围内的每一个点进行遍历，然后 到遗传算法当中，有效地提高了遗传算法的效率， 将每一个点转换为SVM的参数进行验证，最后选 使SVM具有较高的分类性能。 择误差最小网格点作为SVM的最优参数，该方法 为了提高SVM的精度和最小化训练时间， 十分耗时。梯度下降算法对初始值的选择十分敏 K.S.Sajan等6提出了使用遗传算法来获取SVM参 感，并且有些时候实验结果误差十分大，所以这些 数的最优值，并且应用到在线电压稳定性监控。 算法已经难以满足人们需求。因此设计高效的优化 J.S.Chou等1m提出了一种利用快速杂乱遗传算法 算法成为众多科研工作者的研究目标。 对SVM的参数进行优化，并且将其用于早期预测 群智能算法在参数优化方面取得了很多重要成 公私合作项目初始阶段的争议倾向当中。Li Duan 果，所以使用群智能算法来对SVM参数进行优化 等提出了一种使用遗传算法优化SVM参数，并 是一个不错的选择。下面主要讨论不同的群智能算 且该算法应用于7种柑橘草药的区分和分类当中。 法在SVM参数优化领域中的研究成果。 遗传算法在首次被提出用于SVM参数优化方 3.1遗传算法 法的时候，存在很多的问题，使得SVM的预测与分 3.1.1遗传算法简介 类精度不高。经过国内外学者不断地改进与研究， 遗传算法(genetic algorithm,GA)是一类模仿 提出了各种各样的改进遗传算法用于SVM参数优 生物界的进化规律演化而来的随机化搜索方法，是 化，使得SVM具有较高的分类预测性能，不会在一 由美国的J.H.Holland"教授提出的。遗传算法的主 定程度上过早陷人局部最优。遗传算法的应用研究 要原理是以C.R.Darwin的生物进化论和G.Mendel 显得格外活跃，而且利用遗传算法进行优化的能力 的遗传变异理论为基础，通过模仿自然界生物进化 也显著提高。 机制达到随机全局搜索和优化的目的。 3.2蚁群算法 遗传算法的主要特，点是直接对结构对象进行操 3.2.1蚁群算法简介 作、具有更好的全局寻优能力以及能自动获取和指 蚁群算法(ant colony optimization,.ACO)又称 导优化的搜索空间，自适应地调整搜索方向，不需 蚂蚁算法，是一种用来寻找最优解决方案的概率型 要确定的规则。由于基于遗传算法的这些优点，已 技术。它由意大利学者Marco Dorigo等9：20首次提 被广泛地应用于飞机间的冲突解脱问题，、集成供 出。蚁群算法的主要原理是：种群中单个蚂蚁在觅 应链问题以及机器学习等领域。 食的过程中可以在其经过的路径上留下一种称为信 3.1.2遗传算法优化支持向量机参数 息素的物质，并且在觅食的过程中能够感知到信息 在2006年，E.Avci和C.L.Huang'首次提出 素的强度，同时它们朝着信息素强度高的方向移 了基于遗传算法的支持向量机参数优化方法。 动，因此蚂蚁种群组成的集体觅食就表现为一种对 2015年，王琼瑶等提出了一种基于改进遗传算法 信息素的正反馈现象，从而逐渐逼近最优路径，找 的SVM参数优化模型，该模型将遗传算法与SVM 到最优路径。 结合，利用遗传算法将对SVM具有重要意义的惩 蚁群算法主要特点是通过正反馈、分布式协作 罚参数、核参数和损失函数同时优化。解决了SVM 来寻找最优路径。蚁群算法就是根据这一特点，通 算法在回归预测时参数选取不当导致过学习和欠学 过模仿蚂蚁的行为，从而实现寻优。自蚁群算法提 习的问题。实验结果也表明改进的算法较大地提高 出以来，引起了国内外研究人员的极大兴趣，对该 了SVM算法整体的寻优能力。 算法进行了广泛的研究，并且该算法成功应用于机 针对基于遗传算法对SVM参数优化出现的训 器人避障问题2)、路径规划问题22以及工作车间计 练时间较长以及分类精度较低等问题，孟滔等通 划问题21等领域。 过重新定义遗传算法参数的寻优范围，提出了一种 3.2.2蚁群算法优化支持向量机参数 自适应遗传算法。算法通过网格搜索法确定最佳参 最初蚁群算法是针对离散优化问题而提出的一 数的最小寻优范围，有效地帮助常规遗传算法避免 种智能算法，但是SVM参数优化是一个连续优化 陷入局部最优解，同时保证了搜索的效率，并且改 的问题。因此，在2003年汪镭等2首次提出了一种 善了基于常规遗传算法得到的惩罚参数C过大，导 应用在连续空间寻优问题求解的蚁群算法，该算法 致分类准确率较低的问题。针对此问题，高雷阜 有效地解决了蚁群算法所存在的问题，为SVM乏理论指导，全凭经验，导致最终获得的参数不一 定是最优的。网格参数优化算法的基本原理是：首 先对指定的网格范围内的每一个点进行遍历，然后 将每一个点转换为 SVM 的参数进行验证，最后选 择误差最小网格点作为 SVM 的最优参数，该方法 十分耗时。梯度下降算法对初始值的选择十分敏 感，并且有些时候实验结果误差十分大，所以这些 算法已经难以满足人们需求。因此设计高效的优化 算法成为众多科研工作者的研究目标。 群智能算法在参数优化方面取得了很多重要成 果，所以使用群智能算法来对 SVM 参数进行优化 是一个不错的选择。下面主要讨论不同的群智能算 法在 SVM 参数优化领域中的研究成果。 3.1 遗传算法 3.1.1 遗传算法简介 遗传算法 (genetic algorithm, GA) 是一类模仿 生物界的进化规律演化而来的随机化搜索方法，是 由美国的 J.H.Holland[7]教授提出的。遗传算法的主 要原理是以 C.R.Darwin 的生物进化论和 G.Mendel 的遗传变异理论为基础，通过模仿自然界生物进化 机制达到随机全局搜索和优化的目的。 遗传算法的主要特点是直接对结构对象进行操 作、具有更好的全局寻优能力以及能自动获取和指 导优化的搜索空间，自适应地调整搜索方向，不需 要确定的规则。由于基于遗传算法的这些优点，已 被广泛地应用于飞机间的冲突解脱问题[8] 、集成供 应链问题[9]以及机器学习[10]等领域。 3.1.2 遗传算法优化支持向量机参数 在 2006 年，E. Avci[11]和 C.L.Huang[12]首次提出 了基于遗传算法的支持向量机参数优化方法。 2015 年，王琼瑶等[13]提出了一种基于改进遗传算法 的 SVM 参数优化模型，该模型将遗传算法与 SVM 结合，利用遗传算法将对 SVM 具有重要意义的惩 罚参数、核参数和损失函数同时优化。解决了 SVM 算法在回归预测时参数选取不当导致过学习和欠学 习的问题。实验结果也表明改进的算法较大地提高 了 SVM 算法整体的寻优能力。 针对基于遗传算法对 SVM 参数优化出现的训 练时间较长以及分类精度较低等问题，孟滔等[14]通 过重新定义遗传算法参数的寻优范围，提出了一种 自适应遗传算法。算法通过网格搜索法确定最佳参 数的最小寻优范围，有效地帮助常规遗传算法避免 陷入局部最优解，同时保证了搜索的效率，并且改 善了基于常规遗传算法得到的惩罚参数 C 过大，导 致分类准确率较低的问题。针对此问题，高雷阜 等 [15]还提出了一种可以自动选择核参数并且进行 SVM 训练的 GA_SJ 算法，该算法将随机搜索引入 到遗传算法当中，有效地提高了遗传算法的效率， 使 SVM 具有较高的分类性能。 为了提高 SVM 的精度和最小化训练时间， K.S.Sajan 等 [16]提出了使用遗传算法来获取 SVM 参 数的最优值，并且应用到在线电压稳定性监控。 J.S.Chou 等 [17]提出了一种利用快速杂乱遗传算法 对 SVM 的参数进行优化，并且将其用于早期预测 公私合作项目初始阶段的争议倾向当中。Li Duan 等 [18]提出了一种使用遗传算法优化 SVM 参数，并 且该算法应用于 7 种柑橘草药的区分和分类当中。 遗传算法在首次被提出用于 SVM 参数优化方 法的时候，存在很多的问题，使得 SVM 的预测与分 类精度不高。经过国内外学者不断地改进与研究， 提出了各种各样的改进遗传算法用于 SVM 参数优 化，使得 SVM 具有较高的分类预测性能，不会在一 定程度上过早陷入局部最优。遗传算法的应用研究 显得格外活跃，而且利用遗传算法进行优化的能力 也显著提高。 3.2 蚁群算法 3.2.1 蚁群算法简介 蚁群算法 (ant colony optimization, ACO) 又称 蚂蚁算法，是一种用来寻找最优解决方案的概率型 技术。它由意大利学者 Marco Dorigo 等 [19-20]首次提 出。蚁群算法的主要原理是：种群中单个蚂蚁在觅 食的过程中可以在其经过的路径上留下一种称为信 息素的物质，并且在觅食的过程中能够感知到信息 素的强度，同时它们朝着信息素强度高的方向移 动，因此蚂蚁种群组成的集体觅食就表现为一种对 信息素的正反馈现象，从而逐渐逼近最优路径，找 到最优路径。 蚁群算法主要特点是通过正反馈、分布式协作 来寻找最优路径。蚁群算法就是根据这一特点，通 过模仿蚂蚁的行为，从而实现寻优。自蚁群算法提 出以来，引起了国内外研究人员的极大兴趣，对该 算法进行了广泛的研究，并且该算法成功应用于机 器人避障问题[21] 、路径规划问题[22]以及工作车间计 划问题[23]等领域。 3.2.2 蚁群算法优化支持向量机参数 最初蚁群算法是针对离散优化问题而提出的一 种智能算法，但是 SVM 参数优化是一个连续优化 的问题。因此，在 2003 年汪镭等[24]首次提出了一种 应用在连续空间寻优问题求解的蚁群算法，该算法 有效地解决了蚁群算法所存在的问题，为 SVM ·72· 智 能 系 统 学 报 第 13 卷