第11卷第1期 智能系统学报 Vol.11 No.1 2016年2月 CAAI Transactions on Intelligent Systems Feh.2016 D0I:10.11992/is.201510002 网络出版地址:http:/www.cnki.net/kcms/detail/23.1538.TP.20160105.1532.006.html 蚁群优化算法的理论研究进展 夏小云12,周育人3 (1.江西理工大学信息工程学院,江西赣州341000:2.华南理工大学计算机与工程学院,广东广州510006: 3.中山大学数据科学与计算机学院,广东广州510006) 摘要:蚁群优化算法的理论研究有助于更好地理解算法的原理以及指导算法应用。回顾了蚁群优化算法的收敛 性分析、时间复杂度分析与近似性能分析等理论研究进展,分析了其理论研究的对象从简单的拟布尔函数转为组合 优化问题以及实际应用问题。从蚁群算法理论分析方法和研究问题类型2个方面对蚁群算法的理论研究进行综 述。介绍了适应值划分、漂移分析等最基本的数学分析工具,对时间复杂性及近似性能等重要问题进行了探讨。总 结比较了蚁群算法求解各类问题的性能,指出这些研究能够更加深入了解蚁群算法的运行机制。最后,探讨了目前 蚁群算法理论研究中亟待解决的问题,指出引入新的分析工具以及研究更为复杂的算法模型等是值得进一步研究 的方向和内容。 关键词:蚁群优化算法:理论研究:组合优化:收敛性:时间复杂度:近似性能 中图分类号:TP18:TP301.6文献标志码:A文章编号:1673-4785(2016)01-0027-10 中文引用格式:夏小云,周育人.蚊群优化算法的理论研究进展[J].智能系统学报,2016,11(1):2736. 英文引用格式:XIA Xiaoyun,ZHOU Yuren.Advances in theoretical research of ant colony optimization[J】.CAAI Transactions on Intelligent Systems,2016,11(1):27-36. Advances in theoretical research of ant colony optimization XIA Xiaoyun'.2,ZHOU Yuren (1.School of Information Engineering,Jiangxi University of Science and Technology,Ganzhou 341000,China;2.School of Computer Science and Engineering,South China University of Technology,Guangzhou 510006.China;3.School of Data and Computer Science, Sun Yat-Sen University,Guangzhou 510006,China) Abstract:Theoretical investigations of the ant colony optimization (ACO)algorithm can help to improve our under- standing of the theoretical basis of the algorithm and guide its appropriate application.Theoretical research on ACO has included analyses of early convergence,time complexity,and approximation performance.Investigation objec- tives have ranged from simple Boolean functions,to combinatorial optimization and practical application problems, to the analysis of NP-hardness problems.In this paper,we survey state-of-the-art theoretical ACO research from two aspects:the most common mathematical techniques and those less common.In addition,we introduce two mathe- matical analysis tools,including fitness value partitioning and drift analysis,and discuss important ACO issues,in- cluding ACO runtime analysis and approximation performance.More specifically,we provide comparative results for ACO's performance in solving various problems.These studies provide a direction for better understanding the working principles of ACO.Finally,we highlight further research directions,including the introduction of new ana- lytical tools and the study of more complicated algorithmic models. Keywords:ant colony optimization;theoretical research;combinatorial optimization;convergence;time complexi- ty:approximation performance 随机启发式搜索(randomized search heuristics, 应用中取得了丰富的成果。这类启发式算法主要包 R$Hs)算法是近年来发展较快的研究领域,在许多 括随机局部搜索(randomized local search,RLS)、禁 忌搜索(tabu search)、模拟退火(simulated annea- 收稿日期:2015-10-07.网络出版日期:2016-01-05. 基金项目:国家自然科学基金资助项目(61170081,61472143):江西省 ling,SA)、演化算法(evolutionary algorithms,EAs) 自然科学基金资助项目(20151BAB217008). 以及粒子群优化算法(particle swarm optimization, 通信作者:周育人.E-mail:yrzhou@scut.cdu.cn
第 11 卷第 1 期 智 能 系 统 学 报 Vol.11 №.1 2016 年 2 月 CAAI Transactions on Intelligent Systems Feb. 2016 DOI:10.11992 / tis.201510002 网络出版地址:http: / / www.cnki.net / kcms/ detail / 23.1538.TP.20160105.1532.006.html 蚁群优化算法的理论研究进展 夏小云1,2 ,周育人3 (1.江西理工大学 信息工程学院,江西 赣州 341000;2.华南理工大学 计算机与工程学院,广东 广州 510006; 3.中山大学 数据科学与计算机学院,广东 广州 510006) 摘 要:蚁群优化算法的理论研究有助于更好地理解算法的原理以及指导算法应用。 回顾了蚁群优化算法的收敛 性分析、时间复杂度分析与近似性能分析等理论研究进展,分析了其理论研究的对象从简单的拟布尔函数转为组合 优化问题以及实际应用问题。 从蚁群算法理论分析方法和研究问题类型 2 个方面对蚁群算法的理论研究进行综 述。 介绍了适应值划分、漂移分析等最基本的数学分析工具,对时间复杂性及近似性能等重要问题进行了探讨。 总 结比较了蚁群算法求解各类问题的性能,指出这些研究能够更加深入了解蚁群算法的运行机制。 最后,探讨了目前 蚁群算法理论研究中亟待解决的问题,指出引入新的分析工具以及研究更为复杂的算法模型等是值得进一步研究 的方向和内容。 关键词:蚁群优化算法;理论研究;组合优化;收敛性;时间复杂度;近似性能 中图分类号:TP18; TP301.6 文献标志码:A 文章编号:1673⁃4785(2016)01⁃0027⁃10 中文引用格式:夏小云,周育人.蚁群优化算法的理论研究进展[J]. 智能系统学报, 2016, 11(1): 27⁃36. 英文引用格式:XIA Xiaoyun,ZHOU Yuren. Advances in theoretical research of ant colony optimization[J]. CAAI Transactions on Intelligent Systems, 2016, 11(1): 27⁃36. Advances in theoretical research of ant colony optimization XIA Xiaoyun 1, 2 ,ZHOU Yuren 3 (1. School of Information Engineering, Jiangxi University of Science and Technology, Ganzhou 341000, China; 2. School of Computer Science and Engineering, South China University of Technology, Guangzhou 510006, China; 3. School of Data and Computer Science, Sun Yat⁃Sen University, Guangzhou 510006, China) Abstract:Theoretical investigations of the ant colony optimization (ACO) algorithm can help to improve our under⁃ standing of the theoretical basis of the algorithm and guide its appropriate application. Theoretical research on ACO has included analyses of early convergence, time complexity, and approximation performance. Investigation objec⁃ tives have ranged from simple Boolean functions, to combinatorial optimization and practical application problems, to the analysis of NP⁃hardness problems. In this paper, we survey state⁃of⁃the⁃art theoretical ACO research from two aspects: the most common mathematical techniques and those less common. In addition, we introduce two mathe⁃ matical analysis tools, including fitness value partitioning and drift analysis, and discuss important ACO issues, in⁃ cluding ACO runtime analysis and approximation performance. More specifically, we provide comparative results for ACO’ s performance in solving various problems. These studies provide a direction for better understanding the working principles of ACO. Finally, we highlight further research directions, including the introduction of new ana⁃ lytical tools and the study of more complicated algorithmic models. Keywords:ant colony optimization; theoretical research; combinatorial optimization; convergence; time complexi⁃ ty; approximation performance 收稿日期:2015⁃10⁃07. 网络出版日期:2016⁃01⁃05. 基金项目:国家自然科学基金资助项目( 61170081, 61472143);江西省 自然科学基金资助项目(20151BAB217008). 通信作者:周育人.E⁃mail:yrzhou@ scut.edu.cn. 随机启发式搜索( randomized search heuristics, RSHs)算法是近年来发展较快的研究领域,在许多 应用中取得了丰富的成果。 这类启发式算法主要包 括随机局部搜索(randomized local search, RLS)、禁 忌搜索( tabu search)、模拟退火 ( simulated annea⁃ ling, SA) 、演化算法( evolutionary algorithms, EAs) 以及粒子群优化算法( particle swarm optimization
·28 智能系统学报 第11卷 PS0)等。这些算法经常用来作为一些难解优化问 一步提出使用常微分方程逼近AC0随机过程,并基 题的近似求解方法。由于这类智能算法的智能性、 于此来对ACO算法的收敛速度进行粗糙的理论预 普适性以及全局搜索能力,使得其为求解NP难解 测。国内学者黄翰、郝志蜂等2)根据蚁群算法的特 优化问题开辟了一条新的途径。蚁群优化算法(ant 性,基于吸收态Markov过程的数学模型,提出了蚁 colony optimization,ACO)是这类算法的杰出代表 群算法的收敛速度分析理论,并给出了ACO-难和 之 ACO-易两类问题的界定方法。蚁群算法理论研究 蚁群算法是受蚂蚁群体觅食行为的启发,由意 的另一个方向是将蚁群算法和其他学习算法进行比 大利学者Dorigo等]提出的一种基于种群的模拟 较,如Birattari2】、Meuleau2]等分别建立了ACO 进化算法。蚂蚁觅食过程中借助于信息素(phero- 与最优控制加强学习算法、随机梯度下降算法的 mone)这种化学物质进行信息的交流和传递,能够 联系。 根据所走路径长度自主选择下一个将要行走的地 近年来,以遗传算法为基础的演化算法时间复 方,并表现出正反馈现象。这种正反馈机制能帮助 杂性研究取得了一些重要进展。以Drostel山、We 蚂蚁很快找到最优觅食路径。蚁群算法以信息素更 gener!等为代表的德国学派分析了群体规模为】 新和概率转移为基本操作,并以此指导搜索方向。 的简单爬山演化算法(1+1)EA求解一些拟布尔函 蚁群算法作为一种新型的智能仿生类进化算法,已 数(OneMax,LeadingOnes,Trap Function)的平均计 在许多领域获得了广泛的应用。例如在TSP(rave- 算时间,取得了一系列研究成果。He Jun和Yao Xin使用吸收马尔可夫链[16]、漂移分析]等工具建 ling salesman problem)问题、二次规划问题、函数优 化、网络路由优化、机器人路径规划、数据挖掘、作业 立演化算法时间复杂性分析模型和方法以及分析群 流程规划、图形着色等领域获得了广泛的应用,并取 体在演化算法时间复杂性分析中的作用)等。这 得了较好的效果,具体可以参考张军等的译著)。 些研究极大地激发和推动了蚁群算法的理论研究工 此外,国内学者段海滨等[4)对蚁群算法的应用领域 作。 蚁群算法最初用于旅行商问题的求解,进而推 的研究成果做了较全面的综述。 广到各种组合优化问题(甚至连续函数优化问题)。 自从蚁群算法提出后,许多研究者在蚁群算法 Dorigo和Blum3)总结了截至2005年蚁群算法理论 的设计及应用方面取得了丰富的研究成果。大量的 研究及应用中取得的阶段性研究成果,并特别指出 实验也表明其针对一些优化问题的求解非常有效。 蚁群算法时间复杂性将是今后一个重要的、有意义 然而,从理论上来看,蚁群算法缺乏比较完备的理论 的研究方向,将其列为蚁群算法理论研究的公开性 基础。目前更迫切地希望为该算法建立坚实的理论 问题。 基础[0,)],以帮助更好地理解算法的运行机制,了 时间复杂度研究是指算法找到优化问题最优解 解算法对于求解什么类型的问题有效。为算法的设 或近似最优解的计算时间,是衡量算法性能最基本、 计,参数选取以及算法的运用指明改进的方向。当 最重要的指标。W.J.Gutjahr]总结了截止2007年 前蚁群算法理论研究远远落后于算法的数值实验和 的蚁群算法时间复杂性研究成果和方法,并指出了 真实应用,主要原因在于随机启发式算法理论分析 一些发展方向。目前,蚁群算法时间复杂性研究正 的艰难性。蚁群算法具有随机性、群体性、普适 处于启动阶段,研究内容、深度都非常有限,很多基 性等特性,这些特征使得算法表现出复杂的动态行 本问题尚未涉及。当前仅仅研究了蚂蚁规模为1的 为,由此引出的复杂多变的随机过程增加了算法理 1-ANT的情形,而与真实的蚁群算法相关的问题,如 论分析的难度,经典算法设计与分析的方法和工具 多蚂蚁蚁群系统求解真实的组合优化问题等,都有 也难以直接应用于这类新型随机仿生算法。 待深入研究。可以预计,这些研究将会有重要意义, 在2006年之前,研究人员主要关注于AC0收 同时又将是富有挑战性的、艰难的工作。目前ACO 敛性分析21,2以及AC0算法与其他优化算法的 算法理论研究主要是关于一些人工拟布尔函数以及 关系[2s],从理论上探素算法为什么有效。Gutjahr!町 ,些经典的组合优化问题的时间复杂性分析。最具 提出了一个基于图的蚂蚁系统(graph-based ant sys- 代表性的如国内学者Zhou Yuren【as)研究了AC0求 tem,GBAS),Gutjahr首次证明了该模型蚁群算法 解经典TSP问题的时间复杂度,这也是ACO算法在 在一定条件下以概率1-£收敛到最优解,其中ε为 NP难解问题理论分析上的首项工作。 任意小的常数且s>0。Stutzle and Dorigo20等给出 一般情况下,对于典型的难问题一NP-完全 了普通蚁群算法(ant colony system,ACS)和MMAS ()non-deterministic polynomial-complete hard) (max-min ant system)的收敛性证明。Gutjahr2]进 化问题,人们找不到多项式时间的确定性算法。由
PSO)等。 这些算法经常用来作为一些难解优化问 题的近似求解方法。 由于这类智能算法的智能性、 普适性以及全局搜索能力,使得其为求解 NP 难解 优化问题开辟了一条新的途径。 蚁群优化算法(ant colony optimization, ACO) 是这类算法的杰出代表 之一。 蚁群算法是受蚂蚁群体觅食行为的启发,由意 大利学者 Dorigo 等[1] 提出的一种基于种群的模拟 进化算法。 蚂蚁觅食过程中借助于信息素( phero⁃ mone)这种化学物质进行信息的交流和传递,能够 根据所走路径长度自主选择下一个将要行走的地 方,并表现出正反馈现象。 这种正反馈机制能帮助 蚂蚁很快找到最优觅食路径。 蚁群算法以信息素更 新和概率转移为基本操作,并以此指导搜索方向。 蚁群算法作为一种新型的智能仿生类进化算法,已 在许多领域获得了广泛的应用。 例如在 TSP(trave⁃ ling salesman problem)问题、二次规划问题、 函数优 化、网络路由优化、机器人路径规划、数据挖掘、作业 流程规划、图形着色等领域获得了广泛的应用,并取 得了较好的效果,具体可以参考张军等的译著[2] 。 此外,国内学者段海滨等[4] 对蚁群算法的应用领域 的研究成果做了较全面的综述。 自从蚁群算法提出后,许多研究者在蚁群算法 的设计及应用方面取得了丰富的研究成果。 大量的 实验也表明其针对一些优化问题的求解非常有效。 然而,从理论上来看,蚁群算法缺乏比较完备的理论 基础。 目前更迫切地希望为该算法建立坚实的理论 基础[10,13] ,以帮助更好地理解算法的运行机制,了 解算法对于求解什么类型的问题有效。 为算法的设 计,参数选取以及算法的运用指明改进的方向。 当 前蚁群算法理论研究远远落后于算法的数值实验和 真实应用,主要原因在于随机启发式算法理论分析 的艰难性[15] 。 蚁群算法具有随机性、群体性、普适 性等特性,这些特征使得算法表现出复杂的动态行 为,由此引出的复杂多变的随机过程增加了算法理 论分析的难度,经典算法设计与分析的方法和工具 也难以直接应用于这类新型随机仿生算法。 在 2006 年之前,研究人员主要关注于 ACO 收 敛性分析[19⁃21,26]以及 ACO 算法与其他优化算法的 关系[25] ,从理论上探索算法为什么有效。 Gutjahr [19] 提出了一个基于图的蚂蚁系统(graph⁃based ant sys⁃ tem, GBAS), Gutjahr 首次证明了该模型蚁群算法 在一定条件下以概率 1⁃ε 收敛到最优解,其中 ε 为 任意小的常数且 ε>0。 Stützle and Dorigo [20] 等给出 了普通蚁群算法( ant colony system,ACS) 和 MMAS (max⁃min ant system) 的收敛性证明。 Gutjahr [21] 进 一步提出使用常微分方程逼近 ACO 随机过程,并基 于此来对 ACO 算法的收敛速度进行粗糙的理论预 测。 国内学者黄翰、郝志峰等[22] 根据蚁群算法的特 性,基于吸收态 Markov 过程的数学模型,提出了蚁 群算法的收敛速度分析理论,并给出了 ACO⁃难和 ACO⁃易两类问题的界定方法。 蚁群算法理论研究 的另一个方向是将蚁群算法和其他学习算法进行比 较, 如 Birattari [23] 、Meuleau [24] 等分别建立了 ACO 与最优控制加强学习算法、随机梯度下降算法的 联系。 近年来,以遗传算法为基础的演化算法时间复 杂性研究取得了一些重要进展。 以 Droste [11] 、We⁃ gener [12]等为代表的德国学派分析了群体规模为 1 的简单爬山演化算法(1+1)EA 求解一些拟布尔函 数(OneMax, LeadingOnes, Trap Function)的平均计 算时间,取得了一系列研究成果。 He Jun 和 Yao Xin 使用吸收马尔可夫链[16] 、漂移分析[17]等工具建 立演化算法时间复杂性分析模型和方法以及分析群 体在演化算法时间复杂性分析中的作用[18] 等。 这 些研究极大地激发和推动了蚁群算法的理论研究工 作。 蚁群算法最初用于旅行商问题的求解,进而推 广到各种组合优化问题(甚至连续函数优化问题)。 Dorigo 和 Blum [3] 总结了截至 2005 年蚁群算法理论 研究及应用中取得的阶段性研究成果,并特别指出 蚁群算法时间复杂性将是今后一个重要的、有意义 的研究方向,将其列为蚁群算法理论研究的公开性 问题。 时间复杂度研究是指算法找到优化问题最优解 或近似最优解的计算时间,是衡量算法性能最基本、 最重要的指标。 W.J.Gutjahr [10] 总结了截止 2007 年 的蚁群算法时间复杂性研究成果和方法,并指出了 一些发展方向。 目前,蚁群算法时间复杂性研究正 处于启动阶段,研究内容、深度都非常有限,很多基 本问题尚未涉及。 当前仅仅研究了蚂蚁规模为 1 的 1⁃ANT 的情形,而与真实的蚁群算法相关的问题,如 多蚂蚁蚁群系统求解真实的组合优化问题等,都有 待深入研究。 可以预计,这些研究将会有重要意义, 同时又将是富有挑战性的、艰难的工作。 目前 ACO 算法理论研究主要是关于一些人工拟布尔函数以及 一些经典的组合优化问题的时间复杂性分析。 最具 代表性的如国内学者 Zhou Yuren [45]研究了 ACO 求 解经典 TSP 问题的时间复杂度,这也是 ACO 算法在 NP 难解问题理论分析上的首项工作。 一般情 况 下, 对 于 典 型 的 难 问 题—NP⁃完 全 (难) ( non⁃deterministic polynomial⁃complete hard)优 化问题,人们找不到多项式时间的确定性算法。 由 ·28· 智 能 系 统 学 报 第 11 卷
第1期 夏小云,等:蚁群优化算法的理论研究进展 ·29. 于NP难解组合优化问题本身结构的复杂性,确定 近似比r为:若为最大化问题,r=max f(D) 性算法(穷举法、分支界定、动态规划等)无法保证 ):若为最 在多项式内获得精确解,转而寻求一些近似算 (。也就是说,算法A能获得 小化问题,r=max A(D 法6。蚁群优化作为随机启发式方法,不能期待其 在多项式时间内找到NP-完全(难)优化问题所有实 r一近似比。若r=1,表明算法找到最优解。 例的精确解。实际上,蚁群算法在很多优化问题上 蚁群算法的启发来自于一个蚂蚁群体对食物源 扮演着近似算法的角色,一般用于获得满意解或者 的搜索,是一种杰出而具有代表性的群智能算法,对 近似解。因此蚁群优化算法的近似性能分析就变得 于其算法描述可以参考相关文献[1。AC0算法有 尤为重要。希望在平均多项式时间内获得近似最优 一些不同的变体,为了分析的方便,在当前理论分析 或者可接受的解,对于理解蚁群算法在NP难优化 方面,还是主要考虑一只蚂蚁的情况。下面给出蚁 问题上的工作原理以及寻求其能获得的近似性能非 群优化算法理论研究中用到的一个简单的ACO算 常关键,并将进一步推进蚁群算法的理论研究及应 法(1+1)蚂蚁算法((1+1)Ant Algorithm, 用进展。对于丰富和发展近似算法和组合优化理 (1+1)AA),其类似于演化算法理论分析中的 论,切实有效地解决一些实际问题具有重要现实意 (1+1)EA。不失一般性,考虑最小化问题。 义。 (1+1)AA算法描述如下 1 蚁群优化算法:模型、描述、变体 Algorithm 1:(1+1)AA Begin 1.1优化问题及算法描述 初始化:参数设置,信息素值,选择一个初始解 蚁群算法是一种随机启发式搜索方法,它具有 s,While(不满足终止条件) 较强的鲁棒性,优良的分布式计算机制并易于与其 使用构造过程构建一个新的解s': 他方法相结合等优,点。目前人们对蚁群算法的研究 选择:如果f(s')<f(s),则s=s';更新信息素值。 已经由当初单一的旅行商问题(TSP)领域渗透到了 End while 多个其他应用领域],由解决一维、静态优化问题 End 发展到解决多维、动态优化问题,由离散求解空间逐 (1+1)AA算法使用简单的爬山选择策略,如果 渐拓展到连续求解空间,使得该群智能算法在科学 当前蚂蚁解的函数值大于新的蚂蚁解的函数值,则 研究及实际问题求解中表现出了巨大的潜力和 当前蚂蚁解被新蚂蚁解替代。以下两节分别介绍理 优势。 论分析中蚁群算法解的构建以及信息素更新机制。 优化问题可以分为两类:连续的优化问题和离 1.2解的构建 散的优化问题。连续的优化问题是指其具有连续的 对于一个给定的优化问题,其解通过蚂蚁在一 变量、经常需要计算导数、使用牛顿方法或者线性规 个具有信息素值的构造图(construction graph)的边 划技术等。本文关注的是离散的优化问题。离散优 上随机游走获得。另外,蚁群算法也使用启发式信 化问题也称为组合优化问题,是指在有限的或者可 息来指导随机游走的方向。蚂蚁从构造图的任意一 数无限的潜在解集中搜索满足给定约束条件的最优 个初始状态出发,随机游走到下一个邻域结点。这 解。然而,组合优化问题通常包含大量的局部极值 个移动是基于概率规则,依赖于信息素和启发式 点,而且许多组合优化问题为NP完全(难)问题。 信息。 一个组合优化问题P通常可描述为一个三元 令G=(V,E)为一给定问题的构造图。To为 组(S,f,2),其中S为给定的由所有状态构成的搜 边e=(u,u)∈E上的信息素值,nao为启发式信 索空间,f:S→R*为目标函数,一般为最大化或者最 息。假设蚂蚁当前所在位置为顶点“,其允许访问 小化;2为可行解满足的约束条件集合。一个可行 的后续结点为N.。蚂蚁在下一步访问结点v∈N, 解s·∈S,如果对于最小化问题有Hs∈S,f(s·)≤ 的概率由以下公式给出: f代s),对于最大化问题有s∈S,f(s·)≥f(s),则称 (ru)·(ne)B s·为一个全局最优解。定义最优解集合为S·二S, Pu=- 算法的目标是从优化问题的可行解集中找到最优解 ∑(r)·(m)日 回eN. s”eS°。 式中:参数α表示蚂蚁在运动过程中所积累的信息 给定算法A和优化问题P,对于一个给定的P 素在指导蚂蚊搜索路径的相对重要性:参数B表示 的实例I,其最优解为f(I)。如果算法A能在多项 路径能见度的相对重要性,即表示启发式信息, 式时间内获得最优解A(I),则算法A在问题P上的 的重要性
于 NP 难解组合优化问题本身结构的复杂性,确定 性算法(穷举法、分支界定、动态规划等) 无法保证 在多项 式 内 获 得 精 确 解, 转 而 寻 求 一 些 近 似 算 法[6] 。 蚁群优化作为随机启发式方法,不能期待其 在多项式时间内找到 NP⁃完全(难)优化问题所有实 例的精确解。 实际上,蚁群算法在很多优化问题上 扮演着近似算法的角色,一般用于获得满意解或者 近似解。 因此蚁群优化算法的近似性能分析就变得 尤为重要。 希望在平均多项式时间内获得近似最优 或者可接受的解,对于理解蚁群算法在 NP 难优化 问题上的工作原理以及寻求其能获得的近似性能非 常关键,并将进一步推进蚁群算法的理论研究及应 用进展。 对于丰富和发展近似算法和组合优化理 论,切实有效地解决一些实际问题具有重要现实意 义。 1 蚁群优化算法:模型、描述、变体 1.1 优化问题及算法描述 蚁群算法是一种随机启发式搜索方法,它具有 较强的鲁棒性,优良的分布式计算机制并易于与其 他方法相结合等优点。 目前人们对蚁群算法的研究 已经由当初单一的旅行商问题(TSP)领域渗透到了 多个其他应用领域[2] ,由解决一维、静态优化问题 发展到解决多维、动态优化问题,由离散求解空间逐 渐拓展到连续求解空间,使得该群智能算法在科学 研究及实际问题求解中表现出了巨大的潜力和 优势。 优化问题可以分为两类:连续的优化问题和离 散的优化问题。 连续的优化问题是指其具有连续的 变量、经常需要计算导数、使用牛顿方法或者线性规 划技术等。 本文关注的是离散的优化问题。 离散优 化问题也称为组合优化问题,是指在有限的或者可 数无限的潜在解集中搜索满足给定约束条件的最优 解。 然而,组合优化问题通常包含大量的局部极值 点,而且许多组合优化问题为 NP 完全(难)问题。 一个组合优化问题 P 通常可描述为一个三元 组( S,f,Ω),其中 S 为给定的由所有状态构成的搜 索空间,f:S→R +为目标函数,一般为最大化或者最 小化;Ω 为可行解满足的约束条件集合。 一个可行 解 s ∗ ∈S,如果对于最小化问题有∀s∈S,f( s ∗ )≤ f(s),对于最大化问题有∀s∈S,f(s ∗ )≥f( s),则称 s ∗为一个全局最优解。 定义最优解集合为S ∗⊆S, 算法的目标是从优化问题的可行解集中找到最优解 s ∗∈S ∗ 。 给定算法 A 和优化问题 P,对于一个给定的 P 的实例 I,其最优解为 f opt(I)。 如果算法 A 能在多项 式时间内获得最优解 A(I),则算法 A 在问题 P 上的 近似比 r 为:若为最大化问题,r = max I∈P f opt(I) A(I) ;若为最 小化问题,r =max I∈P A(I) f opt(I) 。 也就是说,算法 A 能获得 r-近似比。 若 r = 1,表明算法找到最优解。 蚁群算法的启发来自于一个蚂蚁群体对食物源 的搜索,是一种杰出而具有代表性的群智能算法,对 于其算法描述可以参考相关文献[1⁃5] 。 ACO 算法有 一些不同的变体,为了分析的方便,在当前理论分析 方面,还是主要考虑一只蚂蚁的情况。 下面给出蚁 群优化算法理论研究中用到的一个简单的 ACO 算 法 ( 1 + 1 ) 蚂 蚁 算 法 (( 1 + 1 ) Ant Algorithm, (1+1)AA), 其 类 似 于 演 化 算 法 理 论 分 析 中 的 (1+1) EA。 不 失 一 般 性, 考 虑 最 小 化 问 题。 (1+1)AA算法描述如下 Algorithm 1: (1+1)AA Begin 初始化:参数设置,信息素值,选择一个初始解 s,While(不满足终止条件) 使用构造过程构建一个新的解 s′; 选择:如果 f(s′)<f(s),则 s = s′;更新信息素值。 End while End (1+1)AA 算法使用简单的爬山选择策略,如果 当前蚂蚁解的函数值大于新的蚂蚁解的函数值,则 当前蚂蚁解被新蚂蚁解替代。 以下两节分别介绍理 论分析中蚁群算法解的构建以及信息素更新机制。 1.2 解的构建 对于一个给定的优化问题,其解通过蚂蚁在一 个具有信息素值的构造图( construction graph)的边 上随机游走获得。 另外,蚁群算法也使用启发式信 息来指导随机游走的方向。 蚂蚁从构造图的任意一 个初始状态出发,随机游走到下一个邻域结点。 这 个移动是基于概率规则,依赖于信息素和启发式 信息。 令 G = (V,E)为一给定问题的构造图。 τ(u,v) 为 边 e = ( u,v) ∈E 上的信息素值,η(u,v) 为启发式信 息。 假设蚂蚁当前所在位置为顶点 u,其允许访问 的后续结点为 Nu 。 蚂蚁在下一步访问结点 v∈Nu 的概率由以下公式给出: puv = τ(u,v) ( ) α· η(u,v) ( ) β ω∑∈Nu τ(u,ω) ( ) α· η(u,ω) ( ) β 式中:参数 α 表示蚂蚁在运动过程中所积累的信息 素在指导蚂蚁搜索路径的相对重要性;参数 β 表示 路径能见度的相对重要性,即表示启发式信息 η(u,v) 的重要性。 第 1 期 夏小云,等:蚁群优化算法的理论研究进展 ·29·
·30。 智能系统学报 第11卷 1.3信息素更新机制 定义1(适应值划分)给定一个有限的搜索空 当算法完成一次迭代之后,路径上的信息素将 间S,不失一般性,假设函数f:S→R最小化,考虑函 会更新。信息素更新的目的是使得较优路径上的信 数f的所有可能的不同的函数值A。,A1,…,4m,对于 息素增加,同时模拟一种挥发的方式削弱较差路径 Ha∈A,和b∈A,如果f代a)<fb),则记为A,<Ao 上的信息素。通常根据挥发因子p(0≤p≤1)的不 若有A。<A<A:…<A,定义 同,信息素值会减少不同的数量。假设更新之前的 A:={x∈Slfx)=f},i=0,1,2,…,m。则称{Ao,A1, 边(u,)∈E上的信息素值为Ta,在第一步,其值 …,A}为基于适应值的划分。 减少到(1-p)T。这意味着,在算法的运行过程 对于AC0,算法每次接受优于当前最好的解, 中,路径上的信息素将会有一定程度的挥发,避免信 算法每次运行都朝着最优解的方向前进,如图1所 息素的无限积累,这样也有利于算法逃脱局部最优。 示。下面给出一个简单AC0算法的期望运行时间 各路径上的信息素根据以下方式进行更新: 估计的定理,其由Gutjahr和Sebastiani提出。 n-(1-p)To +Ar 以概率p转移 式中:△r,表示蚂蚁k在边(u,v)上释放的信息素 A 浓度,m为蚂蚁的数量。 4 根据信息素更新方式的不同,也就产生具有不 同信息素更新机制的蚁群算法)。为了防止算法 图1适应值划分 的早熟,Stutzle和Hoos[)提出了最大最小蚂蚁系 Fig.1 Fitness values partition 统。在信息素的更新过程中,将其限制在一个最大 定理2给定一个适应值划分{A。,A1,…,Am。 最小信息素范围内[T,T]。根据边 令X,(t=1,2,.)为AC0算法的解序列, e=(u,v)∈E是否包含在至今最好的解x中,其信息 P,(i=1,2,…,m)为算法运行所得适应值所在集合 素更新规则如下: 从A,跳转到A-1U…UA,的概率下界,并且集合Ao |min(1-p)rao+p,rs},if(u,)∈x 包含最优解。则ACO算法求解函数∫的期望时间 (nmax{(1-p)re,ran},其他 上界为:宫(化+),其中为算法每次迭代时信息 Pi (1) 称使用上述信息素更新规则的(1+1)AA算法 素达到饱和的时间,也就是信息素值达到r或Tm。 为(1+1)MMAA。类似的(1+1)MMAA在文献[28,34] 根据文献[34]知道≤”。因此,对于AC0 中分别叫做MMAS·和MMAS p 理论分析,最关键的是计算一步转移概率P:。一般 2 理论分析方法及数学工具 来说,由该方法获得的时间上界不是紧界。 2.2期望倍增距离减少 对于一个确定的优化问题,蚁群算法找到一个 函数适应值个数非常大(指数级)的情况,适应 最优解的迭代次数用随机变量t表示。在蚁群算法 值划分技术已经不再适用。期望倍增减少距离(x- 的理论分析中通常需要估计最好情况、平均情况、最 坏情况下,以什么样的概率P(t≤T)在什么样的期 pected multiplicative distance decrease)的方法正好能 够应对函数适应值数量非常大的情况,该方法如图 望运行时间E(t)内,找到什么样的解(近似解)。本 2所示。 节介绍一些蚁群算法的理论分析方法和基本的数学 工具。不失一般性,考虑最小化问题。 从搜索点s开始,经过个可 2.1适应值划分 接受的操作后到达搜索点S S 对于给定的优化问题,感兴趣的是算法找到最 Doh/≤d. 优解的平均迭代次数。这里介绍适应值划分技术, -)D (1-I)D 该技术在演化算法的理论分析中得到了成功运用。 其原理是种群中最好的个体适应值一直都确保不会 是过1步 经过步 变差。因此通过估计最好的个体适应值变好的期望 图2期望倍增距离减少 时间界来获得优化时间。这种方法称为基于适应度 Fig.2 Expected multiplicative distance decrease 划分的方法(fitness-based partitions)或者适应度等 给定一个具有操作序列0p={叩o,叩1,叩2,… 级方法[4。 叩,…},每一操作发生的概率相同,假设为
1.3 信息素更新机制 当算法完成一次迭代之后,路径上的信息素将 会更新。 信息素更新的目的是使得较优路径上的信 息素增加,同时模拟一种挥发的方式削弱较差路径 上的信息素。 通常根据挥发因子 ρ (0≤ρ≤1) 的不 同,信息素值会减少不同的数量。 假设更新之前的 边(u,v)∈E 上的信息素值为 τ(u,v) ,在第一步,其值 减少到(1-ρ) τ(u,v) 。 这意味着,在算法的运行过程 中,路径上的信息素将会有一定程度的挥发,避免信 息素的无限积累,这样也有利于算法逃脱局部最优。 各路径上的信息素根据以下方式进行更新: τ′(u,v) = (1 - ρ)τ(u,v) + ∑ m k = 1 Δτ k (u,v) 式中:Δτ k (u,v)表示蚂蚁 k 在边(u,v)上释放的信息素 浓度, m 为蚂蚁的数量。 根据信息素更新方式的不同,也就产生具有不 同信息素更新机制的蚁群算法[8] 。 为了防止算法 的早熟, Stützle 和 Hoos [9] 提出了最大最小蚂蚁系 统。 在信息素的更新过程中,将其限制在一个最大 最 小 信 息 素 范 围 内 [ τmin , τmax ]。 根 据 边 e = (u,v)∈E是否包含在至今最好的解 x 中,其信息 素更新规则如下: τ(u,v) ′ = min{(1 - ρ)τ(u,v) + ρ,τmax},if (u,v) ∈ x {max{(1 - ρ)τ(u,v) ,τmin},其他 . (1) 称使用上述信息素更新规则的(1+1)AA 算法 为(1+1)MMAA。 类似的(1+1)MMAA 在文献[28,34] 中分别叫做 MMAS ∗和 MMASbs。 2 理论分析方法及数学工具 对于一个确定的优化问题,蚁群算法找到一个 最优解的迭代次数用随机变量 t 表示。 在蚁群算法 的理论分析中通常需要估计最好情况、平均情况、最 坏情况下,以什么样的概率 Pr(t≤T)在什么样的期 望运行时间 E(t)内,找到什么样的解(近似解)。 本 节介绍一些蚁群算法的理论分析方法和基本的数学 工具。 不失一般性,考虑最小化问题。 2.1 适应值划分 对于给定的优化问题,感兴趣的是算法找到最 优解的平均迭代次数。 这里介绍适应值划分技术, 该技术在演化算法的理论分析中得到了成功运用。 其原理是种群中最好的个体适应值一直都确保不会 变差。 因此通过估计最好的个体适应值变好的期望 时间界来获得优化时间。 这种方法称为基于适应度 划分的方法( fitness⁃based partitions) 或者适应度等 级方法[14] 。 定义 1 (适应值划分)给定一个有限的搜索空 间 S,不失一般性,假设函数 f:S→R 最小化, 考虑函 数 f 的所有可能的不同的函数值 A0 ,A1 ,…,Am ,对于 ∀a∈Ai 和∀b∈Aj,如果 f(a)<f(b),则记为 Ai <fAj。 若 有 A0 <fA1 <fA2 <f … <fAm , 定 义 Ai = {x∈S | f(x)= f i},i = 0,1,2,…,m。 则称{A0 ,A1 , …,Am }为基于适应值的划分。 对于 ACO,算法每次接受优于当前最好的解, 算法每次运行都朝着最优解的方向前进,如图 1 所 示。 下面给出一个简单 ACO 算法的期望运行时间 估计的定理,其由 Gutjahr 和 Sebastiani [34]提出。 图 1 适应值划分 Fig.1 Fitness values partition 定理 2 给定一个适应值划分{A0,A1,…,Am }。 令 Xt ( t = 1, 2,...) 为 ACO 算 法 的 解 序 列, pi(i = 1,2,…,m)为算法运行所得适应值所在集合 从 Ai 跳转到 Ai-1∪…∪A0 的概率下界,并且集合 A0 包含最优解。 则 ACO 算法求解函数 f 的期望时间 上界为:∑ m i = 1 (t ∗ i + 1 pi ),其中 t ∗ i 为算法每次迭代时信息 素达到饱和的时间,也就是信息素值达到 τmax或 τmin 。 根据文献[34]知道 t ∗ i ≤ lnn ρ 。 因此,对于 ACO 理论分析,最关键的是计算一步转移概率 pi。 一般 来说,由该方法获得的时间上界不是紧界。 2.2 期望倍增距离减少 函数适应值个数非常大(指数级)的情况,适应 值划分技术已经不再适用。 期望倍增减少距离(ex⁃ pected multiplicative distance decrease)的方法正好能 够应对函数适应值数量非常大的情况,该方法如图 2 所示。 图 2 期望倍增距离减少 Fig.2 Expected multiplicative distance decrease 给定一个具有操作序列 Op = { op0 ,op1 ,op2 ,…, opt, …}, 每 一 操 作 发 生 的 概 率 相 同, 假 设 为 ·30· 智 能 系 统 学 报 第 11 卷
第1期 夏小云,等:蚁群优化算法的理论研究进展 ·31· P(吧,)=Pm≥α(t=1,2,….)。给定任意初始解s, 之后与目标最优解距离小于1的概率至少为1/2。 算法通过执行操作叩,∈Op,一步一步逐渐到达最优 假设函数适应值均为正整数,则算法获得最优解 解5。不失一般性,考虑最小化问题。定义优化问 (离目标最优解距离为0)的概率至少为1/2。因 题的适应值函数f(s,)(t=1,2,…),d(s,)=f八s)- 此,算法最终到达目标找到最优解的期望时间上界 f(sp)为第1代时的解s,与目标最优解sm相差的适 为2T=0(r·logD)。 应值距离。根据随机启发式算法的特点,给定不同 2.3尾概率不等式 的初始解,其求解问题的迭代次数也不一样,因此考 偏差不等式广泛应用于随机算法的分析中。在 虑的是期望迭代次数。算法找到可接受的操作,使 许多启发式搜索算法的例子中,对于分析启发式的 得s1优于s,。假定算法通过执行给定的操作使得 典型行为是非常有用的。其通常用于估计随机变量 减少的期望距离至少为 偏离期望值的概率。 d()-d(s)≥s)-fs) 2.3.1 Markov不等式 (2) 马尔可夫不等式(Markov's inequality)适用于 由(2)得 非负随机变量。对一非负的随机变量X:2→R,对 d(s)≤(1-)fs,)-fsm)) (3) 于t∈R,有P(X)sE( 当前解离目标最优解距离减少由两部分产生: 2.3.2 Chebyshev不等式 可接受的操作和不接受的操作,而不接受的操作距 切比雪夫不等式(Chebyshev's inequality)适用 离减少的贡献为0。 于任何的(可正可负)随机变量,有两种形式: 因此,如果d(s,)>0,有 1)令X为一随机变量,其中E(X)=, E[d(s)I d(s,)]=pd(s)+(1-p)d(s,) Var(X)=σ2。对于k>0, p.(1-)-》+ P(IX-l>k)=P(X)E(IX)_o (1-Pm)(f八s,)-f(s))= 2)X.~iid(independent and identically distrib- (1-P)ds,) uted),独立同分布,期望E(X)=u且Var(X)=σ2, (4) X为u的估计,则 令Y,=d(s,),有 E[Y,Iopo,0p1,…,叩-1]≤ P(Ii-u≥k)≤Var(- k2n·k2 (1-)[19,m,m1≤ 2.3.3 Chernoff界 切尔诺夫界(Chernoff bounds):X:∈{0,l}(1≤ (1-P)2E[Y,-i1opo,0p1,…,0p-3] i≤)为独立泊松分布事件,令X=三 …≤ (1-P=)'E[Y]= P(X=1)=n,u=E(X)=2P,00,P[X≥(1+8)]≤ (1-P=)'Efs)-f50)]△1 (1+8)1+6) ;对于0<8<1,P[X≤(1-6)u]≤ 考虑搜索空间中离最优搜索点s距离最远的情 e 况。如图2所示,令该最远距离D=f(s)-f(s)≤ (1-6)(1- :对于0<xl,P[X≥(1+δ)u]≤e号: dx,则有1≤(1-&)D,a为常数,且0<a<1。 对于0<8<1,P[X≤(1-6)u]≤e号:对于0<8<1, 令T=0(r·logD),当t≥T,有E[Y,Ipo,p1, P(1K-u)≥]≤2e号。 ,9m-]≤(1-号)D≤分。根据Mkom不等式算 3一些理论研究结果及问题讨论 法执行T步之后,离最优解距离至少为1的概率P 3.1参数p、a、B对算法性能影响 (≥)≤,因此P(y<)≥7。也就是说T步 到目前为止,蚁群算法中挥发因子、信息素值控 制参数、启发式信息(能见度)控制参数的设置,对
P(opt)= pm≥α( t = 1,2,….)。 给定任意初始解 s, 算法通过执行操作 opt∈Op,一步一步逐渐到达最优 解 sopt。 不失一般性,考虑最小化问题。 定义优化问 题的适应值函数 f( st ) ( t = 1,2,...),d( st ) = f(st)- f(sopt)为第 t 代时的解 st 与目标最优解 sopt相差的适 应值距离。 根据随机启发式算法的特点,给定不同 的初始解,其求解问题的迭代次数也不一样,因此考 虑的是期望迭代次数。 算法找到可接受的操作,使 得 st+1优于 st。 假定算法通过执行给定的操作使得 减少的期望距离至少为 d(st) - d(st+1 ) ≥ f(st) - f(sopt) r (2) 由(2)得 d(st+1 ) ≤ (1 - 1 r )(f(st) - f(sopt)) (3) 当前解离目标最优解距离减少由两部分产生: 可接受的操作和不接受的操作,而不接受的操作距 离减少的贡献为 0。 因此,如果 d(st)>0,有 E[d(st+1 ) | d(st)] = pm d(st+1 ) + (1 - pm )d(st) ≤ pm(1 - 1 r )(f(st) - f(sopt)) + (1 - pm )(f(st) - f(sopt)) = (1 - pm r )d(st) (4) 令 Yt = d(st),有 E[Yt | op0 ,op1 ,…,opt-1 ] ≤ (1 - pm r )E[Yt-1 | op0 ,op1 ,…,opt-2 ] ≤ (1 - pm r ) 2E[Yt-1 | op0 ,op1 ,…,opt-3 ] … ≤ (1 - pm r ) tE[Y0 ] = (1 - pm r ) tE[f(s) - f(sopt)] I 考虑搜索空间中离最优搜索点 sopt距离最远的情 况。 如图 2 所示,令该最远距离 D = f(s) -f(sopt )≤ dmax,则有 I≤(1- α r ) tD,α 为常数,且0<α<1。 令 T =O(r·logD),当 t≥T,有 E[ Yt | op0 ,op1 , …,opt-1 ]≤(1- α r ) tD≤ 1 2 。 根据 Markov 不等式,算 法执行 T 步之后,离最优解距离至少为 1 的概率 P (Yt≥1)≤ 1 2 ,因此 P(Yt <1)≥ 1 2 。 也就是说 T 步 之后与目标最优解距离小于 1 的概率至少为 1 / 2。 假设函数适应值均为正整数,则算法获得最优解 (离目标最优解距离为 0) 的概率至少为 1 / 2。 因 此,算法最终到达目标找到最优解的期望时间上界 为2T =O(r·logD)。 2.3 尾概率不等式 偏差不等式广泛应用于随机算法的分析中。 在 许多启发式搜索算法的例子中,对于分析启发式的 典型行为是非常有用的。 其通常用于估计随机变量 偏离期望值的概率。 2.3.1 Markov 不等式 马尔可夫不等式(Markov’ s inequality) 适用于 非负随机变量。 对一非负的随机变量 X:Ω→R + ,对 于 t∈R + ,有 P(X>t)≤ E(X) t 。 2.3.2 Chebyshev 不等式 切比雪夫不等式 (Chebyshevs inequality) 适用 于任何的(可正可负)随机变量,有两种形式: 1) 令 X 为 一 随 机 变 量, 其 中 E ( X ) = μ, Var(X)= σ 2 。 对于 k>0, P( |X-μ| >k)= P( |X-μ| 2 >k 2 )≤ E( |X-μ| 2 ) k 2 = σ 2 k 2 。 2)令 Xi ~ iid(independent and identically distrib⁃ uted),独立同分布,期望 E(Xi)= μ 且 Var(Xi)= σ 2 , X - 为 μ 的估计,则 P( X - - μ ≥ k) ≤ Var(X - ) k 2 = σ 2 n·k 2 。 2.3.3 Chernoff 界 切尔诺夫界(Chernoff bounds): Xi ∈ {0,1}(1 ≤ i ≤ n) 为 独 立 泊 松 分 布 事 件, 令 X = ∑ n i = 1 Xi, P(Xi = 1) = pi, μ = E(X) = ∑ n i = 1 pi,0 < pi < 1。 则 对 于 δ > 0,P[X ≥ (1 + δ)μ] ≤ e δ (1 + δ) (1+δ) æ è ç ö ø ÷ μ ; 对于 0 <δ < 1,P[X≤(1 -δ) μ] ≤ e -δ (1-δ) (1-δ) æ è ç ö ø ÷ μ ;对于 0<δ<1,P[X≥(1+δ)μ]≤e - μδ 2 3 ; 对于 0<δ<1,P[X≤(1-δ) μ] ≤e - μδ 2 2 ;对于 0<δ<1, P( X-μ )≥δμ]≤2e - uδ 2 3 。 3 一些理论研究结果及问题讨论 3.1 参数 ρ、α、β 对算法性能影响 到目前为止,蚁群算法中挥发因子、信息素值控 制参数、启发式信息(能见度)控制参数的设置,对 第 1 期 夏小云,等:蚁群优化算法的理论研究进展 ·31·
·32 智能系统学报 第11卷 于界定蚁群算法的难问题和易问题并没有从理论上 3.2从1-ANT到n-ANT 真正得以解释说明。从蚁群算法求解一些实际问题 当前对于蚁群优化算法的理论研究,研究人员 的实验效果来看,信息素挥发因子是一个比较关键 主要还是考虑一只蚂蚁的情况。不同的文献采用的 的参数。挥发因子越大,表现出的正反馈作用越强, 算法框架名称不同,主要有1-ANT9,12)、(1+1) 以往走过的路径被再次选择的可能性就越大,搜索 MMAA4S),MMAS·[2]、MMAS[B以及MMASo和 随机性变弱:相反,挥发因子越小,算法的随机性就 MMAS【等。这些算法在每次迭代之后只构造一 越大,其全局搜索能力也就变强。信息素挥发因子 个解,是一种比较简单的情况。 设置对于算法性能影响至关重要。 Neumann等人[6]研究了A-MMAS.算法求解拟 Neumann[27,29]等研究了信息素挥发因子p对蚁 布尔函数的性能。他们指出,当A=2,也即构造2 群算法性能的影响,指出如果p≥”- n-2 即当n→o, 个蚂蚁解时,该算法在挥发因子足够小的情况下,能 够在多项式时间内求解OneMax函数。 p≥1/3时,算法1-ANT的行为类似于(1+1)EA,就 Attiratanasunthron和Fakcharoenphol4]研究了 是说,1-ANT在每个函数上的期望运行时间和(1+ ACO算法求解有向无环图单源最短路径问题的多 1)EA相同。同时指出,如果取p=O(ne),e>0为 项式时间界。特别地,对于顶点数为n,边数为m的 常数,则算法1-ANT以1-2-a)的概率求解0me 有向无环图,具有n只蚂蚁的n-ANT算法能够在期 Max函数的时间为2a):如果取p=2(n1+“),e>0 望时间O(n2 nlogn./p)内求解单源最短路径问题。 为常数,则算法1-ANT以1-2)的概率求解 蚂蚁的数量决定了每次迭代构造的解的个数。 OneMax函数的时间为O(n2),给出了1-ANT算法求 在不同参数情况下,真实的多蚂蚁蚁群系统如何影 解OneMax函数的时间复杂度从指数时间到多项式 响算法性能,如何设置蚂蚁个数,以及-ANT算法 时间的相变现象。Doer等[]使用一个信息素模型 求解组合优化问题的性能,能够在什么样的时间内 简化了文献[29]的分析,进一步研究了挥发因子p 获得什么样的解,是值得进一步研究的问题。 ∈[1/n+“,1/n-]的优化时间。并指出,存在常数c3.3从拟布尔函数到NP难问题 ∈(0,1)和N∈N,使得当n≥N和p≤c,对于n个变 3.3.1拟布尔函数 元的OneMax函数,算法1-ANT以小于1/eP的概率 以下7个函数为分析演化和蚁群算法时间复杂 性的典型人工拟布尔函数: 优化时间最多为eP。Doer等2]研究了挥发因子 p对于I-ANT算法的性能影响,指出对于Leadin- 10 neMax(x)=含: gOnes和BinVal两个函数,存在一个相变现象,且阈 值为p~l/(nlog),其期望时间为指数级到多项式。 2)Leading0nes(x)=含: 蚁群算法中信息素控制参数α反映蚂蚁在行 3)Trap(x)= 含+(n+1)·(1-x): 走过程中所积累的信息素对指导蚂蚁搜索方向的相 对重要性,能见度控制参数B反映启发式信息对指 4)BinVal(x)=含2产: 导蚂蚁搜索方向的相对重要性。Zhou4s]通过构造 5)Needle( TSP实例,研究了参数a和B对算法计算时间的影 响,指出对于完全图实例,参数设置α=1,B=0到 6)NH-OneMax(x)=(,)() a=1,B=1,其期望运行时间上界也由0(n)变为 7)F(x)=召wo 0(n')。Kotzing等6通过构建一个TSP实例分析 从2006年开始,蚁群算法关于时间复杂性分析 了启发式信息对于蚁群算法的性能影响,指出对于 的理论研究也相继出现,Neumann7,等通过模拟 该实例取α=1,如果B=1,算法需要指数级运行时 (1+1)EA建立了一个简单的AC0算法1-ANT分析 间找到最优解:如果B=n,则算法以趋近于1的概率 模型,给出了1-ANT求解简单拟布尔函数OneMax 在一次迭代就能找到最优解。 平均时间复杂度为O(nlogn),并且指出挥发因子对 蚁群算法参数较多,设置也较复杂。目前理论 时间复杂度起着关键性的影响。与此同时,Gt- 分析主要通过一些构造实例来分析不同参数设置对 jahrt30]采用近似的常微分方程组估计算法时间复杂 于算法性能的影响。针对一般性的问题,参数如何 度,研究了GBAS和AS两个AC0算法的同一分析。 设置对于蚁群算法来说是有效的,还有待于进一步 Doer等[3]以I-ANT求解关于OneMax为例,分析 深入探究。 了随着挥发系数的变化,1-ANT算法时间复杂度从
于界定蚁群算法的难问题和易问题并没有从理论上 真正得以解释说明。 从蚁群算法求解一些实际问题 的实验效果来看,信息素挥发因子是一个比较关键 的参数。 挥发因子越大,表现出的正反馈作用越强, 以往走过的路径被再次选择的可能性就越大,搜索 随机性变弱;相反,挥发因子越小,算法的随机性就 越大,其全局搜索能力也就变强。 信息素挥发因子 设置对于算法性能影响至关重要。 Neumann [27,29]等研究了信息素挥发因子 ρ 对蚁 群算法性能的影响,指出如果 ρ≥ n-2 3n-2 ,即当n→¥, ρ≥1 / 3 时,算法 1⁃ANT 的行为类似于(1+1)EA,就 是说,1⁃ANT 在每个函数上的期望运行时间和(1+ 1)EA 相同。 同时指出,如果取 ρ =O(n -1-ε ),ε>0 为 常数,则算法 1⁃ANT 以 1-2 -Ω(n ε/ 3) 的概率求解 One⁃ Max 函数的时间为 2 Ω(n ε/ 3) ;如果取 ρ =Ω(n -1+ε ),ε>0 为常数,则算法 1⁃ANT 以 1 - 2 -Ω(n ε/ 2) 的概率求解 OneMax 函数的时间为O(n 2 ),给出了 1⁃ANT 算法求 解 OneMax 函数的时间复杂度从指数时间到多项式 时间的相变现象。 Doerr 等[31]使用一个信息素模型 简化了文献[29]的分析,进一步研究了挥发因子 ρ ∈[1 / n 1+ε ,1 / n 1-ε ]的优化时间。 并指出,存在常数 c ∈(0,1)和N∈N,使得当 n≥N 和 ρ≤c,对于 n 个变 元的 OneMax 函数,算法 1⁃ANT 以小于 1 / e c ρ 的概率 优化时间最多为 e c ρ 。 Doerr 等[32⁃33]研究了挥发因子 ρ 对于 1⁃ANT 算法的性能影响,指出对于 Leadin⁃ gOnes 和 BinVal 两个函数,存在一个相变现象,且阈 值为 ρ~1 / (nlogn),其期望时间为指数级到多项式。 蚁群算法中信息素控制参数 α 反映蚂蚁在行 走过程中所积累的信息素对指导蚂蚁搜索方向的相 对重要性,能见度控制参数 β 反映启发式信息对指 导蚂蚁搜索方向的相对重要性。 Zhou [45] 通过构造 TSP 实例,研究了参数 α 和 β 对算法计算时间的影 响,指出对于完全图实例,参数设置 α = 1,β = 0 到 α= 1,β = 1,其期望运行时间上界也由 O( n 6 ) 变为 O(n 5 )。 Kötzing 等[46]通过构建一个 TSP 实例分析 了启发式信息对于蚁群算法的性能影响,指出对于 该实例取 α= 1,如果 β = 1,算法需要指数级运行时 间找到最优解;如果 β = n,则算法以趋近于 1 的概率 在一次迭代就能找到最优解。 蚁群算法参数较多,设置也较复杂。 目前理论 分析主要通过一些构造实例来分析不同参数设置对 于算法性能的影响。 针对一般性的问题,参数如何 设置对于蚁群算法来说是有效的,还有待于进一步 深入探究。 3.2 从 1⁃ANT 到 n⁃ANT 当前对于蚁群优化算法的理论研究, 研究人员 主要还是考虑一只蚂蚁的情况。 不同的文献采用的 算法框架名称不同,主要有 1⁃ANT [29,31⁃32] 、 ( 1 + 1) MMAA [45] 、MMAS ∗ [28] 、MMASbs [34] 以及 MMAS ∗ Ord 和 MMAS ∗ Arb [46]等。 这些算法在每次迭代之后只构造一 个解,是一种比较简单的情况。 Neumann 等人[36]研究了 λ⁃MMASIB算法求解拟 布尔函数的性能。 他们指出,当 λ = 2,也即构造 2 个蚂蚁解时,该算法在挥发因子足够小的情况下,能 够在多项式时间内求解 OneMax 函数。 Attiratanasunthron 和 Fakcharoenphol [41] 研究了 ACO 算法求解有向无环图单源最短路径问题的多 项式时间界。 特别地,对于顶点数为 n,边数为 m 的 有向无环图,具有 n 只蚂蚁的 n⁃ANT 算法能够在期 望时间 Ο(n 2mlogn / ρ)内求解单源最短路径问题。 蚂蚁的数量决定了每次迭代构造的解的个数。 在不同参数情况下,真实的多蚂蚁蚁群系统如何影 响算法性能,如何设置蚂蚁个数,以及 n⁃ANT 算法 求解组合优化问题的性能,能够在什么样的时间内 获得什么样的解,是值得进一步研究的问题。 3.3 从拟布尔函数到 NP 难问题 3.3.1 拟布尔函数 以下 7 个函数为分析演化和蚁群算法时间复杂 性的典型人工拟布尔函数: 1)OneMax(x)= ∑ n i = 1 xi; 2)LeadingOnes(x)= ∑ n i = 1 ∏ i j = 1 xj; 3)Trap(x)= ∑ n i = 1 xi +(n+1)·∏ n i = 1 (1-xi); 4)BinVal(x)= ∑ n i = 1 2 n-i xi; 5)Needle(x)= ∏ n i = 1 xi; 6)NH⁃OneMax(x)= ∏ k i = 1 xi ( ) ∑ n i =k+1 xi ( ) ; 7) F(x)= ∑ n i = 1 wi xi。 从 2006 年开始,蚁群算法关于时间复杂性分析 的理论研究也相继出现, Neumann [27,29] 等通过模拟 (1+1)EA 建立了一个简单的 ACO 算法 1⁃ANT 分析 模型,给出了 1⁃ANT 求解简单拟布尔函数 OneMax 平均时间复杂度为 O(nlogn),并且指出挥发因子对 时间复杂度起着关键性的影响。 与此同时,Gut⁃ jahr [30]采用近似的常微分方程组估计算法时间复杂 度,研究了 GBAS 和 AS 两个 ACO 算法的同一分析。 Doerr 等[31] 以 1⁃ANT 求解关于 OneMax 为例,分析 了随着挥发系数的变化,1⁃ANT 算法时间复杂度从 ·32· 智 能 系 统 学 报 第 11 卷
第1期 夏小云,等:蚁群优化算法的理论研究进展 ·33 指数时间到多项式时间的相位转移。Doer等[2] 顶点数,m为边数)。Neumann和Witt[9]分析了 研究了1-ANT算法信息素更新机制对时间复杂度 ACO算法求解最小生成树问题的时间复杂度,其蚂 的影响,指出如果挥发因子设置过小,算法很容易陷 蚁解的构建是基于两种不同的构造图,Broder-based 入停滞状态。对于拟布尔函数LeadingOnes和Bin- 和Kruskal-based,并证明了最大最小蚂蚁系统求解 Vl,找到最优解的期望时间也是指数级的。相反, 最小生成树问题的期望时间上界为O(mnlogn)。 如果参数设置合理,期望时间也从指数级降低到多 最小割(minimum cut)问题是图论中经典的组 项式时间。 合优化问题,其存在一些多项式求解算法。跟最小 学者们也研究了最大最小蚂蚁系统(max-min 割相关的问题如最小k-割和multiway割等问题都是 ant system,MMAS)[9算法的性能。该算法是蚁群 NP难问题[6)。Kotzing等[o分析了AC0算法在求 优化的一个变体,其使用Best-So-Far更新机制。对 解经典的最小割问题的时间复杂度,并研究了参数 于一些优化问题,最大最小蚂蚁系统能够有效地避 设置对于不同实例的运行时行为的影响。若参数α 免停滞,并能获得一个更有效的运行时间界。Gu =0,B=1,对于任意给定的带权图,算法MMAS·找 jahr和Sebastiani3]分析了MMAS在求解Needle-in- 到一个最小割的期望时间上界为O(n2):若参数 a-Haystack和LeadingOnes两个拟布尔函数的时间 =1,B=1,则算法的优化时间为 复杂度,并基于演化算法中适应值划分技术的基础 (n-2+2cn)! ,其中cn=h/l,h和l为最大、最 上提出了一种ACO的时间复杂度理论分析框架,将 (n-2)!(2c.) 作为一般分析的一个非常有用的工具。2007年, 小蚂蚁算法的信息素边界值:若cn=k为常数,则期 Neumann等[3]将ACO算法扩展到单峰函数和高原 望时间变为O(n)。 函数的期望运行时分析上,并使用非齐次过程估计 最短路径问题的目标是搜索图中两结点之间的 了信息素边界的首达时间,进一步研究了1-ANT算 最短路径。D冰sra算法是求解该问题的典型路由 法关于LeadingOnes,Needle等其他拟布尔函数的时 算法,用于计算一个节点到其他所有节点的最短路 间复杂度;Kotzing等)也进一步研究了两种MMAs 径。文献[41-43]研究了最短路径问题,并分别分析 算法求解线性拟布尔函数的时间复杂度,并给出了 了AC0算法求解无环、有环、带有噪声情况下最短 求解所有线性函数的一般时间上界O(nlogn/,p)。 路径问题的计算时间。Attiratanasunthron和Fakcha- Neumann、Sudholt和Wit8]研究了ACO与局部搜 roenphol研究了AC0算法求解有向无环图单目标 索混合算法的影响,他指出对于一些人工构造的函 最短路径问题(single destination shortest path,SD- 数,ACO算法结合局部搜索能够以较高的概率将指 SP)的多项式时间界。对于顶点数为n边数为m的 数时间转为多项式时间。对于另外一些函数,情况 有向无环图,具有n只蚂蚁的n-ANT算法能够在期 则相反。 望时间O(n'mlog n/p)内求解单源最短路径问题。 以上所有研究分析使用的方法和工具为组合优 在此基础上,Horoba和Sudholt4将结果扩充 化问题的更深层次的分析奠定了坚实的基础。 到最大最小蚂蚁系统(MMAS),得到MMASSDSP关于 3.3.2P问题 单目标最短路径(SDSP)问题和MMASAPSP关于全部 一些确定性的算法能够在多项式时间内求解P 顶点对的最短路径问题(all-pairs shortest path,AP- 类的组合优化问题,实验表明AC0算法进行求解也 SP)的计算时间上界分别为O(lm+n/p)和 显示出了其优越性。ACO算法在一些简单函数上的 O(nlog n+log llog(△l)/p),后者为目前元启发式算 分析所使用的方法和工具,也进一步推广到实际的 法(meta-heuristic)关于APSP问题最好的界。进一 组合优化问题上的分析中。目前ACO算法针对多 步,Sudholt和Thyssen(讨论了边权数带噪声随机 项式可求解问题的理论分析也获得了一些结果。我 最短路径问题,给出了噪声强度、近似保证以及平均 们并不期望蚁群优化算法在这些优化问题上能够优 时间复杂度之间的权衡关系。 于那些最好的算法,而关键是对于其理论分析能够 最近,Lissovoi和Witt4]研究了入只蚂蚁的最 更深入地了解蚁群算法工作机制,更好指导算法的 大最小蚂蚁系统A-MMAS算法在动态SDSP问题上 设计及应用。 的时间复杂度。他们指出每个顶点上放一定数量的 最小生成树(minimum spanning trees)问题是数 蚂蚁甚至是常数只蚂蚁就能有效地求解动态SDSP 据结构与算法设计中一个经典的图论问题。两个著 问题,给出了蚂蚁数量、挥发因子及计算时间之间的 名的确定性算法Kruskal和Pim分别有最坏情况下 关系。此外,他们还研究了MMAS算法在动态 的时间复杂度O((m+n)logn)和O(nlogn+m)(n为 MAZE函数上的性能[47]
指数时间到多项式时间的相位转移。 Doerr 等[32⁃33] 研究了 1⁃ANT 算法信息素更新机制对时间复杂度 的影响,指出如果挥发因子设置过小,算法很容易陷 入停滞状态。 对于拟布尔函数 LeadingOnes 和 Bin⁃ Val,找到最优解的期望时间也是指数级的。 相反, 如果参数设置合理,期望时间也从指数级降低到多 项式时间。 学者们也研究了最大最小蚂蚁系统( max⁃min ant system ,MMAS) [9] 算法的性能。 该算法是蚁群 优化的一个变体,其使用 Best⁃So⁃Far 更新机制。 对 于一些优化问题,最大最小蚂蚁系统能够有效地避 免停滞,并能获得一个更有效的运行时间界。 Gut⁃ jahr 和 Sebastiani [34]分析了 MMAS 在求解 Needle⁃in⁃ a⁃Haystack 和 LeadingOnes 两个拟布尔函数的时间 复杂度,并基于演化算法中适应值划分技术的基础 上提出了一种 ACO 的时间复杂度理论分析框架,将 作为一般分析的一个非常有用的工具。 2007 年, Neumann 等[35]将 ACO 算法扩展到单峰函数和高原 函数的期望运行时分析上,并使用非齐次过程估计 了信息素边界的首达时间,进一步研究了 1⁃ANT 算 法关于 LeadingOnes、Needle 等其他拟布尔函数的时 间复杂度;Kötzing 等[37]也进一步研究了两种 MMAS 算法求解线性拟布尔函数的时间复杂度,并给出了 求解所有线性函数的一般时间上界Ο(n 3 logn / ρ)。 Neumann、Sudholt 和 Witt [38] 研究了 ACO 与局部搜 索混合算法的影响,他指出对于一些人工构造的函 数,ACO 算法结合局部搜索能够以较高的概率将指 数时间转为多项式时间。 对于另外一些函数,情况 则相反。 以上所有研究分析使用的方法和工具为组合优 化问题的更深层次的分析奠定了坚实的基础。 3.3.2 P 问题 一些确定性的算法能够在多项式时间内求解 P 类的组合优化问题,实验表明 ACO 算法进行求解也 显示出了其优越性。 ACO 算法在一些简单函数上的 分析所使用的方法和工具,也进一步推广到实际的 组合优化问题上的分析中。 目前 ACO 算法针对多 项式可求解问题的理论分析也获得了一些结果。 我 们并不期望蚁群优化算法在这些优化问题上能够优 于那些最好的算法,而关键是对于其理论分析能够 更深入地了解蚁群算法工作机制,更好指导算法的 设计及应用。 最小生成树(minimum spanning trees)问题是数 据结构与算法设计中一个经典的图论问题。 两个著 名的确定性算法 Kruskal 和 Prim 分别有最坏情况下 的时间复杂度Ο((m+n)logn)和 Ο(nlogn+m) (n 为 顶点数, m 为边数)。 Neumann 和 Witt [39] 分析了 ACO 算法求解最小生成树问题的时间复杂度,其蚂 蚁解的构建是基于两种不同的构造图,Broder⁃based 和 Kruskal⁃based,并证明了最大最小蚂蚁系统求解 最小生成树问题的期望时间上界为 Ο(mnlogn)。 最小割 (minimum cut) 问题是图论中经典的组 合优化问题,其存在一些多项式求解算法。 跟最小 割相关的问题如最小 k⁃割和 multiway 割等问题都是 NP 难问题[6] 。 Kötzing 等[40] 分析了 ACO 算法在求 解经典的最小割问题的时间复杂度,并研究了参数 设置对于不同实例的运行时行为的影响。 若参数 α = 0,β = 1,对于任意给定的带权图,算法 MMAS ∗ 找 到一个最小割的期望时间上界为 Ο( n 2 );若参数 α = 1, β = 1, 则 算 法 的 优 化 时 间 为 O (n-2+2cn )! (n-2)! (2cn )! æ è ç ö ø ÷ ,其中 cn = h / l,h 和 l 为最大、最 小蚂蚁算法的信息素边界值;若 cn = k 为常数,则期 望时间变为 Ο(n 2k )。 最短路径问题的目标是搜索图中两结点之间的 最短路径。 Dijkstra 算法是求解该问题的典型路由 算法,用于计算一个节点到其他所有节点的最短路 径。 文献[41⁃43]研究了最短路径问题,并分别分析 了 ACO 算法求解无环、有环、带有噪声情况下最短 路径问题的计算时间。 Attiratanasunthron 和 Fakcha⁃ roenphol [41]研究了 ACO 算法求解有向无环图单目标 最短路径问题( single destination shortest path, SD⁃ SP)的多项式时间界。 对于顶点数为 n 边数为 m 的 有向无环图,具有 n 只蚂蚁的 n⁃ANT 算法能够在期 望时间 Ο(n 2mlog n / ρ)内求解单源最短路径问题。 在此基础上,Horoba 和 Sudholt [42] 将结果扩充 到最大最小蚂蚁系统(MMAS),得到 MMASSDSP关于 单目标最短路径(SDSP)问题和 MMASAPSP关于全部 顶点对的最短路径问题( all⁃pairs shortest path, AP⁃ SP) 的 计 算 时 间 上 界 分 别 为 Ο ( lm + n / ρ ) 和 Ο(nlog n+log llog(Δl) / ρ),后者为目前元启发式算 法(meta⁃heuristic)关于 APSP 问题最好的界。 进一 步,Sudholt 和 Thyssen [43] 讨论了边权数带噪声随机 最短路径问题,给出了噪声强度、近似保证以及平均 时间复杂度之间的权衡关系。 最近,Lissovoi 和 Witt [44] 研究了 λ 只蚂蚁的最 大最小蚂蚁系统 λ⁃MMAS 算法在动态 SDSP 问题上 的时间复杂度。 他们指出每个顶点上放一定数量的 蚂蚁甚至是常数只蚂蚁就能有效地求解动态 SDSP 问题,给出了蚂蚁数量、挥发因子及计算时间之间的 关系。 此 外, 他 们 还 研 究 了 MMAS 算 法 在 动 态 MAZE 函数上的性能[47] 。 第 1 期 夏小云,等:蚁群优化算法的理论研究进展 ·33·
·34 智能系统学报 第11卷 3.3.3NP难问题 个更好的计算时间界。对于一些实例,算法容易 旅行商问题(traveling salesman problem,TSP) 陷入局部最优,计算时间为指数级。然而,当启发式 是组合优化中著名的NP难问题,也是蚁群算法的 因子足够大时,很快就能够找到最优解。 首个成功的测试问题。Zhou4首次分析了蚁群算 实际上,许多经典的组合优化问题都为NP难 法求解两个TSP实例的计算时间,从理论上首次证 解问题[)。由复杂性理论可知对于这类问题,不存 实了蚁群算法求解NP难问题的有效性,是蚁群算 在多项式时间的确定性算法除非P=NP。蚁群优化 法关于NP难问题时间复杂性分析的首项工作。作 算法求解更多的NP难问题的性能目前还未知,这 者首次提出AC0求解TSP的严格计算时间分析,构 方面的工作才刚开始,对于更深入的了解蚁群算法 造了完全图和非完全图的两个TSP实例,分析和估 的运行机理,求解NP难问题的性能,以及指导算法 计了(1+1)MAX-MIN Ant Algorithm求解TSP实例 设计及应用有重要的现实意义。 的平均计算时间上界:同时讨论了算法中关于能见 表1列举了近十年来蚁群优化算法理论研究的 度和信息素值等控制参数的变化对算法计算时间的 些典型研究成果,包括从简单的拟布尔函数到NP 影响。Kotzing等人[的在文献[45]的基础上进行了 难问题,不同的信息素更新机制,以及参数设置对算 有效的扩展,使用了一种新的蚂蚁解的构造图的方 法性能影响等方面的理论研究成果。 式,表明其具有更强的局部属性,并证明了能够得到 表1蚊群优化算法计算复杂性理论成果 Table 1 The list of theoretical results of Ant Colony Optimization 问题 说明 算法模型 时间复杂度 相关文献 OneMax Onclla() 1-ANT O(nlogn) Neumann(27.2) LeadingOnes LeadingOnes(x)= MMAS O(n2+(nlogn)/p) Neumann等(] Linear function F(x)= MMAS/MMAS O((n'logn)/p) Kotzing等[] Minimum 最小生成树问题 1-ANT O(mn(logn+logwm)) Neumann和Wit[] spanning tree 0(n2)(a=0,B=1): 最小割问题(带权图):信息素 Minimum cut o(a-2+21 MMAS ((n-2)!(2c.)1 problem 的界为[L月6,=片 Kotzing等[s0 若c=k为常数, 0(n)(ax=1,β=1): 其中m为给定图的边数,△为 Single Destination 最大出度,1为所有最短路径 Shortest Path, 0(m4Mog(4) (如果不止一条)的最大边数,p n-ANT p Attiratanasunthron SDSP 为AC0算法的挥发因子 All-pairs Shortest MMASAPSP Path(APSP) O(△I'+/p) Horoba和Sudholt【4a O(1+In(T)/p)(A= Dynamic SDSP A-MMAS 2e/Tin) Lissovoi和Wit4 O(n+(1/p)nlnn)(a=1.B= TSP 完全图实例 (1+1)MMAA 0):O(n3+(1/p)nlnn) Zhou[i] (a=1,B=1) TSP G MMASk.O(n'logn+nlogn/p)(a=1,B=1) Kotzing等[o阿
3.3.3 NP 难问题 旅行商问题( traveling salesman problem, TSP) 是组合优化中著名的 NP 难问题,也是蚁群算法的 首个成功的测试问题。 Zhou [45] 首次分析了蚁群算 法求解两个 TSP 实例的计算时间,从理论上首次证 实了蚁群算法求解 NP 难问题的有效性,是蚁群算 法关于 NP 难问题时间复杂性分析的首项工作。 作 者首次提出 ACO 求解 TSP 的严格计算时间分析,构 造了完全图和非完全图的两个 TSP 实例,分析和估 计了(1+1) MAX⁃MIN Ant Algorithm 求解 TSP 实例 的平均计算时间上界;同时讨论了算法中关于能见 度和信息素值等控制参数的变化对算法计算时间的 影响。 Kötzing 等人[46]在文献[45]的基础上进行了 有效的扩展,使用了一种新的蚂蚁解的构造图的方 式,表明其具有更强的局部属性,并证明了能够得到 一个更好的计算时间界。 对于一些实例,算法容易 陷入局部最优,计算时间为指数级。 然而,当启发式 因子足够大时,很快就能够找到最优解。 实际上,许多经典的组合优化问题都为 NP 难 解问题[7] 。 由复杂性理论可知对于这类问题,不存 在多项式时间的确定性算法除非 P =NP。 蚁群优化 算法求解更多的 NP 难问题的性能目前还未知,这 方面的工作才刚开始,对于更深入的了解蚁群算法 的运行机理,求解 NP 难问题的性能,以及指导算法 设计及应用有重要的现实意义。 表 1 列举了近十年来蚁群优化算法理论研究的 一些典型研究成果,包括从简单的拟布尔函数到 NP 难问题,不同的信息素更新机制,以及参数设置对算 法性能影响等方面的理论研究成果。 表 1 蚁群优化算法计算复杂性理论成果 Table 1 The list of theoretical results of Ant Colony Optimization 问题 说明 算法模型 时间复杂度 相关文献 OneMax OneMax(x)= ∑ n i= 1 xi 1⁃ANT Ο(nlogn) Neumann [27,29] LeadingOnes LeadingOnes(x)= ∑ n i= 1 ∏ i j= 1 xj MMAS∗ Ο(n 2+(nlogn) / ρ) Neumann 等[35] Linear function F(x)= ∑ n i= 1 wi xi MMAS / MMAS∗ Ο((n 3 logn) / ρ) Kötzing 等[37] Minimum spanning tree 最小生成树问题 1⁃ANT Ο(mn(logn+logwmax)) Neumann 和 Witt [39] Minimum cut problem 最小割问题(带权图);信息素 的界为[l,h],cn = h l , MMAS∗ Ο(n 2 )(α= 0,β = 1); O (n-2+2cn )! (n-2)! (2cn )! æ è ç ö ø ÷ , 若 cn = k 为常数, Ο(n 2k )(α= 1,β = 1); Kötzing 等[40] Single Destination Shortest Path, SDSP 其中 m 为给定图的边数,Δ 为 最大出度, l 为所有最短路径 (如果不止一条)的最大边数,ρ 为 ACO 算法的挥发因子 n⁃ANT Ο( mΔllog(Δl) ρ ) Attiratanasunthron 等[41] All⁃pairs Shortest Path(APSP) MMASAPSP Ο(Δll ∗ +l / ρ) Horoba 和 Sudholt [42] Dynamic SDSP λ⁃MMAS Ο(l+lln(τmax / τmin ) / ρ)(λ= 2e / τmin ) Lissovoi 和 Witt [44] TSP 完全图实例 (1+1)MMAA Ο(n 6+(1 / ρ)nlnn)(α= 1,β = 0);Ο(n 5+(1 / ρ)nlnn) (α= 1,β = 1) Zhou [45] TSP G1 MMAS ∗ Arb Ο(n 3 logn+nlogn / ρ)(α= 1,β = 1) Kötzing 等[46] ·34· 智 能 系 统 学 报 第 11 卷
第1期 夏小云,等:蚁群优化算法的理论研究进展 ·35. 4 结束语 [3]DORIGO M,BLUM C.Ant colony optimization theory:a survey J].Theoretical computer science,2005,344 (2- 本文从蚁群算法框架、理论分析方法以及理论 3):243-278. 「4]段海滨,王道波,于秀芬.蚁群算法的研究现状及其展 研究结果等方面出发,对蚁群优化算法的理论研究 望[J].中国工程科学,2007,9(2):98-102 进展进行了归纳和介绍。此外,还对蚁群优化算法 DUAN Haibin,WANG Daobo,YU Xiufen.Ant colony algo- 理论研究中的若干问题进行了分析讨论。当前蚁群 rithm:survey and prospect[].Engineering science,2007, 9(2):98-102. 算法的理论研究成果仍然有限,其理论分析方法和 [5]NOCEDAL J,WRIGHT S J.Numerical optimization[M] 数学工具有待进一步完善和探索。蚁群算法理论研 New York:Springer,2000. 究中还有许多亟待解决的问题。 [6]VAZIRANI V V.Approximation algorithms[M].Berlin Hei- 1)蚁群算法理论分析工具还非常有限,这也是 delberg:Springer,2003. [7]GAREY M R,JOHNSON D S.Computers and Intractability- 阻碍其向前发展的一个主要因素。现有的理论分析 A Guide to the Theory of NP-Completeness[M].New York: 方法主要是马尔可夫链理论、适应值划分技术及漂 Freeman W H and Company,1979. 移分析等方法。这些工具或者本身比较复杂,或者 [8]COLORNI A,DORIGO M,MANIEZZO V.An investigation 只是适应一些特殊情形的分析,甚至还需要满足一 of some properties of an "Ant algorithm"[C]//Proceedings of Parallel Problem Solving from Nature II PPSN 92). 些严格的条件才能使用。因此寻求新的方法和工具 Brussels,Belgium,1992:515-526. 也是未来的一个方向。 [9]STUTZLE T,HOOS HH.MAX-MIN ant system[J].Future 2)当前蚁群优化算法理论研究局限于一些简 generation computer systems,2000,16(8):889-914. 化的算法模型,基于种群的、更加复杂的构造过程还 [10]GUTJAHR W J.Mathematical runtime analysis of ACO al- 有待于进一步深入研究。对于n-ANT算法的有效 gorithms:survey on an emerging issue[J].Swarm intelli- gence,2007,1(1):59-79. 性如何,是否蚂蚁的数量与算法的时间复杂度存在 [11]DROSTE S,JANSEN T,WEGENER I.On the analysis of 某种关系还未知。通过研究群体规模、构造过程、算 the (1+1)evolutionary algorithm[].Theoretical comput- 法参数等对算法性能的影响,深入挖掘蚁群优化算 er science,2002,276(1-2):51-81. [12]WEGENER I,WITT C.On the analysis of a simple evolu- 法的潜能,更好地指导算法设计及应用。对于一个 tionary algorithm on quadratic pseudo-boolean functions NP难解组合优化问题,蚁群算法能否获得比已有算 [J].Journal of discrete algorithms,2005,3(1):61-78. 法更好的近似比?如何获得更紧的时间界等,这些 [13]WEGENER I.Towards a theory of randomized search heu- 问题都有待于深入研究。 ristics[M]//ROVAN B,VOJTAS P.Mathematical Foun- 3)将现有蚁群优化算法的理论分析结果扩展 dations of computer science 2003.Berlin Heidelberg: Springer,2003:125-141. 到更多的智能算法中。目前在差分进化算法、分布 [14]WEGENER I.Methods for the analysis of evolutionary al- 评估算法、粒子群算法以及Memetic算法等随机启 gorithms on pseudo-boolean functions[M]//Evolutionary 发式搜索的理论研究还非常有限,可以尝试将现有 Optimization.Dordrecht:Kluwer Academic Publishers, 2002,48:349-369 的理论分析结论进行有效扩展。此外,当前蚁群算 [15]BEYER H G.SCHWEFEL H P,WEGENER I.How to 法主要关注离散空间优化,可以向连续优化做进一 analyse evolutionary algorithms[.Theoretical computer 步扩充。通过对更多算法、更多问题的研究,从中找 science,2002,287(1):101-130. 出一些共性的东西,进一步丰富和增强群智能搜索 [16]HE J,YAO X.Towards an analytic framework for analy- 算法的理论基础。 sing the computation time of evolutionary algorithms[J]. Artificial intelligence,2003,145(1-2):59-97 蚁群优化算法理论研究中涉及到的问题很多, [17]HE J,YAO X.Drift analysis and average time complexity 本文不可能做到面面俱到,希望能够起到一个抛砖 of evolutionary algorithms [J].Artificial intelligence, 引玉的作用,对于今后更加深人的研究能够有所帮 2001,127(1):57-85. 助和启发。 [18]HE J,YAO X.From an individual to a population:an a- nalysis of the first hitting time of population-based evolu- 参考文献: tionary algorithms[J].IEEE transactions on evolutionary computation,2002,6(5):495-511. [1]DORIGO M,MANIEZZO V,COLORNI A.Theantsystem: [19]GUTJAHR W J.A graph-based ant system and its conver- An autocatalytic optimizing process Technical Report 91-016 gence[J].Future generation computer systems,2000,16 [R].Milan,Italy:Dipartimento di Elettronica,Politecnico (8):873-888. di Milano,1991. [20]STUTZLE T,DORIGO M.A short convergence proof for a [2]DORIG0M,STUTZLE T.蚁群优化[M].张军,胡晓敏, class of ACO algorithms[J].IEEE transactions on evolu- 罗旭耀,译.北京:清华大学出版社,2007:110-246. tionary computation,2002,6(4):358-365
4 结束语 本文从蚁群算法框架、理论分析方法以及理论 研究结果等方面出发,对蚁群优化算法的理论研究 进展进行了归纳和介绍。 此外,还对蚁群优化算法 理论研究中的若干问题进行了分析讨论。 当前蚁群 算法的理论研究成果仍然有限,其理论分析方法和 数学工具有待进一步完善和探索。 蚁群算法理论研 究中还有许多亟待解决的问题。 1)蚁群算法理论分析工具还非常有限,这也是 阻碍其向前发展的一个主要因素。 现有的理论分析 方法主要是马尔可夫链理论、适应值划分技术及漂 移分析等方法。 这些工具或者本身比较复杂,或者 只是适应一些特殊情形的分析,甚至还需要满足一 些严格的条件才能使用。 因此寻求新的方法和工具 也是未来的一个方向。 2)当前蚁群优化算法理论研究局限于一些简 化的算法模型,基于种群的、更加复杂的构造过程还 有待于进一步深入研究。 对于 n⁃ANT 算法的有效 性如何,是否蚂蚁的数量与算法的时间复杂度存在 某种关系还未知。 通过研究群体规模、构造过程、算 法参数等对算法性能的影响,深入挖掘蚁群优化算 法的潜能,更好地指导算法设计及应用。 对于一个 NP 难解组合优化问题,蚁群算法能否获得比已有算 法更好的近似比? 如何获得更紧的时间界等,这些 问题都有待于深入研究。 3)将现有蚁群优化算法的理论分析结果扩展 到更多的智能算法中。 目前在差分进化算法、分布 评估算法、粒子群算法以及 Memetic 算法等随机启 发式搜索的理论研究还非常有限,可以尝试将现有 的理论分析结论进行有效扩展。 此外,当前蚁群算 法主要关注离散空间优化,可以向连续优化做进一 步扩充。 通过对更多算法、更多问题的研究,从中找 出一些共性的东西,进一步丰富和增强群智能搜索 算法的理论基础。 蚁群优化算法理论研究中涉及到的问题很多, 本文不可能做到面面俱到,希望能够起到一个抛砖 引玉的作用,对于今后更加深入的研究能够有所帮 助和启发。 参考文献: [1]DORIGO M, MANIEZZO V, COLORNI A. Theantsystem: An autocatalytic optimizing process Technical Report 91⁃016 [R]. Milan, Italy: Dipartimento di Elettronica, Politecnico di Milano, 1991. [2]DORIGO M, STUTZLE T. 蚁群优化[M]. 张军, 胡晓敏, 罗旭耀, 译. 北京: 清华大学出版社, 2007: 110⁃246. [3] DORIGO M, BLUM C. Ant colony optimization theory: a survey[ J]. Theoretical computer science, 2005, 344 ( 2⁃ 3): 243⁃278. [4]段海滨, 王道波, 于秀芬. 蚁群算法的研究现状及其展 望[J]. 中国工程科学, 2007, 9(2): 98⁃102. DUAN Haibin, WANG Daobo, YU Xiufen. Ant colony algo⁃ rithm: survey and prospect[J]. Engineering science, 2007, 9(2): 98⁃102. [5]NOCEDAL J, WRIGHT S J. Numerical optimization[ M]. New York: Springer, 2000. [6]VAZIRANI V V. Approximation algorithms[M]. Berlin Hei⁃ delberg: Springer, 2003. [7]GAREY M R, JOHNSON D S. Computers and Intractability⁃ A Guide to the Theory of NP⁃Completeness[M]. New York: Freeman W H and Company, 1979. [8]COLORNI A, DORIGO M, MANIEZZO V. An investigation of some properties of an “Ant algorithm”[C] / / Proceedings of Parallel Problem Solving from Nature II ( PPSN 92). Brussels, Belgium, 1992: 515⁃526. [9]STÜTZLE T, HOOS H H. MAX⁃MIN ant system[J]. Future generation computer systems, 2000, 16(8): 889⁃914. [10]GUTJAHR W J. Mathematical runtime analysis of ACO al⁃ gorithms: survey on an emerging issue[ J]. Swarm intelli⁃ gence, 2007, 1(1): 59⁃79. [11]DROSTE S, JANSEN T, WEGENER I. On the analysis of the (1+1) evolutionary algorithm[J]. Theoretical comput⁃ er science, 2002, 276(1⁃2): 51⁃81. [12]WEGENER I, WITT C. On the analysis of a simple evolu⁃ tionary algorithm on quadratic pseudo⁃boolean functions [J]. Journal of discrete algorithms, 2005, 3(1): 61⁃78. [13]WEGENER I. Towards a theory of randomized search heu⁃ ristics[M] / / ROVAN B, VOJTÁŠ P. Mathematical Foun⁃ dations of computer science 2003. Berlin Heidelberg: Springer, 2003: 125⁃141. [14]WEGENER I. Methods for the analysis of evolutionary al⁃ gorithms on pseudo⁃boolean functions [ M] / / Evolutionary Optimization. Dordrecht: Kluwer Academic Publishers, 2002, 48: 349⁃369. [15]BEYER H G, SCHWEFEL H P, WEGENER I. How to analyse evolutionary algorithms [ J]. Theoretical computer science, 2002, 287(1): 101⁃130. [16]HE J, YAO X. Towards an analytic framework for analy⁃ sing the computation time of evolutionary algorithms [ J]. Artificial intelligence, 2003, 145(1⁃2): 59⁃97. [17]HE J, YAO X. Drift analysis and average time complexity of evolutionary algorithms [ J ]. Artificial intelligence, 2001, 127(1): 57⁃85. [18]HE J, YAO X. From an individual to a population: an a⁃ nalysis of the first hitting time of population⁃based evolu⁃ tionary algorithms [ J]. IEEE transactions on evolutionary computation, 2002, 6(5): 495⁃511. [19]GUTJAHR W J. A graph⁃based ant system and its conver⁃ gence[J]. Future generation computer systems, 2000, 16 (8): 873⁃888. [20]STÜTZLE T, DORIGO M. A short convergence proof for a class of ACO algorithms[ J]. IEEE transactions on evolu⁃ tionary computation, 2002, 6(4): 358⁃365. 第 1 期 夏小云,等:蚁群优化算法的理论研究进展 ·35·
·36. 智能系统学报 第11卷 [21]GUTJAHR W J.On the finite-time dynamics of ant colony of Genetic and Evolutionary Computation Conference optimization[].Methodology and computing in applied (GECCO'2010).Portland,USA,2010:63-70. probability,2006,8(1):105-133. [37]KOTZING T,NEUMANN F,SUDHOLT D,et al.Simple 「22]黄翰,郝志峰,吴春国,等.蚁群算法的收敛速度分析 Max-Min ant systems and the optimization of linear pseudo- [J].计算机学报,2007,30(8):1344-1353. Boolean functions[C]//Proceedings of the 11th Work-shop HUANG Han,HAO Zhifeng,WU Chunguo,et al.The on Foundations of Genetic Algorithms (FOGA 2011).New convergence speed of ant colony optimization[].Chinese York,NY,USA,2011:209-218. journal of computers,2007,30(8):1344-1353. [38]NEUMANN F,SUDHOLT D,WITT C.Rigorous analyses [23]BIRATTARI M,Dicaro G,DORIGO M.Toward the formal for the combination of ant colony optimization and local foundation of ant programming M ]//DORIGO M,DI search[C]//Proceedings of the 6th International Confer- CARO G.SAMPELS M.Ant Algorithms.Berlin Heidel- ence on Ant Colony Optimization and Swarm Intelligence berg:Springer-Verlag,2002,2463:188-201. (ANTS08).Brussels,Belgium,2008:132-143. [24]MEULEAU N,DORIGO M.Ant colony optimization and [39]NEUMANN F,WITT C.Ant colony optimization and the stochastic gradient descent[.Artificial life,2002,8 minimum spanning tree problem[J].Theoretical computer (2):103-121. science,2010,411(25):2406-2413. [25]ZLOCHIN M.BIRATTARI M,MEULEAU N,et al.Mod- [40]KOTZING T,LEHRE P K.OLIVETO P S,et al.Ant col- el-based search for combinatorial optimization:a critical ony optimization and the minimum cut problem[C]//Pro- survey[J].Annals of operations research,2004,131(1- ceedings of the 12th Annual Conference on Genetic and 4):373-395. Evolutionary Computation Conference (GECCO'10).New [26]GUTJAHR W J.A generalized convergence result for the York,NY,USA,2010:1393-1400 graph-based ant system metaheuristic[J].Probability in [41]ATTIRATANASUNTHRON N,FAKCHAROENPHOL J.A the engineering and informational sciences,2003,17(4): running time analysis of an ant colony optimization algo- 545.569. rithm for shortest paths in directed acyclic graphs[J].In- [27]NEUMANN F,WITT C.Runtime analysis of a simple ant formation processing letters,2008,105(3):88-92. colony optimization algorithm C//Proceedings of the 17th [42]SUDHOLT D,THYSSEN C.Running time analysis of Ant International Symposium on Algorithms,ISAAC 2006. Colony Optimization for shortest path problems[J].Journal Kolkata,India,2006,4288:618-627. of discrete algorithms,2012,10:165-180. [28]NEUMANN F,SUDHOLT D,Wit C.Comparing variants [43]SUDHOLT D.THYSSEN C.A simple ant colony optimizer of MMAS ACO algorithms on pseudo-Boolean functions for stochastic shortest path problems [J].Algorithmica, [C]//Proceedings of International Workshop,SLS 2007. 2012,64(4):643-672. Brussels,Belgium,2007:61-75. [44]LISSOVOI A,WITT C.Runtime analysis of ant colony op- [29]NEUMANN F,WITT C.Runtime analysis of a simple ant timization on dynamic shortest path problems[J.Theoreti- colony optimization algorithm[].Algorithmica,2009,54 cal computer science,2015,561:73-85 (2):243-255. [45]ZHOU Y R.Runtime analysis of an ant colony optimization [30]GUTJAHR W J.First steps to the runtime complexity anal- algorithm for TSP instances[J].IEEE transactions on evo- ysis of ant colony optimization[J].Computers&operations lutionary computation,2009,13(5):1083-1092. research,2008,35(9):2711-2727. [46]KOTZING T,NEUMANN F,ROGLIN H,et al.Theoreti- [31]DOERR B,JOHANNSEN D.Refined runtime analysis of a cal analysis of two ACO approaches for the traveling sales basic ant colony optimization algorithm[C]//Proceedings man problem[J].Swarm intelligence,2012,6(1):1-21. of the IEEE Congress on Evolutionary Computation (CEC [47]LISSOVOI A,WITT C.MMAS versus population-based 2007).Singapore,2007:501-507. EA on a family of dynamic fitness functions[J.Algorith- [32]DOERR B,NEUMANN F,SUDHOLT D,et al.On the mica,2015,doi:10.1007/s00453-015-9975-z. runtime analysis of the 1-ANT ACO algorithm[C]//Pro- 作者简介: ceedings of Genetic and Evolutionary Computation Confer- 夏小云,男,1982年生,博士研究 ence (GECCO'2007).London,England,2007:33-40. 生,主要研究方向为计算智能与机器 [33]DOERR B,NEUMANN F,SUDHOL D,et al.Runtime a- 学习。 nalysis of the 1-ANT ant colony optimizer[J].Theoretical computer science,2011,412(17):1629-1644 [34]GUTJAHR W J,SEBASTIANI G.Runtime analysis of ant colony optimization with best-so-far reinforcement[J]. Methodology and computing in applied probability,2008, 周育人,男,1965年生,教授,博士 10(3):409-433. 生导师,博士,主要研究方向为计算智 [35]NEUMANN F,SUDHOLT D,WITT C.Analysis of differ- 能、数据挖掘及社会网络。主持国家 ent MMAS ACO algorithms on unimodal functions and plat- 省部级项目多项,发表学术论文50 eaus[J].Swarm intelligence,2009,3(1):35-68. 余篇。 [36]NEUMANN F,SUDHOLT D,WITT C.A few ants are e- nough:ACO with Iteration-best update[C]//Proceedings
[21]GUTJAHR W J. On the finite⁃time dynamics of ant colony optimization [ J]. Methodology and computing in applied probability, 2006, 8(1): 105⁃133. [22]黄翰, 郝志峰, 吴春国,等. 蚁群算法的收敛速度分析 [J]. 计算机学报, 2007, 30(8): 1344⁃1353. HUANG Han, HAO Zhifeng, WU Chunguo, et al. The convergence speed of ant colony optimization[ J]. Chinese journal of computers, 2007, 30(8): 1344⁃1353. [23]BIRATTARI M, Dicaro G, DORIGO M. Toward the formal foundation of ant programming [ M ] / / DORIGO M, DI CARO G, SAMPELS M. Ant Algorithms. Berlin Heidel⁃ berg: Springer⁃Verlag, 2002, 2463: 188⁃201. [24] MEULEAU N, DORIGO M. Ant colony optimization and stochastic gradient descent [ J]. Artificial life, 2002, 8 (2): 103⁃121. [25]ZLOCHIN M, BIRATTARI M, MEULEAU N, et al. Mod⁃ el⁃based search for combinatorial optimization: a critical survey[ J]. Annals of operations research, 2004, 131( 1⁃ 4): 373⁃395. [26] GUTJAHR W J. A generalized convergence result for the graph⁃based ant system metaheuristic [ J]. Probability in the engineering and informational sciences, 2003, 17(4): 545⁃569. [27]NEUMANN F, WITT C. Runtime analysis of a simple ant colony optimization algorithm[C] / / Proceedings of the 17th International Symposium on Algorithms, ISAAC 2006. Kolkata, India, 2006, 4288: 618⁃627. [28]NEUMANN F, SUDHOLT D, Wit C. Comparing variants of MMAS ACO algorithms on pseudo⁃Boolean functions [C] / / Proceedings of International Workshop, SLS 2007. Brussels, Belgium, 2007: 61⁃75. [29]NEUMANN F, WITT C. Runtime analysis of a simple ant colony optimization algorithm[ J]. Algorithmica, 2009, 54 (2): 243⁃255. [30]GUTJAHR W J. First steps to the runtime complexity anal⁃ ysis of ant colony optimization[J]. Computers & operations research, 2008, 35(9): 2711⁃2727. [31]DOERR B, JOHANNSEN D. Refined runtime analysis of a basic ant colony optimization algorithm[C] / / Proceedings of the IEEE Congress on Evolutionary Computation (CEC 2007). Singapore, 2007: 501⁃507. [32]DOERR B, NEUMANN F, SUDHOLT D, et al. On the runtime analysis of the 1⁃ANT ACO algorithm[C] / / Pro⁃ ceedings of Genetic and Evolutionary Computation Confer⁃ ence (GECCO’2007). London, England, 2007: 33⁃40. [33]DOERR B, NEUMANN F, SUDHOL D, et al. Runtime a⁃ nalysis of the 1⁃ANT ant colony optimizer[ J]. Theoretical computer science, 2011, 412(17): 1629⁃1644. [34]GUTJAHR W J, SEBASTIANI G. Runtime analysis of ant colony optimization with best⁃so⁃far reinforcement [ J ]. Methodology and computing in applied probability, 2008, 10(3): 409⁃433. [35]NEUMANN F, SUDHOLT D, WITT C. Analysis of differ⁃ ent MMAS ACO algorithms on unimodal functions and plat⁃ eaus[J]. Swarm intelligence, 2009, 3(1): 35⁃68. [36]NEUMANN F, SUDHOLT D, WITT C. A few ants are e⁃ nough: ACO with Iteration⁃best update[C] / / Proceedings of Genetic and Evolutionary Computation Conference (GECCO’2010). Portland, USA, 2010: 63⁃70. [37]KÖTZING T, NEUMANN F, SUDHOLT D, et al. Simple Max⁃Min ant systems and the optimization of linear pseudo⁃ Boolean functions[C] / / Proceedings of the 11th Work⁃shop on Foundations of Genetic Algorithms (FOGA 2011). New York, NY, USA, 2011: 209⁃218. [38]NEUMANN F, SUDHOLT D, WITT C. Rigorous analyses for the combination of ant colony optimization and local search[C] / / Proceedings of the 6th International Confer⁃ ence on Ant Colony Optimization and Swarm Intelligence (ANTS08). Brussels, Belgium, 2008: 132⁃143. [39] NEUMANN F, WITT C. Ant colony optimization and the minimum spanning tree problem[ J]. Theoretical computer science, 2010, 411(25): 2406⁃2413. [40]KÖTZING T, LEHRE P K, OLIVETO P S, et al. Ant col⁃ ony optimization and the minimum cut problem[C] / / Pro⁃ ceedings of the 12th Annual Conference on Genetic and Evolutionary Computation Conference (GECCO’ 10). New York, NY, USA, 2010: 1393⁃1400. [41]ATTIRATANASUNTHRON N, FAKCHAROENPHOL J. A running time analysis of an ant colony optimization algo⁃ rithm for shortest paths in directed acyclic graphs[ J]. In⁃ formation processing letters, 2008, 105(3): 88⁃92. [42]SUDHOLT D, THYSSEN C. Running time analysis of Ant Colony Optimization for shortest path problems[J]. Journal of discrete algorithms, 2012, 10: 165⁃180. [43]SUDHOLT D, THYSSEN C. A simple ant colony optimizer for stochastic shortest path problems [ J ]. Algorithmica, 2012, 64(4): 643⁃672. [44]LISSOVOI A, WITT C. Runtime analysis of ant colony op⁃ timization on dynamic shortest path problems[J]. Theoreti⁃ cal computer science, 2015, 561: 73⁃85. [45]ZHOU Y R. Runtime analysis of an ant colony optimization algorithm for TSP instances[J]. IEEE transactions on evo⁃ lutionary computation, 2009, 13(5): 1083⁃1092. [46]KÖTZING T, NEUMANN F, RÖGLIN H, et al. Theoreti⁃ cal analysis of two ACO approaches for the traveling sales man problem[J]. Swarm intelligence, 2012, 6(1): 1⁃21. [47] LISSOVOI A, WITT C. MMAS versus population⁃based EA on a family of dynamic fitness functions[J]. Algorith⁃ mica, 2015, doi: 10.1007 / s00453⁃015⁃9975⁃z. 作者简介: 夏小云,男,1982 年生,博士研究 生,主要研究方向为计算智能与机器 学习。 周育人,男,1965 年生,教授,博士 生导师,博士,主要研究方向为计算智 能、数据挖掘及社会网络。 主持国家、 省部级 项 目 多 项, 发 表 学 术 论 文 50 余篇。 ·36· 智 能 系 统 学 报 第 11 卷