【学术论文】协作多机器人系统研究进展综述

第6卷第1期 智能系统学报 Vol.6 No.1 2011年2月 CAAI Transactions on Intelligent Systems Feb.2011 doi:10.3969/i.issn.1673-4785.2011.01.002 协作多机器人系统研究进展综述 吴军，徐昕，连传强，贺汉根 (国防科技大学机电工程与自动化学院，湖南长沙410073) 摘要：协作多机器人系统是近年来机器人研究的热点，具有良好的应用前景.针对开展相关研究的迫切需要，总结 了协作多机器人系统研究的国内外发展现状，并分别对无意识协作的仿生多机器人系统和有意识协作的异构多机 器人系统研究进行论述.重点从系统构建和优化控制的宏观角度出发，对有意识协作异构多机器人系统的体系结 构、环境感知以及优化控制3个方面的研究进展分别展开论述：对典型的多机器人验证任务和软硬件实验平台进行 了总结；最后对协作多机器人系统的研究方向进行了展望. 关键词：多机器人系统：协作协调：系统构建：优化控制：环境感知；实验平台 中图分类号：TP24文献标识码：A文章编号：16734785(2011)010013-15 A survey of recent advances in cooperative multi-robot systems WU Jun,XU Xin,LIAN Chuangiang,HE Han'gen (College of Mechtronics and Automation,National University of Defense Technology,Changsha 410073,China) Abstract:Cooperative multi-robot systems have been a particularly popular topic within robotics because of their po- tential applications.To meet the demand of promoting relevant study,the current research and development situa- tion of cooperative multi-robot systems were systematically reviewed and summarized.Research concerning the un- conscious bionic swarm-cooperation multi-robot and the heterogeneous intentional-cooperation multi-robot was dis- cussed.In particular,to build and optimize heterogeneous intentional-cooperation multi-robot systems,the recent advances in system structure,environment perception,and control optimization were surveyed and analyzed.More- over,the benchmark tasks and universal software/hardware platforms for a multi-robot were summarized.Finally, future developments in cooperative multi-robot system research were discussed. Keywords:multi-robot system;cooperation and coordination;system modeling;optimization control;environmen- tal perception;experimental platform 早在20世纪40年代中期，Walter、Wiener和 作性是多机器人系统的重要特征和关键指标，并最 Shannon在研究世界上第一种人工生命一龟形机 早由Noreils定义为：多个机器人协同工作，完成单 器人时，就发现这些简单的机器人在相互作用中能 个机器人无法完成的任务，或改善工作过程，并获得 反映出“复杂的群体行为”).自从80年代末期建 更优的系统性能5).通过适当的协作机制，多机器 立世界上首个基于多智能体的多机器人系统(cl- 人系统可以获得系统级的非线性功能增量6]，从而 lular robotic system,CEBOT)[2以来，多机器人系统 突破单机器人系统在感知、决策及执行能力等方面 在理论和应用研究上都取得了显著的进展3).简而 受到的限制，从本质上提高系统性能，甚至完成单个 言之，多机器人系统是指通过组织多智能体结构，并 机器人无法实现的任务！ 协作完成某一共同任务的机器人群体4.其中，协 此外，相对于单个机器人系统，多机器人系统拥 有时间、空间、功能、信息和资源上的分布特性，从而 收稿日期：201006-17. 在任务适用性、经济性、最优性、鲁棒性、可扩展性等 基金项目：国家自然科学基金资助项目(60T4076,60703072,90g20302) 方面表现出极大的优越性，因此在军事、工业生产、 通信作者：吴军.E-mail:aresnudt@yahoo.com.cn. 交通控制等领域具有良好的应用前景.美国国防高

·14 智能系统学报 第6卷 级研究计划局(defense advanced research projects a- 表1多机器人系统的协作机制分类 gency,DARPA)、美国海军和能源部都对多机器人 Table 1 Taxonomy of cooperation mechanism in multi-ro- 系统的研究进行了大力资助，美国宇航局和空军也 bot systems 将多机器人的编队控制技术确定为21世纪的关键 协作 分类 特点 任务范围 技术.DARPA涉及到多机器人作战平台的研究计划 就包括MARS-2020、TASK、TMR和SDR等，如 多为同构系统：个 MARS-2020计划71，持续时间长（到2020年）、支持 体功能简单，数量 力度大，其目的是研究战场环境下各种智能武器平 众多；通过本地交 台通过通信进行任务制定、规划和协调合作，共同完 互，得到全局的突 适合于大空间、无 成任务的组织框架和方法.美军资助的多机器人研 现行为；控制器设 时间要求的重复 无意识协作 计简单；系统鲁棒 性操作任务，如清 究项目就包括UGV Demo///C[]、CENTIBOTS) 性好；无全局目 扫、采集等 Swarm BotSuperBot HUNT(heterogeneous un- 标，系统性能难于 manned networked teams)[2]等.欧盟也很早就开展 控制；不适用于复 了多机器人协同搬运的MARTHA项目研究B1,有 杂任务。 代表性的研究工作还包括：瑞士苏黎世大学开展的 多为异构系统：系 生物机器人与群体智能研究4]，瑞士联邦工学院开 统规模较小，个体 展的多机器人任务分配和规划问题研究5]，意大利 智能水平较高；拥 Antonelli开展的零空间编队控制方法研究16)，比利 有全局目标，系统 时布鲁塞尔大学的集群机器人系统研究]等.而日 适合于其他复杂 有意识协作性能易于掌握，可 的任务. 本的多机器人研究工作主要集中在仿生多机器人系 以获得更优化的 统上，如名古屋大学的CEB0T和日产公司利用鱼类 解；对通信要求较 仿生技术开发的多机器人系统“EPORO”[18]等.国 高；对协调控制机 内的多机器人系统研究则起步较晚，但发展很快，中 制依赖性较大。 科院自动化所、上海交大、哈工大、中南大学、东北大 无意识协作多机器人系统主要仿生社会性生物 学等科研院所都开展了各具特色的研究工作，并在 群落（蚁群、蜂群等）的运行机制，利用大量简单、无 国际多机器人足球赛上屡创佳绩的事实也证明我国 意识的自主个体，通过局部交互和自组织作用，使 在多机器人技术研究方面取得了巨大进步】 整个系统呈现协调、有序的状态，并最终达到较高的 虽然多机器人协作可以提高系统性能，但多个 集群智能21.比较典型的系统包括：瑞士联邦理工 机器人并存也导致了某些新的问题9]，如增加了系 学院的Alice24]、日本名古屋大学的CEB0T2]、美国 统协调管理的难度；增加了系统整体状态的不确定 MT的Swarm Bot集群机器人系统[io]、美国Sandia 性；增加了系统对通信的依赖性等.为了克服不利因 国家实验室的MARVI2)、美国南加州大学的Super- 素，提高系统协作性能，必须对多机器人系统的关键 Bot)以及德国斯图加特大学的进化多机器人有机 技术开展深入研究.本文将从系统控制与优化的角 体]等.基于仿生的集群机器人系统研究可进一步 度出发，对近年来多机器人系统研究领域的主要进 分为基于突现行为的集群机器人系统研究与可重配 展和部分有代表性的研究成果进行介绍，为国内从 置机器人系统研究，二者的差别在于后者需要通过 事多机器人系统研究的科研人员提供参考 特定的连杆和关节模块实现组合操作，以形成特殊 1多机器人系统分类 的构型，并完成指定的功能.基于仿生原理的无意识 协作多机器人系统适用于大空间范围内无时间要求 根据协作机制不同，多机器人协作包括2 的重复性工作，如清扫任务；同时也适用于危险或有 类0：无意识协作和有意识协作.无意识协作多出 害区域内的监测、探索和搜寻任务，如可用许多小型 现在简单同构的多机器人系统中，主要利用突现原 轻便的、可丢弃的、相对廉价的机器人来完成核辐射 理获得高层的协作行为[21]：而有意识的协作主要用 区域内的监测任务.由于基于仿生的多机器人系统 于异构机器人协作技术的研究[22]，并更多地依赖于 研究在国内开展较少，下面将重点对有意识协作的 规划来提高协作效率（参见表1）. 异构多机器人系统的研究进展展开论述

第1期 吴军，等：协作多机器人系统研究进展综述 ·15 2有意识协作的异构多机器人系统 式，它定义了整个系统内的各机器人之间的相互关 系和功能分配，确定了系统和各机器人之间的信息 在实际应用中，多机器人系统的成员个体往往存 流通关系及其逻辑上的拓扑结构，决定了任务分解 在设计、结构、乃至智能上的差异，因此多为异构系统 和角色分配、规划及执行等操作的运行机制，提供了 异构多机器人系统通常数量有限（几个到几十个），但 机器人活动和交互的框架0.选择合适的体系结 可以达到系统整体的最优配置].对于有意识协作的 构，是多机器人系统正常、高效运转的关键，也是构 异构多机器人系统，尽管已有多篇文献对协作多机器 建多机器人系统的首要问题，如日本Asama等提出 人系统的研究进行了综述”，但基本都是针对多机 ACTRESS系统结构[3]，美国学者Beni等研究的 器人系统研究中的若干具体问题进行论述，如任务分 SWARM系统结构[]，Le Pape提出了GOFER结 配、运动规划、合作搬运等.本文将从系统优化控制的 构4，Parker等提出了ALLIANCE结构341，Vidal 宏观角度出发，整体上把多机器人系统视作一个控制 等提出了一种混合层次体系结构35]，王醒策等针对 对象，对其构建与优化研究展开相关的总结.总的来 多机器人编队提出了分层的体系结构]，陈卫东等 说，一个优秀的多机器人系统必须有如下特点：合理的 采用递阶混合式结构进行多机器人编队和收集垃 系统体系结构、正确的环境感知能力、优化的决策控制 圾[]，而崔益安则尝试建立一个通用与开放的、适 策略（具体如图1所示）， 应于非结构环境的自组织分层式结构SCLA[] 多机器人系统 虽然特定环境或任务会造成系统结构具有一定 休系结构 的特殊性，但可以从影响体系结构的几个主要系统维 (如组织结构、通信方式、控制结构、团队组成和团队 优化控制 感知与建模 规模)入手，决定到底采用何种体系结构，如表2. 表2系统结构中的主要系统维 环境 Table 2 Main dimensions for system structure 系统组成 具体描述 图1多机器人系统的控制原理 指系统内部成员的相互关系和拓扑结构，分 组织结构 Fig.1 Control schematic diagram for multi-robot system 为集中式、分布式和混合式结构3种 所以，在后续论述中，将围绕构建合理高效的多 通信方式决定了机器人之间的交互方式，分 机器人系统这一研究主线，从协作多机器人系统的 通信方式 隐式通信和显式通信2类. 体系结构、环境感知与优化控制3个方面展开论述， 专指多机器人系统的控制结构，是系统决策 并得到协作多机器人系统关键技术研究的树状结构 控制结构 的方式，分为慎思型和反应型两大类。 图，如图2所示 根据机器人功能异同分为同构/异构机器人 团队组成 石意识协作的异构 团队 多机器人系统研究 团队规模主要由机器人的数量决定， 体系结构 优化控制 由于系统规模对有意识协作的异构多机器人系 环境感知 统性能影响较大，规模越大，对协同和通信能力要求 组织结构 学习优化 越高，除了少数特例（如CENTIBOTS91由97个Ami- (控制结构 任务分配 0机器人和6个P2-AT机器人组成)外，有意识协 通信方式 协调控制 信息融分 定位建图 作的异构多机器人系统一般团队规模较小，所以本 文将重点讨论其他3个系统维：组织结构、通信方式 图2多机器人系统研究内容的树状结构 和控制结构. Fig.2 Tree-like schematic-diagram for heterogeneous 2.1.1组织结构 multi-robot system research 多机器人组织结构可分为集中控制结构和分散 2.1系统体系结构 控制结构，而分散控制结构又可进一步分为分布控 多机器人体系结构是指系统中各机器人之间的 制结构和混合控制结构[9]，具体见表3. 信息关系和控制关系，以及问题求解能力的分布模

·16 智能系统学报 第6卷 表3多机器人组织结构分类和对比 2)显式通信.显式通信通常需要专用硬件通信 Table 3 Taxonomy and comparison for multi-robot system 设备以及复杂的信息表示模型，机器人之间可直接 organization 进行信息交换，是一种开销大、不可靠的通信方法。 类型 特点 应用实例 显式通信可以进一步分为全局通信和局部通信：全 局通信中，所有机器人之间都具有全局范围内的符 适合强协调任务，分主、从机 器人，主机器人负责系统协文献[40]，此 号通信能力，系统通信效率随机器人的数量增加而 急剧下降，通信干扰和延迟将严重影响系统的可靠 集中式 调，具有完全的控制权.该方 外，大多数的微 式可减少协商通信的开销，并 型足球机器人 性，一般仅适用于小规模的多机器人系统5；而局 结构 获得全局最优解，但实时性和 团队采用的集 部通信则由于通信距离和通信拓扑的限制，仅发生 动态性较差，结构灵活性不 中式组织结构. 在局部范围内，但通过设计合理的通信机制，可兼顾 足，鲁棒性较差。 效率和可靠性52s 显式通信可利用现有网络技术，如文献[54]对 ROCI、层次 基于802.11g标准的无线局域网WLAN在TCP协 适合弱协调任务，机器人之间 化和对象可重 无隶属关系，通过交互或通信 议下的延时特性进行了测试和分析，并指出了构建 构)、多模式交 分布式实现协调.该方式可降低系统 基于WLAN的多机器人系统时所应该考虑的关键 互4)、Ad Hoc 结构复杂性，提高扩展性和鲁棒 因素.为了保证通信的有效性和实时性，可以通过设 网络)、MAC 性.对通信要求较高，不保证 计多机器人系统专用的通信机制]和通信语言] ROBE和RO 目标的全局最优性， 实现：还可以采用基于强化学习的自适应通信协 MAN[]等. 议[，提高系统对不同通信环境的适应性.此外，在 本质上是一种层次结构，上层 提高多机器人系统通信的容错性和可靠性等方面可 的领导机器人动态生成，且对 以借鉴文献[5860]： 下层的机器人只有部分控制 ALLIANCE!I 2.1.3控制结构 混合式 能力.该方式可实现集中和分 和文献[5,46] 结构 这里的控制结构不是单个机器人的控制结构， 布结构的互补，提高系统灵活 等 而是指整个多机器人系统的控制结构[6].控制结构 性和协调效率.但复杂性高， 可分为反应式和慎思式2种：当一个团队在应对环 实现难度大。 境改变时可以根据策略重新组织整个团队的行为， 2.1.2通信方式 则为慎思型的控制结构，具体如文献[6263]；而每 通信也是多机器人系统的一个重要研究问题， 个机器人在应对环境变化时，仅仅对自己所采取的 系统的通信方式决定了机器人之间的相互作用方 策略进行重组，以更好地完成自身的任务，则为反应 式1，在多机器人系统中，为了实现机器人的同步 式的控制结构，具体如文献[64-65].所以，二者的主 或协调，信息交互是必不可少的.而且大量的应用实 要差别在于对新状态所采取的不同应对策略，即在 践也证明，合理的通信可以大大提高系统运行效率. 慎思型系统中，会利用长期规划并充分利用所有可 总的来说，机器人之间的通信方式可以分为隐式通 用资源来实现1个全局目标；而在1个反应式系统 信和显式通信2类) 中，每个机器人仅仅考虑当前机器人面临的态势，并 1)隐式通信.隐式通信利用机器人的行为对产 给出独自的规划操作 生环境的变化来影响其他机器人的行为，如基于 2.2环境感知与建模 Stigmerg罗机制9]的通信方式，个体以环境为作用中 多机器人系统要实现优化决策，并获得良好的 介，通过利用或者改变环境中的信息，来激励自身或 协调控制性能，必须依赖于准确可靠的环境感知能 者其他个体的行为，最终达到信息交流和自组织的 力.随着各种先进传感设备和配套应用软件的不断 目的.隐式通信的特点在于局部交互和简单的信息 开发，机器人已经大大拓展了自己的感知空间和感 表示模型，且不会随着群体数量的增加而产生通信 知能力，但如何充分利用多个机器人的传感资源，提 瓶颈问题，整个通信方式非常简单、有效和可靠.隐 高协同感知精度和能力，具有很高的研究价值 式通信的研究重点在于如何通过环境信息的改变和 2.2.1信息融合 简单信号的感知进行局部信息交换0] 通过协作感知来提高环境感知能力一直是多机

第1期 吴军，等：协作多机器人系统研究进展综述 ·17 器人系统研究的重点.各个机器人可以装载不同种 同建图方法可参考文献[74-77]等 类的传感设备，可以获取丰富的传感信息，通过设计 2.3优化控制 高效的信息融合算法，可以将局部不完整、不确定的 多机器人系统可以通过相互分工、相互合作来 多源信息处理成对相对完整的环境感知信息，从而 完成复杂任务，人类社会中合理的生产关系可以促 提高系统的信息获取能力和感知效率.信息融合包 进生产力的发展，同样，合理的运行控制机制可以充 括了单个机器人上不同传感器的信息融合和机器人 分发挥多机器人系统的优势，提高任务完成效率.下 与机器人间的信息融合.例如，当异构团队共同完成 面将从两方面对多机器人系统的优化控制机制进行 环境探测时，可将视觉信息与激光雷动或声呐信息 阐述：首先阐述如何利用合理的协同运行机制，从协 融合生成单个机器人的局部地图，然后将多个机器 作和协调2个方面优化系统性能：其次将阐述如何 人的局部地图信息融合成一个全局地图.因此，多机 利用学习优化方法进一步优化系统控制性能， 器人间的信息融合涉及到信息表示、匹配、相关及如 多机器人系统的协同问题包括多机器人协作和 何处理不确定性和提高处理速度等难点问题.文献 与协调2个方面，二者互相区别而又紧密联系3]， [66]将多智能体技术与多传感器信息融合技术相 当给定多机器人系统的工作任务时，如何组织多个 结合，构建基于多智能体的信息融合框架，并应用到 机器人进行有效地合作，将总体任务以最优的方案 机载航空信息融合系统中.文献[67]提出了一种基 分配给各个成员机器人，共同完成任务，是多机器人 于信息融合的多智能体协作方法，并将该方法应用 协作的主要研究问题.而在合作关系确定后，如何保 在机器人救援仿真系统.文献[68]对各种适用于多 证多个机器人工作的协调一致性，即为多机器人的 机器人系统的信息融合拓扑结构、融合方法进行了 协调问题，对于由紧耦合子任务组成的复杂任务而 系统的综述，并分别指出了定性和定量信息融合算 言，协调问题尤其突出， 法的重要性， 图3描述了协同运行机制和学习优化方法之间 目前，大多数多机器人团队协作时只能实现同 的关系.多机器人的协作优化机制作用在高层的系 种传感器的信息融合，而有效实现异种传感器信息 统层面：而协调优化机制主要处理当前机器人和其 融合的环境识别与目标定位实例还很少.事实上，各 他机器人的同步和交互问题；底层的优化控制层主 种传感器各具优点，可以互为补充，文献[69]融合 要解决单个机器人的控制优化，这不是本文研究的 视觉传感器信息与激光雷达数据进行多机器人的协 重点.从图3可以得知，学习优化方法可以对上述3 作建模，是异种传感信息融合的有益尝试。 个层次的控制策略分别进行优化， 2.2.2协同定位与地图创建 协作优化机制 →多机器人系统 从本质上讲，协同定位和地图创建应该属于多 源信息融合的范畴，但由于其重要性，得到了较多的 研究.通过多机器人的协同定位操作，多机器人群能 协调优化机制 机器人父互 够在未知环境中互为路标，得到比单个机器人定位 更精确的位置[0].多机器人协同定位操作需要应用 底层优化控制 ·单个机器人 非线性算法对各个机器人的运动模型和观测模型进 行建模，一种建模方法是扩展卡尔曼滤波算法(ex- 图3多机器人优化机制的层次关系 tended Kalman filter,EKF)Io,它对非线性系统进行 Fig.3 Hierarchy of multi-robot optimization mechanism 局部线性化，从而间接利用卡尔曼算法进行滤波与 2.3.1协作机制 估算；另一种为序列蒙特卡罗算法，即粒子滤波器 多机器人的协作是从系统整体规划上减小冲突 (particle filter,PF)[.实践表明，基于EKF和PF 概率，减少资源浪费，保证系统的最优性.协作机制 的多机器人协作定位精度明显高于单个机器人的定 可以存在于机器人的控制结构、通信机制和相互作 位结果，但在使用时需满足一定条件，否则会导致过 用中，并主要表现为任务分配问题.任务分配决定各 分乐观的位置估计”1；所以文献[73]提出采用一种 个机器人在何时执行何种任务，体现了系统高层组 改进的粒子滤波器，即高斯施密特粒子滤波器(the 织形式与运行机制，直接决定了系统中各机器人能 Gauss-Hermite particle filter,GHPP),并在定位精度 否最大限度地发挥自身的能力，并提高整个系统的 和鲁棒性方面取得良好的均衡.其他协作定位和协 运行效率

18 智能系统学报 第6卷 多机器人的任务分配问题在不同情况下可分别 务描述为求解所需的能力向量，结合机器人的能力 看作最优分配问题（optimal allocation problem, 状态，可实现任务的灵活求解；而文献[8283]提出 OAP)、整数线性规划问题、调度问题、网络流问题和 行为模式的概念，通过传感信息共享，可以实现各种 组合优化问题]，其解决方法主要有基于行为的分 新任务的自动求解，并获得很好的灵活性、鲁棒性和 配方法、市场机制方法、群体智能方法、基于线性规 代码可重用性. 划的方法、基于情感招募的方法和基于空闲链的方 2.3.2协调机制 法等]，具体见表4. 简而言之，多机器人协调问题即是各机器人行 表4任务分配方法的对比 动的同步化操作问题).多机器人系统在协作完成 Table 4 Comparison for task allocation methods 复杂任务时，应尽量减少相互之间的干扰、冲突，保 分类 特点 典型方法 证在任务的执行上具有目的一致性，否则系统会由 直接找到具有最大效BLE方法侧)、Parker的 于额外增加的复杂性，导致效率下降，最终难以得到 用的机器人任务对，将ALLIANCE方法)、L 优化结果. 行为 任务分配给指定机器ALLIANCE方法 早期的协调控制研究主要是载荷分配、运动分 方法 人，分配以后不再考 ASyMTRe方法[]和 解、避碰轨迹规划、操作柔性体或大型物体等，近年 虑。 ASyMTRe-D方法]. 来研究逐渐转向目标搜索、多机器人停驻等问题.如 文献[37]在一个递阶混合式协调结构中采用离散 基于协商谈判的分布Smith的合同网)、 事件动态系统理论中的有限状态机(finite state au- 式分配方法.适用于任 Caloud的集中式拍卖 tomaton,FSA)方法实现行为的协调；而文献[99]也 市场务和状态可知的中小算法4)、Behauh的组合 采用SA实现任务执行的协调操作.动态环境的多 机制规模异构系统，可实现拍卖方法[]、☑t的基 机器人协调路径规划已有基于“空间时间”的规划 方法全局最优任务分配，资于任务树拍卖方法的 方法和人工势场法2种基本解决方法，但当问题复 源消耗多，对通信依赖Lovekesh的RACHNA 性高 方法， 杂时，都无法保证能得到协调无冲突的解.Sapthari- i等进一步提出基于统计运动状态估计的动态权 无集中控制器，不依赖 群体 阔值法、蚁群算 限分配策略进行协调路径规划1.此外，也有不少 于全局模型，鲁棒性 智能 法以及二者的结合 人提出了采用基于遗传算法的协调求解方法，但收 好，间接通信开销小， 方法 敛速度慢、计算复杂] 可扩充性好， 方法[0]. 在同一环境中运行的多个机器人经常会发生资 运算量随系统规模呈 线性 基于0-1型整数线性规 源共享冲突，对于可预见的冲突，可通过协作机制中 指数级增长，需要全局 规划 划方法]、基于混合整 的规划操作加以避免.但是仅依靠规划的方法避免 信息和集中管理，扩展 方法 数线性规划方法[觉] 冲突，系统的适应性非常有限，因为系统动态运行的 性差，效率低。 情感 状况常常无法事先准确预测，故文献[101-102]考虑 引入情感的分布式分配 Gage等提出的情感招 招募 采用强化学习算法获取多机器人系统的冲突消解策 方法，无需彼此建模 法 募方法[叫 略.此外，死锁也是多机器人系统经常遇到的问题， 空闲考虑了机器人的相互 其源于机器人顽固地执行一件自己“力所不及”的 链方作用，能够显式地处理 Dahl提出的TAVCC] 任务，从而丧失了完成其他任务的机会.对于多机器 法 群动态的影响， 人任务协作时的死锁问题，文献[89]中提出了自适 总的说来，当前基于市场机制的任务分配策略 应衰减因子的方法，而文献[103]中则使用人工协 研究较多6]，而有待深入研究的问题包括动态、未 调场来解决，但动态环境中的死锁检测与消解，仍是 知环境下的任务动态分配和再分配问题，任务预测 极具挑战性的难题30 与任务分解问题以及异构大规模系统和复杂任务的 2.3.3学习优化 任务分配问题等， 实际的多机器人系统所处工作环境瞬息万变， 目前的任务分配主要通过预先手动分解为子任 具备高度的复杂性和难于建模的特性，不可能在研 务，再进行任务分配.自动任务分解和求解问题是多 制期间就完全预知未来的环境变化情况并给出对应 机器人系统研究的难题之一，但文献[97]通过将任 策略，因此需要研究具有自适应能力的学习方法来

第1期 吴军，等：协作多机器人系统研究进展综述 ·19 提高系统性能].通过学习，多机器人系统可以适 态问题和状态组合爆炸导致的维数灾难问题更加严 应外界环境变化，优化合作策略，增加系统弹性和自 重，如何合理利用逼近和泛化技术，并引人学习加速 主性.近年来，多机器人平台的机器学习研究已取得 技术，提高算法的适用性也是多机器人增强学习研 了明显进展，尤其是基于多智能体的增强学习理论 究的重点 和算法研究s16,为复杂和未知环境中的多机器 此外，近年来进化机器人技术也受到了极大的 人协作信息提取、环境理解、任务规划与行为决策等 关注「21，但是进化算法在机器人的应用中难以实 提供了有效的解决途径.当前多机器人增强学习主 现交叉复制等操作123]，而最近出现的实体进化方 要基于Markov对策模型进行自主决策框架理论与 法则为进化机器人技术带来了新的曙光24] 方法的研究1m1].尤其是Hu在1998年证明了 3 Markov对策模型下应用在线Q-学习的多智能体协 多机器人系统实验平台 作能收敛到Nash平衡点，为多智能体系统中使用增 由于多机器人系统面向的任务各异，使得各种 强学习提供了理论基础1] 多机器人系统的硬件平台差别较大.下面根据系统 多机器人增强学习研究的典型任务包括共同搬 中机器人平台的机械、物理和功能等方面的特点，将 运、共同探索、觅食和多目标跟踪等.Mataric1o4]将增 多机器人系统的硬件平台分为如下4类（见表5）. 强学习方法同一个基于行为结构的多机器人觅食任 表5典型的多机器人硬件实验平台 务结合起来.noue提出将增强学习方法应用在2个 Table 5 Typical experimental platforms for multi-robot 类人机器人协同搬运的任务中o],以保证机器人 systems 的紧密合作.Io在文献[111]中将遗传算法和增强 类别 特点 典型平台 学习算法结合起来，用来在一个集群机器人系统中 简单、同构、模块化，具 CEBOT)、S-bot机器 学习协作搬运的动作策略.文献[112]通过将顺序 可重 有特殊机械和电气连 接装置，可灵活组合， 人)、SuperBot)、进 Q学习方法和遗传算法结合起来，既可以有效解决 构平 多机器人协作搬运中的资源和行为冲突问题，又可 台 多由研究机构自行设 化多机器人有机体2 等。 以解决本地极小问题.在文献[113]中，利用增强学 计和制作. 习使得2个工业机器人能够学习协作抓取策略.文 结构和功能简单、同 微小型 KheperalⅡ型微小机器 献[114]证明一个合作任务可以映射为单智能体强 构、形体较小，移动能 移动 人[]、Swarm Bot机器 化学习问题，并可以通过感知和强化信号提高学习 力有限，多需结构化实 平台 人IO、MARV2]等. 性能，最后在多目标观测任务中进行了验证.文献 验场地. [115]的提出了一种结合行为控制和隐式协作的分 先锋系列机器人PX 布式增强学习方法，并在多目标跟踪问题中进行了 最常见，具有较强的处 AT、PX-DX、AmigobotTM 验证.国内开展的多机器人增强学习研究还比较少， 中型 理能力和丰富的接口及PowerBot[21,iRo 主要停留在仿真研究层面上[23,36,8,161]，采用实物 移动 资源，扩展性好，移动 bot!127] Segway 验证的多机器人增强学习算法现在还很少 平台 能力较强，具备单独完 RMP),LAGR机器 将增强学习应用于多机器人领域，能够提升系 成较复杂任务的能力. 人[和Labmate机器 统性能1]，但是，增强学习的应用面临诸多困难。 人1等 首先，多个机器人共同学习，将导致学习过程的非马 移动能力强，甚至具备 UGV Demo//C中使 尔可夫性19，此时再简单地移植应用单智能体增 大型 越野能力，其装载的各 用的HMMWV)、Mo 强学习方法，将得到次优或周期性的控制策略.但有 移动 种资源也很丰言，体型 平台 bileRobots公司的 如下2种应对方法：一种是估计其他机器人的影响 较大 Seekurs机器人[6 或者转换为部分可观测马氏决策过程(partially ob- servable Markov decision process,.POMDP)进行学 国内的多机器人系统研究平台多基于MobileR- 习；另外还可以对分布式的学习过程进行协调，以降 obots公司的先锋系列机器人进行构建，但也有部分 低各个学习过程之间的相互干扰[20121，但协调规 研究机构开发了自己的多机器人平台，如上海交通 则需要专门设计，且要求清晰的通信操作，从而使其 大学的Frontier-、Frontier-IIM机器人、国防科技大 适用度大打折扣.此外，在多机器人学习中，连续状 学开发的NuBot机器人31J等

·20 智能系统学报 第6卷 在多机器人系统的协同控制研究中，仿真环境 物体的搬运任务【6]等 的建立和算法测试对于提高开发效率具有重要的作 5)机器人足球.机器人足球是研究多机器人协 用.当前国内外已经建立了若干多机器人系统的仿 作任务的常见平台[5]，不确定的动态环境，加上对 真环境，具备较好的通用性和灵活性.例如，有的仿 抗性的任务场景，使得机器人足球比赛极具挑战性， 真系统支持算法软件的物理系统移植和实物实验， 如何通过协同操作提高系统能力是其研究重 如MSRS]、MissionLab7.0l1a]、Player//Sage1B4];有 点156157 的则是纯软件仿真环境，如SoccerServer13s]、Team- 6)多机器人的动态追捕.未知环境下的多机器 Bots136]和MultiSim7]等，均不支持实物实验 人动态追捕问题也是多机器人合作与协调的典型问 4 多机器人系统的应用任务 题，这缘于该问题牵涉到多机器人合作与协调的多 个方面，如环境探索、信息共享与融合、自适应与学 为了评估协同技术，需要在合适的应用任务上 习、动作决策和冲突消解等问题，该问题的典型应用 进行验证，下面将对常见的典型应用任务进行描述 和分析有文献[158-161]等 1)聚集、觅食和编队.在聚集任务中，机器人的 目标是像羊群一样聚集起来.聚集行为可以增加动 5存在的问题及发展趋势 物找到食物的机会，提高生存机率等，所以在多机器 总的说来，近30年以来，多机器人系统研究已 人系统中实现该行为非常必要].觅食任务可以 经取得长足进展，但是还面临诸多的技术桃战 看作一种带约束的聚集任务，需要各个成员捡拾散 1)建立更为高效和紧凑的多机器人系统结构， 布在环境中的目标物体并避免冲突[6s,39],主要模拟 开发更为合理的组织和协调策略，仍然是需要进一 废物清理、排雷等任务「10].编队任务也可以看作是 步研究的基础性问题；提高系统的适应性和鲁棒性， 聚集任务的一个特例，只是最终聚集的形式需要保 并使多机器人系统适合于大规模运行的情况，也是 持预定的几何配置形式，并要求在行进中保持多机 需要深人研究的问题！ 器人系统的特定编队队形[41143] 2)利用多机器人系统和人的交互，可以充分结 2)探索和覆盖.在探索任务中，机器人必须遍 合人的高层决策智能和多机器人系统的底层协同能 历环境以搜集尽可能多的环境信息，如常见的 力，提高系统的性能.但是，如何设计合理的人机交 SLAM1415],就要求机器人在环境中移动时，同时 互接口，加强人与多机器人系统的理解是将来的一 实现定位和建图工作.探索任务的一个具体实例是 个研究方向 RoboCup的机器人团队营救任务I6],即在灾难后的 3)如何在软、硬件异构的机器人之间实现相互 废墟中寻找受害者.覆盖任务要求机器人遍历环境 通信和相互协调，真正建立具备跨语言、跨平台的多 中的所有自由空间8]，其应用包括清雪、除草、 机器人分布式系统.在现有CORBA基础上，进一步 汽车车身喷漆等， 研究面向Agent设计的互操作技术，是将来研究的 3)多目标观测.多目标观测(cooperative multi- 重要方向 robot observation of multiple moving targets,CMOM- 4)基于突现行为的集群机器人系统虽然控制 MT)是较新的多机器人系统测试问题，其要求机器 简单，配置灵活，但是如何合理设计本地局部交互规 人团队检测和跟踪一组移动的目标4910]，而每一 则和控制规律，以可控的方式生成期望的高层突现 个目标至少受到某一个机器人的监视，并最终通过 行为，是非常值得研究的问题. 优化控制策略来最大化正常监视的时间.多机器人 5)加强实物形式的多机器人系统研究.在积极 的多目标观测和安保、监视和识别问题等都有密切 开展仿真系统研究的基础上，重视利用实物系统验 联系5 证提出的算法和理论是将来发展的必然方向 4)推箱子和物体搬运任务.推箱子的任务要求 总之，多机器人系统代表了机器人发展的明天，研 机器人合作推箱子来达到期望的配置15]，基本上 究价值重大，前景光明；但极富挑战性，要求广大研究 所有的推箱子任务都是固定在一个平面上进行.但 人员在理论上、技术实现上进行更为深入的研究。 物体搬运任务则要完成拾起和运送物体2个子任 务，且多假定单个机器人无法独立拾起物体，从而大 参考文献： 大增加了问题的复杂度[14]，如工业环境中大型 [1]DORF R C,NOF S Y.Concise interational encyclopedia

第1期 吴军，等：协作多机器人系统研究进展综述 ·21 of robotics:applications and automation[M].New York: ch/record/63893/files/aias.pdf. Wiley-Interscience,1990. [16]ANTONELLI G,ARRICHIELLO F,CHIAVERINI S.The [2]FUKUDA T,NAKAGAWA S.A dynamically reconfigurable null-space-based behavioral control for autonomous robotic robotic system:concept of a system and optimal configura- systems[J].Intelligent Service Robotics,2008,1:27- tions [C]//Proceedings of IECON.Cambridge,USA, 39. 1987:588-595. [17]MONDADA F,PETTINARO G C,GUIGNARD A,et al. [3]ARAI T,PAGELLO E,PARKER L E.Guest editorial:ad- SWARM-BOT:a new distributed robotic concept[J].Au- vances in multi-robot systems [J].IEEE Transactions on tonomous Robots,Special Issue on Swarm Robotics,2004, Robotics and Automation,2002,18(5):655-661. 17(2/3):193-221. [4]CALOUD P C.Indoor automation with many mobile robots [18]NISSAN.Nissan EPORO robot car "Goes to School"on [C]//IEEE/RSJ International Conference on Intelligent collision-free driving by mimicking fish behavior EB/ Robots and Systems.Ibaraki,Japan,1990,1:67-72. OL].[2010-06-11 ]http://www.nissan-global.com/ 5]NOREILS F R.Toward a robot architecture integrating co- EN/NEWS/2009/STORY/091001-01-e.html. operation between mobile robots:application to indoor envi- [19]PARKER L E.Distributed intelligence:overview of the ronment[J].International Journal of Robotics Research, field and its application in multi-robot systemsJ].Jour- 1993,12(1):79-98. nal of Physical Agents,2008,2(1):5-14. [6]TUCIE,GROB R,TRIANNI V,et al.Cooperation through [20]董炀斌.多机器人系统的协作研究[D].杭州：浙江大学 self-assembly in multi-robot systems[J].ACM Transactions 电气工程学院，2006. on Autonomous and Adaptive Systems,2006,1(2):115- DONG Yangbin.A study on multi-robot cooperation[D]. 150. Hangzhou:College of Electrical Engineering,Zhejiang U- [7]MARS2020[EB/OL].2010-06-11].http://www.static. niversity,2006. cc.gatech.edu/ai/robot-lab/mars2020/. [21]MARTINOLI A.Swarm intelligence in autonomous collec- [8]SPOFFORD J R,RIMEY R D,MUNKEBY S H.Overview tive robotics:from tools to the analysis and synthesis of of the UGV/Demo II Program EB/OL].[2010-06-11 ] distributed collective strategies[D].Lausanne,Switzer- http://ray.rimey.org/publications/1997_RSTA_book_1_1_ land:EPFL,1999. Program.pdf. [22]PARKER L E,KANNAN B,TANG F.Tightly-coupled [9]KONOLIGE K,ORTIZ C,VINCENT R,et al.Centibots: navigation assistance in heterogeneous multi-robot teams large scale robot teams[R].Menlo Park,USA:SRI Inter- [C]//IEEE/RSJ International Conference on Intelligent national,Stanford University,2002. Robots and Systems IROS )Sendai,Japan,2004: [10]MCLURKIN J.Analysis and implementation of distributed 1016-1022. algorithms for multi-robot systems[D].Cambridge,USA: [23]杨东勇.多机器人协作的学习与进化方法[D].杭州：浙 Department of Electrical Engineering and Computer Sci- 江大学电气工程学院，2004. ence,MIT,2008. YANG Dongyong.Multi-robot cooperation based-on leam- [11]SHEN W M,KRIVOKON M,CHIU H,et.al.Multimode ing and evolution [D].Hangzhou:College of Electrical locomotion via SuperBot reconfigurable robots[J].Autono- Engineering,University of Zhejiang,2004. mous Robots,2006,20(2):165-177. [24]CAPRARI G,SIEGWART R.Design and control of the [12]ULAMA P,KIRA Z,ARKIN R C,et al.Mission specifi- mobile micro robot alice[C]//Proceedings of the 2nd In- cation and control for unmanned aerial and ground vehicles ternational Symposium on Autonomous Minirobots for Re- for indoor target discovery and tracking[C]//Proceedings search and Edutainment.Brisbane,Australia,2003:23 of SPIE 2010.Orlando,USA,2010,7694:39. 32. [13]ALAMI R,FLEURY S,HERRB M,et al.Multi-robot co- [25]What may be world's smallest mini-robot being developed operation in the MARTHA project[J].Robotics and Auto- at Sandia [EB/OL].[2010-06-11].http://www.news- mation Magazine,1998,5(1):36-47. wise.com/articles/worlds-smallest-mini-robot-being-devel- [14]PFEIFER R,SCHEIER C.Embodied cognitive science:a oped-at-sandia. novel approach to the study of intelligence in natural and [26]KORNIENKO S,KORNIENKO O,NAGARATHINAM A, artificial systems M]//GOMI T.Evolutionary robotics, et al.From real robot swarm to evolutionary multi-robot or- Vol.II:from intelligent robots to artificial life,ER'98. ganism[C]//Proceedings of IEEE Congress on Evolution- Ontario,Canada:Applied AI Books,1998:1-35. ary Computation.Singapore,2007:1483-1490. [15]FLOREANO D,GODJEVAC J,MARTINOLI A,et al. [27]胡旭东.基于网络的异构工业机器人集成技术研究 Design,control and application of autonomous mobile ro- [D].杭州：浙江大学机械与能源学院，2004. bots[EB/OL].[2010-06-11].http://infoscience.epfl. HU Xudong.Study of the web-based integration of hetero-

22 智能系统学报 第6卷 geneous robotic manipulators[D].Hangzhou:College of [J].Control Theory Applications,2002,19(4):505- Mechanical and Energy Engineering,Zhejiang University, 510. 2004. [38]崔益安，蔡自兴，李萧晨.自组分层式多机器人体系结 [28]原魁，李园，房立新.多移动机器人系统研究发展近况 构[J].小型微型计算机系统，2008,29(7)：1263- [J].自动化学报，2007,33(8)：785-75. 1267. YUAN Kui,LI Yuan,FANG Lixin.Multiple mobile robot CUI Yian,CAI Zixing,LI Xiaochen.Self-configurable and systems:a survey of recent work[J].Acta Automatica layered architecture of multi-robot[].Joumal of Chinese Sinica.2007,33(8）:785-795. Computer Systems,2008,29(7):1263-1267. [29]石志国，王志良，刘冀伟.异构多机器人协作系统研究 [39]蔡自兴，陈白帆，王璐，等.异质多移动机器人协同技术 进展[J].智能系统学报，2009,4(5)：377-391 研究的进展[J].智能系统学报，2007,2(3)：1-7. SHI Zhiguo,WANG Zhiliang,LIU Jiwei.Developments in CAI Zixing,CHEN Baifan,WANG Lu,et al.The pro- heterogeneous multi-robot cooperation systems[J].CAAI gress of cooperative technology for heterogeneous multiple Transactions on Intelligent Systems,2009,4(5):377- mobile robots[J].CAAI Transactions on Intelligent Sys- 391. tems,2007,2(3):1-7. [30]陈卫东.微型移动机器人集群系统研究进展[J].上海 [40]SUH I H,YEO H K,KIM J H,et al.Design of a super- 电机学院学报，2007,10(2)：81-85. visory control system for multiple robotics systems[C]/ CHEN Weidong.The state of the art in swarm systems of IEEE/RSJ International Conference on Intelligent Robots micro mobile robots[J].Journal of Shanghai Dianji Uni- and Systems.Osaka,Japan,1996:332-339. versity,2007,10(2):81-85. [41 CHAIMOWICZ L,COWLEY A,SABELLA V E A. [31]ASAMA H,MATSUMOTO A,LSHIDA Y.Design of an ROCI:a distributed framework for multi-robot perception autonomous and distributed robot system:ACTRESS and control[C]//Proceedings of the 2003 IEEE/RJS In- [C]//Proceedings of IEEE/RSJ International Conference ternational Conference on Intelligent Robots and Systems. on Intelligent Robots and Systems.Tsukuba,Japan, Las Vegas,USA,2003,1:266-271. 1989:283-290. [42]ALUR R,DAE A.A framework and architecture for multi- [32]BENI G,WANG J.Swarm intelligence[C]//Proceedings robot coordination[C]//Interational Symposium on Ex- of the 7th Annual Meeting of the Robotics Society of Japan. perimental Robotics.London,UK:Springer-Verlag, Tokyo,Japan:RSJ Press,1989:425-428. 2001:303-312. 33]PARKER L E.ALLIANCE:an architecture for fault toler- [43]陈卫东，顾冬雷，席裕庚.基于多模式交互的多移动机 ant,cooperative control of heterogeneous mobile robots 器人分布式合作系统[J].自动化学报，2004,30(5)： [C]//Proceedings of the 1994 International Conference on 671678. Intelligent Robots and Systems.Munich,Germany,1994: CHEN Weidong,GU Donglei,XU Yugen.Distributed co- 776-783. operation for multiple mobile robots based on multi-modal 34]PARKER L E.ALLIANCE:architecture for fault tolerant interactions[J].Acta Automatica Sinica,2004,30(5): multi-robot cooperation[J].IEEE Transactions on Robot- 671-678. ics and Automation,1998,14(2):220-240. [44]DAS A,SPLETZER J,KUMAR V,et al.Ad Hoc net- 35]VIDAL R,SHAKERNIA O,KIM H J,et al.Multi-agent works for localization and control[C]//Proceedings of the probabilistic pursuit-evasion games with unmanned ground IEEE Conference on Decision and Control.Las Vegas, and aerial vehicles J].IEEE Transactions on Robotics USA,2002,3:2978-2983. and Automation,2002,18(5):662-669. [45]AZARM K,SCHMIDT G.A decentralized approach for [36]王醒策，张汝波，顾国昌.多机器人动态编队的强化学 the conflict free motion of multiple mobile robots[J.Ad- 习算法研究[J].计算机研究与发展，2003,40(10)： vanced Robotics,1997,11(4):323-340. 1444-1450 [46]SIMMONS R,SINGH S,HERSHBERGER D,et al.First WANG Xingce,ZHANG Rubo,GU Guochang.Research results in the coordination of heterogeneous robots for large- on dynamic team formation of multi-robots reinforcement scale assembly[C]//Proceedings of the International Sym- learning[J].Journal of Computer Research and Develop- posium on Experimental Robotics ISER).Honolulu, ment,2003,40(10):1444-1450. USA,2000:323-332. [37]陈卫东，席裕庚，顾冬雷，等.一个面向复杂任务的多机 [47]CAO Y,FUKUNAGA A,KAHNG A.Cooperative mobile 器人分布式协调系统[J].控制理论与应用，2002,19 robotics:antecedents and directions[J].Autonomous Ro- (4):505-510. bots,1997,4(1):7-27. CHEN Weidong,XU Yugen,GU Donglei,et al.Complex [48]FARINELLI A,IOCCHI L,NARDI D.Multi-robot sys- task oriented multi-robot distributed coordination system tems:a classification focused on coordination[J].IEEE