第1期 吴军，等：协作多机器人系统研究进展综述 ·19 提高系统性能].通过学习，多机器人系统可以适 态问题和状态组合爆炸导致的维数灾难问题更加严 应外界环境变化，优化合作策略，增加系统弹性和自 重，如何合理利用逼近和泛化技术，并引人学习加速 主性.近年来，多机器人平台的机器学习研究已取得 技术，提高算法的适用性也是多机器人增强学习研 了明显进展，尤其是基于多智能体的增强学习理论 究的重点 和算法研究s16,为复杂和未知环境中的多机器 此外，近年来进化机器人技术也受到了极大的 人协作信息提取、环境理解、任务规划与行为决策等 关注「21，但是进化算法在机器人的应用中难以实 提供了有效的解决途径.当前多机器人增强学习主 现交叉复制等操作123]，而最近出现的实体进化方 要基于Markov对策模型进行自主决策框架理论与 法则为进化机器人技术带来了新的曙光24] 方法的研究1m1].尤其是Hu在1998年证明了 3 Markov对策模型下应用在线Q-学习的多智能体协 多机器人系统实验平台 作能收敛到Nash平衡点，为多智能体系统中使用增 由于多机器人系统面向的任务各异，使得各种 强学习提供了理论基础1] 多机器人系统的硬件平台差别较大.下面根据系统 多机器人增强学习研究的典型任务包括共同搬 中机器人平台的机械、物理和功能等方面的特点，将 运、共同探索、觅食和多目标跟踪等.Mataric1o4]将增 多机器人系统的硬件平台分为如下4类（见表5）. 强学习方法同一个基于行为结构的多机器人觅食任 表5典型的多机器人硬件实验平台 务结合起来.noue提出将增强学习方法应用在2个 Table 5 Typical experimental platforms for multi-robot 类人机器人协同搬运的任务中o],以保证机器人 systems 的紧密合作.Io在文献[111]中将遗传算法和增强 类别 特点 典型平台 学习算法结合起来，用来在一个集群机器人系统中 简单、同构、模块化，具 CEBOT)、S-bot机器 学习协作搬运的动作策略.文献[112]通过将顺序 可重 有特殊机械和电气连 接装置，可灵活组合， 人)、SuperBot)、进 Q学习方法和遗传算法结合起来，既可以有效解决 构平 多机器人协作搬运中的资源和行为冲突问题，又可 台 多由研究机构自行设 化多机器人有机体2 等。 以解决本地极小问题.在文献[113]中，利用增强学 计和制作. 习使得2个工业机器人能够学习协作抓取策略.文 结构和功能简单、同 微小型 KheperalⅡ型微小机器 献[114]证明一个合作任务可以映射为单智能体强 构、形体较小，移动能 移动 人[]、Swarm Bot机器 化学习问题，并可以通过感知和强化信号提高学习 力有限，多需结构化实 平台 人IO、MARV2]等. 性能，最后在多目标观测任务中进行了验证.文献 验场地. [115]的提出了一种结合行为控制和隐式协作的分 先锋系列机器人PX 布式增强学习方法，并在多目标跟踪问题中进行了 最常见，具有较强的处 AT、PX-DX、AmigobotTM 验证.国内开展的多机器人增强学习研究还比较少， 中型 理能力和丰富的接口及PowerBot[21,iRo 主要停留在仿真研究层面上[23,36,8,161]，采用实物 移动 资源，扩展性好，移动 bot!127] Segway 验证的多机器人增强学习算法现在还很少 平台 能力较强，具备单独完 RMP),LAGR机器 将增强学习应用于多机器人领域，能够提升系 成较复杂任务的能力. 人[和Labmate机器 统性能1]，但是，增强学习的应用面临诸多困难。 人1等 首先，多个机器人共同学习，将导致学习过程的非马 移动能力强，甚至具备 UGV Demo//C中使 尔可夫性19，此时再简单地移植应用单智能体增 大型 越野能力，其装载的各 用的HMMWV)、Mo 强学习方法，将得到次优或周期性的控制策略.但有 移动 种资源也很丰言，体型 平台 bileRobots公司的 如下2种应对方法：一种是估计其他机器人的影响 较大 Seekurs机器人[6 或者转换为部分可观测马氏决策过程(partially ob- servable Markov decision process,.POMDP)进行学 国内的多机器人系统研究平台多基于MobileR- 习；另外还可以对分布式的学习过程进行协调，以降 obots公司的先锋系列机器人进行构建，但也有部分 低各个学习过程之间的相互干扰[20121，但协调规 研究机构开发了自己的多机器人平台，如上海交通 则需要专门设计，且要求清晰的通信操作，从而使其 大学的Frontier-、Frontier-IIM机器人、国防科技大 适用度大打折扣.此外，在多机器人学习中，连续状 学开发的NuBot机器人31J等