《工程科学学报》录用稿，htps:/doi.org/10.13374/i,issn2095-9389.2021.08.31.001©北京科技大学2020 工程科学学报DO: 协作机器人智能控制与人机交互研究综述 黄海丰12)，刘培森12，李擎四，于欣波2)，贺威12) 1)北京科技大学自动化学院，北京1000832)北京科技大学人工智能研究院，北京100083 ☒通信作者，E-mail:liging@ies.ustb.edu.cm 摘要协作机器人是一类能够在共享空间中与人类交互或在人类附近安全工作的新型工匙机翳人由于其轻质、安 全的特点，在柔性制造、社会服务、医疗健康、防灾抗疫等多个领域展现出了良好的应用箭禄，受到工业界和学术界 的广泛关注，成为当前机器人领域的研究热点之一。协作机器人需要具备良好的检制性能确保与人交互的安全性， 集成多种传感器感知外部环境并应用智能控制理论与方法来确保高效的协作行为本文主要介绍了国内外几款常见 的协作机器人，机器人基于感知信息的控制、高精度跟踪控制、交互控制等智能控制方法， 并围绕机器人与人执行协 作任务的高效性，对机器人的人类意图估计和技能学习方法进行了讨论。最终对协作机器人未来的发展方向进行了 展望。 关键词协作机器人：智能控制：人机交互：机器人技能学习：人类意图估计 分类号TP242.6 A review of research on intelligent control and human-robot interaction for collaborative robots HUANG Hai-feng,LIU Pei-sen Lf Qing YU Xin-bo,HE Wei2) 1)School of Automation and Electrical ing,University of Science and Technology Beijing,Beijing 100083,China Institute of Artificial Intelligence.University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail liqing stb.edu.cn ABSTRACT The aggravating trend of aging population brings impacts on industrial production and social services.Robots are expected to be able to work not only in highly structured manufacturing environments but also in human-inhabited environments,therefpre,they need to have more sophisticated cognitive abilities.They have to be able to operate safely and efficiently in unstructured,populated environments,as well as to achieve high-level collaboration and communication with humans.Collaborative robots also referred to as Cobots,are a new class of industrial robots that can interact with humans in shared spaces or work safely in the vicinity of humans.Collaborative robots are generally light weighted,multiple-degree-of- freedom and edge rounded,besides,integrated multiple sensors and set limitations of speed and force to ensure the safety of behavior.Collaborative robots have shown good application prospects in many fields,such as flexible manufacturing,social services,medical care,disaster prevention,anti-epidemic,et al.They have received wide attention from industry and academia Collaborative robots require the integration of multimodal sensory information and intelligent control methods to ensure efficient collaborative behavior.Human-robot collaboration (HRC)studies key issues attached to how to achieve safe 收稿日期：2021-08-31
工程科学学报 DOI: 协作机器人智能控制与人机交互研究综述 黄海丰 1,2)，刘培森 1,2)，李擎 1)，于欣波 2)，贺 威 1,2) 1) 北京科技大学自动化学院，北京 100083 2) 北京科技大学人工智能研究院，北京 100083 通信作者，E-mail: liqing@ies.ustb.edu.cn 摘 要 协作机器人是一类能够在共享空间中与人类交互或在人类附近安全工作的新型工业机器人，由于其轻质、安 全的特点，在柔性制造、社会服务、医疗健康、防灾抗疫等多个领域展现出了良好的应用前景，受到工业界和学术界 的广泛关注，成为当前机器人领域的研究热点之一。协作机器人需要具备良好的控制性能确保与人交互的安全性， 集成多种传感器感知外部环境并应用智能控制理论与方法来确保高效的协作行为。本文主要介绍了国内外几款常见 的协作机器人，机器人基于感知信息的控制、高精度跟踪控制、交互控制等智能控制方法，并围绕机器人与人执行协 作任务的高效性，对机器人的人类意图估计和技能学习方法进行了讨论。最终对协作机器人未来的发展方向进行了 展望。 关键词 协作机器人；智能控制；人机交互；机器人技能学习；人类意图估计 分类号 TP242.6 A review of research on intelligent control and human-robot interaction for collaborative robots HUANG Hai-feng1,2) , LIU Pei-sen1,2) , LI Qing1), YU Xin-bo2) , HE Wei1,2) 1) School of Automation and Electrical Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing 100083, China Corresponding author, E-mail: liqing@ies.ustb.edu.cn ABSTRACT The aggravating trend of aging population brings impacts on industrial production and social services. Robots are expected to be able to work not only in highly structured manufacturing environments but also in human-inhabited environments, therefore, they need to have more sophisticated cognitive abilities. They have to be able to operate safely and efficiently in unstructured, populated environments, as well as to achieve high-level collaboration and communication with humans. Collaborative robots also referred to as Cobots, are a new class of industrial robots that can interact with humans in shared spaces or work safely in the vicinity of humans. Collaborative robots are generally light weighted, multiple-degree-offreedom and edge rounded, besides, integrated multiple sensors and set limitations of speed and force to ensure the safety of behavior. Collaborative robots have shown good application prospects in many fields, such as flexible manufacturing, social services, medical care, disaster prevention, anti-epidemic, et al. They have received wide attention from industry and academia. Collaborative robots require the integration of multimodal sensory information and intelligent control methods to ensure efficient collaborative behavior. Human-robot collaboration (HRC) studies key issues attached to how to achieve safe _________________________________________ 收稿日期：2021-08-31 《工程科学学报》录用稿，https://doi.org/10.13374/j.issn2095-9389.2021.08.31.001 ©北京科技大学 2020 录用稿件，非最终出版稿
and efficient collaboration between Cobots and humans involving robotics,cognitive sciences,machine learning,artificial intelligence,philosophy,etc.HRC has been included in the key support research programs of Smart Mamfactring 2025 and the Development Plan of New Generation Artificial Intelligence,which recently has become an important research direction in the field of intelligent robotics with a wide range of applications.This paper introduces several domestic and foreign collaborative robots,and intelligent control methods of collaborative robots including control methods base on perception information,high accuracy tracking control methods and interaction control methods.It also discusses human intention estimation and robot skill learning methods for efficient human-robot collaboration.Finally,the future directions of collaborative robots are prospected. KEY WORDS collaborative robot;intelligent control;human-robot interaction;robot skill learning;human intention estimation 1引 近年来，协作机器人在高端制造、航空航天、医疗健康、社会服务等各个领域逐渐得到了应用和 发展。在我国，人机协作已列入《智能制造2025》和《新一代人工智能发展规划》重点支持研究计划， 并成为当前智能机器人领域的重要发展方向21。 国际机器人联合会定义了四种类型的人机协作：(1)共同存在：人和机器人存在协作，但工作空 间相互隔离开：(2)顺序协作：人和协作机器人共享工作空间的一部分或全部，但不同时在零件或机 器上作业：(3)共同作业：协作机器人和人同时在同可分秀件操作；(4)响应协作：协作机器人实时 响应人的动作实现协作。当前人机协作的主要形式杨然侵滔在协作机器人和人共享工作空间，独立 地或顺序地完成任务，实现共同存在或顺序协促。响应协作以人的运动行为为中心，使协作机器人 主动协作人类完成种类复杂的操作任务，是当人机协作领域的研究重点和未来的发展趋势。响应 协作对协作机器人与人的共融性提出了较高的要求，为此，近年来围绕协作机器人的智能控制方法 与人机协作技术展开了广泛的研究。 本文围绕上述主题，对近年来协作机器人、协作机器人智能控制方法、人机协作技术的研究展开 介绍。首先介绍主要常见协作机器人的基本情况：其次介绍协作机器人智能控制方法，包括视觉伺 服控制、多模态融合控制、高精度跟踪控制、交互力控制等：然后介绍人机协作关键技术，包括人类 意图估计和机器人技能学技术 最后讨论协作机器人的发展方向。 2协作机器人介绍 针对传统工业机器人存在体型庞大、运行调试复杂、生产缺乏柔性的问题，并且出于安全考虑需 要与人隔离李作空间，限制了机器人在高端制造和服务行业的应用。因此，协作机器人应运而生， 协作机器人通常使用轻质材料并对速度和力进行了限制，具备良好的安全性，可以与人类在共享空 间协同工作。协作机器人通常为6/7自由度(Degrees of Freedom,DoF)的串联型机器人，得益于协 作机器人部署灵活、操作简单、设计安全的特点，在智能制造、快递物流、家庭服务、医疗健康等领域 具备良好的应用前景。 近年来国内外的各大厂商开始陆续推出自己的协作机器人产品。优傲(Universal Robots,UR) 公司在2008年推出的UR5是首款具有协作概念的商用机器人，并在随后更新迭代了UR3、UR10以 轻质、与人交互安全与精度较高的特点，在高端制造业得到了广泛应用，近年来UR公司又推出了 控制精度更好，与人交互更安全的ε系列机器人。KUKA、FANUC等知名工业机器人公司也推出了 多款协作机器人，KINOVA公司的Jaco2、Gen3机器人在扶残助老、家庭服务中得到了良好的应用
and efficient collaboration between Cobots and humans involving robotics, cognitive sciences, machine learning, artificial intelligence, philosophy, etc. HRC has been included in the key support research programs of Smart Manufacturing 2025 and the Development Plan of New Generation Artificial Intelligence, which recently has become an important research direction in the field of intelligent robotics with a wide range of applications. This paper introduces several domestic and foreign collaborative robots, and intelligent control methods of collaborative robots including control methods base on perception information, high accuracy tracking control methods and interaction control methods. It also discusses human intention estimation and robot skill learning methods for efficient human-robot collaboration. Finally, the future directions of collaborative robots are prospected. KEY WORDS collaborative robot; intelligent control; human-robot interaction; robot skill learning; human intention estimation 1 引言 近年来，协作机器人在高端制造、航空航天、医疗健康、社会服务等各个领域逐渐得到了应用和 发展。在我国，人机协作已列入《智能制造 2025》和《新一代人工智能发展规划》重点支持研究计划， 并成为当前智能机器人领域的重要发展方向[1][2][3]。 国际机器人联合会定义了四种类型的人机协作：(1)共同存在：人和机器人存在协作，但工作空 间相互隔离开；(2)顺序协作：人和协作机器人共享工作空间的一部分或全部，但不同时在零件或机 器上作业；(3)共同作业：协作机器人和人同时在同一零件上操作；(4)响应协作：协作机器人实时 响应人的动作实现协作。当前人机协作的主要形式仍然停留在协作机器人和人共享工作空间，独立 地或顺序地完成任务，实现共同存在或顺序协作。响应协作以人的运动行为为中心，使协作机器人 主动协作人类完成种类复杂的操作任务，是当下人机协作领域的研究重点和未来的发展趋势。响应 协作对协作机器人与人的共融性提出了较高的要求，为此，近年来围绕协作机器人的智能控制方法 与人机协作技术展开了广泛的研究。 本文围绕上述主题，对近年来协作机器人、协作机器人智能控制方法、人机协作技术的研究展开 介绍。首先介绍主要常见协作机器人的基本情况；其次介绍协作机器人智能控制方法，包括视觉伺 服控制、多模态融合控制、高精度跟踪控制、交互力控制等；然后介绍人机协作关键技术，包括人类 意图估计和机器人技能学习技术；最后讨论协作机器人的发展方向。 2 协作机器人介绍 针对传统工业机器人存在体型庞大、运行调试复杂、生产缺乏柔性的问题，并且出于安全考虑需 要与人隔离开工作空间，限制了机器人在高端制造和服务行业的应用。因此，协作机器人应运而生 ， 协作机器人通常使用轻质材料并对速度和力进行了限制，具备良好的安全性，可以与 人类在共享空 间协同工作。协作机器人通常为 6/7 自由度（Degrees of Freedom, DoF）的串联型机器人，得益于协 作机器人部署灵活、操作简单、设计安全的特点，在智能制造、快递物流、家庭服务、医疗健康等领域 具备良好的应用前景。 近年来国内外的各大厂商开始陆续推出自己的协作机器人产品。优傲（Universal Robots, UR） 公司在 2008 年推出的 UR5 是首款具有协作概念的商用机器人，并在随后更新迭代了 UR3、UR10 以 轻质、与人交互安全与精度较高的特点，在高端制造业得到了广泛应用，近年来 UR 公司又推出了 控制精度更好，与人交互更安全的 e 系列机器人。KUKA、FANUC 等知名工业机器人公司也推出了 多款协作机器人，KINOVA 公司的 Jaco2、Gen3 机器人在扶残助老、家庭服务中得到了良好的应用， 录用稿件，非最终出版稿
Franka Emika推出的Panda协作机械臂在关节空间采用了全状态反馈控制，可以在复杂环境下实现 精确碰撞检测，在安全协作方面性能优越。 近年来在国家相关政策的大力支持下，国内协作机器人理论与应用得到了良好的发展，国内市 场上也涌现出大批国产协作机器人。沈阳新松(SIASUN)于2015年推出了七轴协作机器人，支持 拖动示教、碰撞检测、视觉识别等功能，在工作空间紧凑、精度要求高的生产线中得到了有效的使用。 近年珞石公司(ROKAE)推出了新一代xMate系列七自由度柔性协作机器人，具有高灵敏力感知， 支持拖动示教、精准力控，在高端制造和辅助医疗行业具有良好的应用前景。艾利特(ELTE ROBOT)公司发布了全新的CS系列协作机器人，提供了可视化的交互界面的模块化的编程方式。 节卡(JAKA)公司推出了AIl-in-one系列共融协作机器人，深度融合了视觉信息。Elephant Robotics 发布了世界上最小的6轴机器人手臂yCobot,具有良好的可用性和安全性，而且噪音低。 表1、表2中分别列出了国外、国内厂家的几款协作机器人主要产品。协作机器人目前已经在多 个领域展现出良好的应用前景，受到国内外学者的广泛关注，相信未来会有更多协作机器人出现， 应用在各种工业生产、生活服务中。 表1几收外的作机器人 Table 1 Introduction of collaborative robots from foreign manufacturers Model Manufacturers UR5 Universal Single-arm,6DoF,Repea 04 ty accuracy 40.1mm,Payload 5kg Robots URSe Universal Single-arm.6DoF.Repeatability accuraey Imm.Payload 5kg,Force control sensor integrated LBR iiwa Single-arm,7DoF,Repeatabildy a 40.1mm,Payload 7kg.Torque sensor integrated CR-35iA FANUC Single-arm,6DoR.Repeatability accuracy 40.08mm.Payload35kg, Jaco2 6Dof KINOVA Single-arm,6DoF. eight 5.2Kg.Payload 1.3Kg.Joystick operation Gen3 KINOVA Single-arm,DoF:Net weight 8.2Kg,Payload 4Kg Panda Franka Emika Single-arm.7DoF,Repeatability aecuracy 40.1mm,Payload 3kg.Accurate collision detection 表2九航内作机隔人 Table 2 Introduction of collaborative robots from domestic manufacturers Model Manufacturers Features SCR5 SIASUN Single-arm.7DoF,Repeatability accuracy 40.02mm,Payload 5kg AUBO i5 AUBO Single-arm.6DoF,Repeatability accuracy 40.02mm.Payload 5kg xMate7 ROKAE e-arm,7DoF,Repeatability accuracy0.03mm,Payload7kg.Sensitive force perception CS66 ELITE ROBOT Single-arm.6DoF.Repeatability accuracy #0.03mm.Payload 7kg, AI3 JAKA Single-arm.6DoF,Repeatability accuracy 40.02mm.Payload 3kg,Vision integrated myCobot Elephant Robotics Single-arm,6DoF,Repeatability accuracy 40.03mm,Payload 250g,Net weight 850g 3协作机器人智能控 3.1视觉同服控制 视觉伺服挖制有效地拓展了协作机器人的应用领域。在协作机器人上安装摄像头，以实现机器 人对目标的感知，进一步对目标特征信息进行处理，得到视觉反馈，并利用反馈信息对机器人进行 实时控制，以实现精确的跟踪或定位，完成相应的工作。根据反馈信息的不同，机器人视觉伺服可 分为基于位置的视觉伺服(3D视觉伺服)、基于图像的视觉伺服(2D视觉伺服)等。视觉伺服控制 在机器人抓取任务中得到了重要的应用。基于位置的视觉伺服利用摄像机参数建立图像信息，从而 得到机器人当前位姿与目标位姿之间的映射关系，把计算出的映射关系指令反馈给机器人关节控制 器，最后实现机器人运动4lso。随着Kinect等高性能深度相机的出现，有文献7提出使用深度摄像 机获取目标点云，然后通过提取快速点特征直方图描述子结合奇异值分解算法来估计目标位姿。基 于图像的视觉伺服通过提取图像中的特征点，通过雅可比矩阵建立机器人的运动与图像特征点的运 动的动态控制模型，并基于该控制模型得到控制指令。方勇纯等提出了一种基于二维三焦点张量的
Franka Emika 推出的 Panda 协作机械臂在关节空间采用了全状态反馈控制，可以在复杂环境下实现 精确碰撞检测，在安全协作方面性能优越。 近年来在国家相关政策的大力支持下，国内协作机器人理论与应用得到了良好的发展，国内市 场上也涌现出大批国产协作机器人。沈阳新松（SIASUN）于 2015 年推出了七轴协作机器人，支持 拖动示教、碰撞检测、视觉识别等功能，在工作空间紧凑、精度要求高的生产线中得到了有效的使用。 近年珞石公司（ROKAE）推出了新一代 xMate 系列七自由度柔性协作机器人，具有高灵敏力感知， 支持拖动示教、精准力控，在高端制造和辅助医疗行业具有良好的应用前景。艾利特（ELITE ROBOT）公司发布了全新的 CS 系列协作机器人，提供了可视化的交互界面的模块化的编程方式。 节卡（JAKA）公司推出了 All-in-one 系列共融协作机器人，深度融合了视觉信息。Elephant Robotics 发布了世界上最小的 6 轴机器人手臂 myCobot，具有良好的可用性和安全性，而且噪音低。 表 1、表 2 中分别列出了国外、国内厂家的几款协作机器人主要产品。协作机器人目前已经在多 个领域展现出良好的应用前景，受到国内外学者的广泛关注，相信未来会有更多协作机器人出现， 应用在各种工业生产、生活服务中。 表 1 几款国外协作机器人 Table 1 Introduction of collaborative robots from foreign manufacturers Model Manufacturers Features UR5 Universal Robots Single-arm，6DoF，Repeatability accuracy ±0.1mm，Payload 5kg UR5e Universal Robots Single-arm，6DoF，Repeatability accuracy ±0.1mm，Payload 5kg，Force control sensor integrated LBR iiwa KUKA Single-arm，7DoF，Repeatability accuracy ±0.1mm，Payload 7kg，Torque sensor integrated CR-35iA FANUC Single-arm，6DoF，Repeatability accuracy ±0.08mm，Payload35kg， Jaco2 6Dof KINOVA Single-arm，6DoF，Net weight 5.2Kg，Payload 1.3Kg，Joystick operation Gen3 KINOVA Single-arm，7DoF，Net weight 8.2Kg，Payload 4Kg Panda Franka Emika Single-arm，7DoF，Repeatability accuracy ±0.1mm，Payload 3kg，Accurate collision detection 表 2 几款国内协作机器人 Table 2 Introduction of collaborative robots from domestic manufacturers Model Manufacturers Features SCR5 SIASUN Single-arm，7DoF，Repeatability accuracy ±0.02mm，Payload 5kg AUBO i5 AUBO Single-arm，6DoF，Repeatability accuracy ±0.02mm，Payload 5kg xMate7 ROKAE Single-arm，7DoF，Repeatability accuracy ±0.03mm，Payload7kg，Sensitive force perception CS66 ELITE ROBOT Single-arm，6DoF，Repeatability accuracy ±0.03mm，Payload 7kg， AI 3 JAKA Single-arm，6DoF，Repeatability accuracy ±0.02mm，Payload 3kg，Vision integrated myCobot Elephant Robotics Single-arm，6DoF，Repeatability accuracy ±0.03mm，Payload 250g，Net weight 850g 3 协作机器人智能控制 3.1 视觉伺服控制 视觉伺服控制有效地拓展了协作机器人的应用领域。在协作机器人上安装摄像头，以实现机器 人对目标的感知，进一步对目标特征信息进行处理，得到视觉反馈，并利用反馈信息对机器人进行 实时控制，以实现精确的跟踪或定位，完成相应的工作。根据反馈信息的不同，机器人视觉伺服可 分为基于位置的视觉伺服（3D 视觉伺服）、基于图像的视觉伺服（2D 视觉伺服）等。视觉伺服控制 在机器人抓取任务中得到了重要的应用。基于位置的视觉伺服利用摄像机参数建立图像信息，从而 得到机器人当前位姿与目标位姿之间的映射关系，把计算出的映射关系指令反馈给机器人关节控制 器，最后实现机器人运动[4][5][6]。随着 Kinect 等高性能深度相机的出现，有文献[7]提出使用深度摄像 机获取目标点云，然后通过提取快速点特征直方图描述子结合奇异值分解算法来估计目标位姿。基 于图像的视觉伺服通过提取图像中的特征点，通过雅可比矩阵建立机器人的运动与图像特征点的运 动的动态控制模型，并基于该控制模型得到控制指令。方勇纯等提出了一种基于二维三焦点张量的 录用稿件，非最终出版稿
视觉伺服镇定控制方法，在图像特征识别方面体现出了更强的鲁棒性。李智军等开发了一种基于 图像的视觉伺服控制策略，可以避免同源算法和基于基本矩阵的算法的模糊性和退化问题。张雪 波等提出了一种新型的基于图像输出反馈的机器人自适应视觉伺服方法，在速度估计的准确性、跟 踪精度和鲁棒性等方面具有优越性o。Malis等提出的2.5D视觉伺服策略，成功地将图像信号与从 图像中提取的位置/姿态信号相结合，并使用它们生成用于反馈的合成误差信号，增强了系统的稳 定性山。文献Error:Reference source not found提出了一种新2.5D视觉伺服方法，用于抓取无纹理的 平面零件，使用混合视觉特征，将图像矩与笛卡尔空间中的三维旋转结合控制机器人的运动。 3.2多横志融合控制 协作机器人在执行协作任务时，通常需要多种传感器模态的信息输入，协作机器人进行感知模 态信息融合，尤其是视觉和触觉，对提升协作机器人操作的柔顺性和安全性具有显著意义，国内外 很多学者针对多模态融合控制展开了研究。 Prats等通过融合视觉、触觉信息提出了基于感知信息的机器人控制框架并没站完成了滑动门 开关任务：机器人通过视觉信息可以定位到门把手位置，并通过触觉反馈信息调整视觉误差，实现 最终位置匹配凶。Ilonen等采用目标对称约束将视、触觉信息互补融合，通过状态估计实现三维重建 。文献[15]将视觉-触觉传感器搭载于协作机器人系统并提出了基于图形与外力反馈的导航和操作 任务集成表示方法。文献[16]提出使用视觉-触觉融合的物体三维重建方法，解决了仅用视觉产生的 物体三维重建过程中的遮挡等问题。在获取全面、准确的信息后进行运动预测与意图辨识，以加强人 机协作中机械臂的主动性。JL等提出利用视觉和触觉传感器进衔数据采集，并用深度神经网络 (Deep Neural Network,DNN)进行滑觉检测，服务于机器人实现稳定抓取m。孙富春等u剧提出了一个 用于机器人材料感知的视觉-触觉跨模式学习框架，在终身学匀的背景下解决视觉-触觉跨模态学习 的问题，利于逐步提高机器人跨模态材料感知的能令献[19提出了一种基于视觉和力传感信息 融合的框架，用于人-机器人协作任务，使机器人能够往劫跟随人类伙伴减小控制难度，并在不使 用力传感器的情况下，设计了一个力观测器来估订人体的力，并通过最小化估计的力来获得人体的 运动意图。 3.3高精度踪控制 提升协作机器人的鲁棒性和可靠性成为协作机器人应用和普及的关键难题，针对这一问题国内 外学者开展了协作机器人高精度跟踪控制中的关键问题研究。协作机器人的高精度控制主要面临两 方面的难题：其一是约束问题：约束是指控制系统的输入和状态满足一定的约束条件，它取决于实 际物理器件限制、系统运行性能要求以及安全要求：其二是不确定性问题，协作机器人通常采用柔 性关节作为驱动结构，柔性关能够实现柔顺操作与碰撞保护，但柔性关节的引入会加大上层运动 控制的复杂性，实际情况在的因素会使柔性关节机器人出现模型不确定和受到未知扰动的情况， 此时基于模型的非线性控制策略将失效。 (1)机器人输入约束控制 输入约束是在实际工程应用中很重要的一个约束条件，包含有输入饱和、回滞、输入死区等。 在实际应佣扬景中，考虑到物理约束和安全性问题，机器人执行机构通常存在输出功率上限， 即存在输入饱和问题，从机器人系统的安全性与稳定性触发，考虑控制器设计输入饱和非线性尤为 重要，已经有国内外学者对此问题展开了大量研究。针对输入饱和通常有两种处理方式：一种是通 过调节给定的输入信号解决输入饱和2 o Reference orce foud:另一种是通过构造辅助系统，基于辅助 系统对跟踪误差进行修正，进而处理输入饱和问题2I24 Error:Reference source not found。 协作机器人系统是典型的复杂非线性系统，本体与执行器之间存在能量转换会引起时滞现象。 文献[25]提出了时滞影响的数学模型。基于此，在文献[27]中，作者设计了一类鲁棒控制器，采用李 雅普诺夫-克拉索夫斯基泛函(Lyapunov-Krasovskii Function,,LKF)解决了时滞问题。文献[28]针对含时 滞的协作机器人系统设计了一类速度观测器，同样采用LKF来处理未知时滞问题。李鸿一等2通过 利用有限时间稳定性理论、障碍李雅普诺夫函数(Barrier Lyapunov Function,BLF)和自适应反步法
视觉伺服镇定控制方法，在图像特征识别方面体现出了更强的鲁棒性[8]。李智军等开发了一种基于 图像的视觉伺服控制策略，可以避免同源算法和基于基本矩阵的算法的模糊性和退化问题[9]。张雪 波等提出了一种新型的基于图像输出反馈的机器人自适应视觉伺服方法，在速度估计的准确性、跟 踪精度和鲁棒性等方面具有优越性[10]。Malis 等提出的 2.5D 视觉伺服策略，成功地将图像信号与从 图像中提取的位置/姿态信号相结合，并使用它们生成用于反馈的合成误差信号，增强了系统的稳 定性[11]。文献 Error: Reference source not found 提出了一种新 2.5D 视觉伺服方法，用于抓取无纹理的 平面零件，使用混合视觉特征，将图像矩与笛卡尔空间中的三维旋转结合控制机器人的运动。 3.2 多模态融合控制 协作机器人在执行协作任务时，通常需要多种传感器模态的信息输入，协作机器人进行感知模 态信息融合，尤其是视觉和触觉，对提升协作机器人操作的柔顺性和安全性具有显著意义，国内外 很多学者针对多模态融合控制展开了研究。 Prats 等通过融合视觉、触觉信息提出了基于感知信息的机器人控制框架，并设计完成了滑动门 开关任务：机器人通过视觉信息可以定位到门把手位置，并通过触觉反馈信息调整视觉误差，实现 最终位置匹配[12]。Ilonen 等釆用目标对称约束将视、触觉信息互补融合，通过状态估计实现三维重建 [14]。文献[15]将视觉-触觉传感器搭载于协作机器人系统并提出了基于图形与外力反馈的导航和操作 任务集成表示方法。文献[16]提出使用视觉-触觉融合的物体三维重建方法，解决了仅用视觉产生的 物体三维重建过程中的遮挡等问题。在获取全面、准确的信息后进行运动预测与意图辨识，以加强人 机协作中机械臂的主动性。J Li 等提出利用视觉和触觉传感器进行数据采集，并用深度神经网络 (Deep Neural Network, DNN)进行滑觉检测，服务于机器人实现稳定抓取[17]。孙富春等[18]提出了一个 用于机器人材料感知的视觉-触觉跨模式学习框架，在终身学习的背景下解决视觉-触觉跨模态学习 的问题，利于逐步提高机器人跨模态材料感知的能力。文献[19]提出了一种基于视觉和力传感信息 融合的框架，用于人-机器人协作任务，使机器人能够主动跟随人类伙伴减小控制难度，并在不使 用力传感器的情况下，设计了一个力观测器来估计人体的力，并通过最小化估计的力来获得人体的 运动意图。 3.3 高精度跟踪控制 提升协作机器人的鲁棒性和可靠性成为协作机器人应用和普及的关键难题，针对这一问题国内 外学者开展了协作机器人高精度跟踪控制中的关键问题研究。协作机器人的高精度控制主要面临两 方面的难题：其一是约束问题：约束是指控制系统的输入和状态满足一定的约束条件，它取决于实 际物理器件限制、系统运行性能要求以及安全要求；其二是不确定性问题，协作机器人通常采用柔 性关节作为驱动结构，柔性关节能够实现柔顺操作与碰撞保护，但柔性关节的引入会加大上层运动 控制的复杂性，实际情况存在的因素会使柔性关节机器人出现模型不确定和受到未知扰动的情况， 此时基于模型的非线性控制策略将失效。 （1） 机器人输入约束控制 输入约束是在实际工程应用中很重要的一个约束条件，包含有输入饱和、回滞、输入死区等。 在实际应用场景中，考虑到物理约束和安全性问题，机器人执行机构通常存在输出功率上限， 即存在输入饱和问题，从机器人系统的安全性与稳定性触发，考虑控制器设计输入饱和非线性尤为 重要，已经有国内外学者对此问题展开了大量研究。针对输入饱和通常有两种处理方式：一种是通 过调节给定的输入信号解决输入饱和[20]Error: Reference source not found；另一种是通过构造辅助系统，基于辅助 系统对跟踪误差进行修正，进而处理输入饱和问题[21][22][24][25]Error: Reference source not found。 协作机器人系统是典型的复杂非线性系统，本体与执行器之间存在能量转换会引起时滞现象。 文献[25]提出了时滞影响的数学模型。基于此，在文献[27]中，作者设计了一类鲁棒控制器，采用李 雅普诺夫-克拉索夫斯基泛函(Lyapunov-Krasovskii Function, LKF)解决了时滞问题。文献[28]针对含时 滞的协作机器人系统设计了一类速度观测器，同样采用 LKF 来处理未知时滞问题。李鸿一等[29]通过 利用有限时间稳定性理论、障碍李雅普诺夫函数（Barrier Lyapunov Function, BLF）和自适应反步法， 录用稿件，非最终出版稿
提出了一种新型的自适应跟踪控制策略，解决了有死区的非线性系统的有限时间控制问题。 (2) 机器人输出约束控制 出于机器人系统安全性考虑，约束条件下通常需要对机器人位置、速度、加速度等状态设限。用 于多关节协作机器人的常见的解决约束问题的方法主要有两种： 一种是基于函数变换的方法，即采用一类非线性函数将受限的系统直接转换为等效的不受限的 系统，再针对不受限的系统进行控制设计。Z.Zhang等Bol研究了一类带输出约束的不确定非线性系 统的跟踪问题，通过设计非线性状态转换器，进一步给出了一类鲁棒控制器，实现了控制目标。文 献31]采基于非线性函数变换的方法研究了输出约束下的柔性关节机器人控制问题，基于该方法， 许多学者通过结合自适应控制、神经网络控制等不同控制技术，解决了一类严格反馈系统的约束跟 踪控制问题32334I3。 另一种是基于BLF的控制方法。通过设计合控制器解决具有时变输出约束的一类非线性系统控 制问题，通过保证BLF在闭环系统中保持有界实现目标变量始终不超出预设范围，c©KP等提出 在控制设计中采用障碍李雅普诺夫函数，在不违反约束条件的情况下实现了渐进跟踪。文献[37刀通 过使用反步法和神经网络构建了一种新型的自适应控制策略，其中一种新颖的积分障碍李雅普诺夫 函数被用来克服违反全状态约束的问题。文献[38]考虑了具有全状态约束的机器人关节空间控制系 统，利用BLF保证系统状态满足约束条件，并利用神经网络估计系统中的不确定项，实现了全状 态约束下多关节机器人的关节空间轨迹跟踪控制。刘屿等基于偏微分方程，引入了非对称障碍李雅 普诺夫函数来处理非对称约束，提出了新的干扰观测器，以减弱边界午扰的影响。 (3)不确定系统控制 由于机器人系统和实际环境存在多种不确定因款精确的机器人动力学模型难以获取，会引起 模型完全未知、模型不匹配、基于模型的非线性控制策悠体适用于实际机器人系统等问题，针对如上 问题，文献[40]提出使一类使用最小二乘法估计机器父朱知动力学参数的方法。另一类重要的解决 动力学模型不确定性的方法是利用机器人系统的输入输出数据采用神经网络估计未知的模型参数。 神经网络可以用于解决机器人系统的模型不确定性。文献[42]将径向基函数(Radial Basis Function.,RBF)作为神经网络(Neural Network,.NN)隐含层激活函数，通过RBF神经网络估计动 力学模型不确定项，结合反步法和李雅普诺夫稳定性理论，获得神经网络权重的自适应律，基于系 统输入输出数据构造神经网络结构实现跟踪误差的半全局最终一致有界。文献[43]结合反向传播 算法，对机器人系统参数进行调整，使用动态系统神经网络估计了机器人动力学模型中的不确定 项。文献[44]利用自适应神经网络估计双臂机器人闭链动力学模型中的非线性不确定项，进一步提 高了双臂机器人协调控制位置精度。文献45]将自适应神经网络与阻抗控制结合，提出了一种基于 神经网络的自适应阴抗控制策略，在控制器作用下使交互力满足理想阻抗模型。丁亮[46]等提出了 一 种基于部分强化学为神经网络(Partial Reinforcement Learning Leural Letwork,PRLNN)的跟踪算 法，解决轮式移动机器人跟踪控制的时变超前角问题。文献[47刀中神经网络被用来估计和补偿系留 空间机器人动态模型中的不确定性，并设计了一个自适应鲁棒控制器来克服空间系绳的影响并跟踪 阻抗控制器产生的期望位置。文献48]提出使用阻抗学习的自适应模糊神经网络控制，用于受制于 未知的系统动学、状态约束影响的机器人系统，使之表现出对未知环境的顺应性。赵志甲等[49]提 出一种基于神经网络的滑模控制方法，可以用于参数不确定的机器人系统，并解决了传统滑模控制 方法中控制输入的振颤和高速切换问题。 出此之外，还有多种方法被用于解决系统不确定性问题。文献[50]中，不确定性和干扰估计器 (Uncertaintly and Disturbance Estimator,UDE)被用来在只知道部分信息的情况下对系统模型进行 近似，所提出的可变阻抗控制可以帮助机器人完成与未知环境的交互任务，并提高系统的整体性能。 文献针对不确定非线性系统提出了一个基于多项式参考轨迹的简单线性滑膜面，使轨迹跟踪误差 在有限时间内收敛为零。孙健等考虑具有未知干扰的非线性系统的事件触发跟踪控制问题。在控制 器更新中考虑了事件触发机制，这在实践中减少了通信量，降低了控制器更新的频率。孙长银等5
提出了一种新型的自适应跟踪控制策略，解决了有死区的非线性系统的有限时间控制问题。 （2） 机器人输出约束控制 出于机器人系统安全性考虑，约束条件下通常需要对机器人位置、速度、加速度等状态设限。用 于多关节协作机器人的常见的解决约束问题的方法主要有两种： 一种是基于函数变换的方法，即采用一类非线性函数将受限的系统直接转换为等效的不受限的 系统，再针对不受限的系统进行控制设计。Z. Zhang 等[30]研究了一类带输出约束的不确定非线性系 统的跟踪问题，通过设计非线性状态转换器，进一步给出了一类鲁棒控制器，实现了控制目标。文 献[31]采基于非线性函数变换的方法研究了输出约束下的柔性关节机器人控制问题，基于该方法， 许多学者通过结合自适应控制、神经网络控制等不同控制技术，解决了一类严格反馈系统的约束跟 踪控制问题[32][33][34][35]。 另一种是基于 BLF 的控制方法。通过设计合控制器解决具有时变输出约束的一类非线性系统控 制问题，通过保证 BLF 在闭环系统中保持有界实现目标变量始终不超出预设范围。Tee K P 等[36]提出 在控制设计中采用障碍李雅普诺夫函数，在不违反约束条件的情况下实现了渐进跟踪。文献[37]通 过使用反步法和神经网络构建了一种新型的自适应控制策略，其中一种新颖的积分障碍李雅普诺夫 函数被用来克服违反全状态约束的问题。文献[38]考虑了具有全状态约束的机器人关节空间控制系 统，利用 BLF 保证系统状态满足约束条件，并利用神经网络估计系统中的不确定项，实现了全状 态约束下多关节机器人的关节空间轨迹跟踪控制。刘屿等基于偏微分方程，引入了非对称障碍李雅 普诺夫函数来处理非对称约束，提出了新的干扰观测器，以减弱边界干扰的影响[39]。 （3） 不确定系统控制 由于机器人系统和实际环境存在多种不确定因素，精确的机器人动力学模型难以获取，会引起 模型完全未知、模型不匹配、基于模型的非线性控制策略不适用于实际机器人系统等问题，针对如上 问题，文献[40]提出使一类使用最小二乘法估计机器人未知动力学参数的方法。另一类重要的解决 动力学模型不确定性的方法是利用机器人系统的输入输出数据采用神经网络估计未知的模型参数。 神经网络可以用于解决机器人系统的模型不确定性[41]。文献[42]将径向基函数（Radial Basis Function, RBF）作为神经网络（Neural Network, NN）隐含层激活函数，通过 RBF 神经网络估计动 力学模型不确定项，结合反步法和李雅普诺夫稳定性理论，获得神经网络权重的自适应律，基于系 统输入输出数据构造神经网络结构，实现跟踪误差的半全局最终一致有界。文献[43]结合反向传播 算法，对机器人系统参数进行了调整，使用动态系统神经网络估计了机器人动力学模型中的不确定 项。文献[44]利用自适应神经网络估计双臂机器人闭链动力学模型中的非线性不确定项，进一步提 高了双臂机器人协调控制位置精度。文献[45]将自适应神经网络与阻抗控制结合，提出了一种基于 神经网络的自适应阻抗控制策略，在控制器作用下使交互力满足理想阻抗模型。丁亮[46]等提出了 一种基于部分强化学习神经网络（Partial Reinforcement Learning Leural Letwork, PRLNN）的跟踪算 法，解决轮式移动机器人跟踪控制的时变超前角问题。文献[47]中神经网络被用来估计和补偿系留 空间机器人动态模型中的不确定性，并设计了一个自适应鲁棒控制器来克服空间系绳的影响并跟踪 阻抗控制器产生的期望位置。文献[48]提出使用阻抗学习的自适应模糊神经网络控制，用于受制于 未知的系统动力学、状态约束影响的机器人系统，使之表现出对未知环境的顺应性。赵志甲等[49]提 出一种基于神经网络的滑模控制方法，可以用于参数不确定的机器人系统，并解决了传统滑模控制 方法中控制输入的振颤和高速切换问题。 出此之外，还有多种方法被用于解决系统不确定性问题。文献[50]中，不确定性和干扰估计器 （Uncertaintly and Disturbance Estimator, UDE）被用来在只知道部分信息的情况下对系统模型进行 近似，所提出的可变阻抗控制可以帮助机器人完成与未知环境的交互任务，并提高系统的整体性能 。 文献[51]针对不确定非线性系统提出了一个基于多项式参考轨迹的简单线性滑膜面，使轨迹跟踪误差 在有限时间内收敛为零。孙健等[52]考虑具有未知干扰的非线性系统的事件触发跟踪控制问题。在控制 器更新中考虑了事件触发机制，这在实践中减少了通信量，降低了控制器更新的频率。孙长银等[53] 录用稿件，非最终出版稿
提出在控制器设计中使用自适应神经网络一直柔性及机器人的振动。文献[54]提出一种摩擦力观测 器，将电机侧的额定信号反馈到控制器中，在不使用摩擦模型的情况下解决了摩擦补偿问题且会对 失速进行过度补偿。乔红等5提出了一种基于肌肉协同作用的神经肌肉控制方法，所提出的方法不 仅提高了运动学习的速度和准确性，而且还增强了运动泛化能力，促进了肌肉骨骼机器人系统的发 展以及神经科学和机器人学的融合。文献[56提出设计估计器重构机器人系统的未知动态和外部干 扰，控制器设计中引入预设性能函数，使系统跟踪误差限制在预先规定边界内，保证机器人系统的 性能和安全性。文献[57]开发了一种双环控制结构，在外环中，设计了一个在线轨迹重新规划算法， 在系统的动力学和动态约束下，迫使重新规划的轨迹在最短的时间内并入期望的轨迹：在内环中， 集成了一个自适应鲁棒控制器，以有效地处理参数不确定性和不确定的非线性，从而保证高稳态跟 踪精度。 3.4机器人交互力控制 协作机器人在工作中需要与外界环境和人进行物理交互，这要求机器人不仅能跟踪规划的运动 轨迹，还要控制与外界交互的作用力，力/位混合控制的原理是在机器人未端沿着约束方向上进行 力控制，在于约束方向相垂直的方向进行位置控制。Lozano和Brogliato基于机器人雅可比和环境 的特殊分解刚度矩阵，提出了一种自适应力/位置控制方案。 Hogants9将二阶阻尼模型和机器人动力学模型结合起来，提出了机器人的阻抗控制理论，为机 器人交互控制方法开辟了新的研究方向。与传统混合力/位控制不同，阻抗控制通过调节期望阻抗模 型的参数规划机器人与外界环境交互过程中位置偏差和力偏差的关系，从而实现柔顺交互。近年来， 由于阻抗控制计算量小且具有较好的鲁棒性等优点，受到国内外学者广泛重视。阻抗控制方法结合 了传统力位混合控制和阻抗控制的优点，通过实时修正机器人末端的接触力，实现了高精度的力跟 踪6，。然而机器人交互性能取决于阻抗控制中的预先搭建的期望阻抗模型搭建是否合适，并且由于 交互过程中外界环境的扰动，固定阻抗模型的阻抗控制方法难以保持全程的最优交互性能，因此， 近年来广大学者开始研究自适应的阻抗控制策略。未爱国等创提出了一种基于进化动态递归模糊神 经网络(evolutionary dynamic recurrent fuzzy neural network,.EDRFNN)的自适应阻抗控制器，可以 根据受损肢体的身体恢复状况，实时调节机器人和受损肢体之间的理想阻抗。杨辰光等6把阻抗控 制与迭代学习相结合，借鉴人类神经中枢系统(Central Nervous System,CNS)对干扰运动的学习经验， 提出了一套适用于不稳定环境下的迫适应阻抗控制理论。文献[63]通过结合笛卡尔阻抗控制和冗余 分辨率来提高人与协作机器人物理交互过程中的性能。近年来，又有多种方法被用于提升基于阻抗 控制方法的机器人交互性能，文献64提出了一种由串联弹性致动器(serial elastic actuator,.SEA)驱 动的康复机器人的迭代学习姐锐控制器。所需的阻抗模型是以迭代的方式实现，这适合病人在康复 过程中的重复性，也保证了不机器人的瞬态性能。文献[65]提出在宽松的激励条件下，通过使用复合 学习律，实现了阻瑜误差的收敛。李智军等通过提取人的肌电信号估计运动意图，将运动意向估 计整合到基于障碍物李亚普诺夫函数的自适应阻抗控制，在运动和力跟踪方面达到了预期的良好性 能。文献6提使用阻抗控制来处理人类主体的意图以及机器人动力学中的未知惯性质量和力矩， 使人类受试者能眵在外骨骼机器人上有效地执行阻抗控制任务。 4协作机器人人机协作关键技术 协作机器人当前已经在协同装配6、协作切割69、物体交接等多种人机协作任务中展现出了良 好的应用前景，虽然还未在工业界的实际生产中得到广泛应用，但是国内外研究机构针对机器人执 行协作任务的关键问题已经做出了大量研究，要使协作机器人在协作任务中进一步拥有更好的表现， 大体上涉及两个关键问题：其一是如何估计人类意图以便提高协作机器人对人类行为的响应的实施 性：其二是如何使协作机器人掌握协作所需要的操作技能。需要注明的是，本章主要关注协作机器 人人机协作的前沿关键技术，其中大部分关键技术尚处于学术研究阶段，还未部署到现有的协作机 器人产品中
提出在控制器设计中使用自适应神经网络一直柔性及机器人的振动。文献[54]提出一种摩擦力观测 器，将电机侧的额定信号反馈到控制器中，在不使用摩擦模型的情况下解决了摩擦补偿问题且会对 失速进行过度补偿。乔红等[55]提出了一种基于肌肉协同作用的神经肌肉控制方法，所提出的方法不 仅提高了运动学习的速度和准确性，而且还增强了运动泛化能力，促进了肌肉骨骼机器人系统的发 展以及神经科学和机器人学的融合。文献[56]提出设计估计器重构机器人系统的未知动态和外部干 扰，控制器设计中引入预设性能函数，使系统跟踪误差限制在预先规定边界内，保证机器人系统的 性能和安全性。文献[57]开发了一种双环控制结构，在外环中，设计了一个在线轨迹重新规划算法， 在系统的动力学和动态约束下，迫使重新规划的轨迹在最短的时间内并入期望的轨迹；在内环中， 集成了一个自适应鲁棒控制器，以有效地处理参数不确定性和不确定的非线性，从而保证高稳态跟 踪精度。 3.4 机器人交互力控制 协作机器人在工作中需要与外界环境和人进行物理交互，这要求机器人不仅能跟踪规划的运动 轨迹，还要控制与外界交互的作用力，力/位混合控制的原理是在机器人末端沿着约束方向上进行 力控制，在于约束方向相垂直的方向进行位置控制。Lozano 和 Brogliato[58]基于机器人雅可比和环境 的特殊分解刚度矩阵，提出了一种自适应力/位置控制方案。 Hogan[59]将二阶阻尼模型和机器人动力学模型结合起来，提出了机器人的阻抗控制理论，为机 器人交互控制方法开辟了新的研究方向。与传统混合力/位控制不同，阻抗控制通过调节期望阻抗模 型的参数规划机器人与外界环境交互过程中位置偏差和力偏差的关系，从而实现柔顺交互。近年来， 由于阻抗控制计算量小且具有较好的鲁棒性等优点，受到国内外学者广泛重视。阻抗控制方法结合 了传统力位混合控制和阻抗控制的优点，通过实时修正机器人末端的接触力，实现了高精度的力跟 踪[60]。然而机器人交互性能取决于阻抗控制中的预先搭建的期望阻抗模型搭建是否合适，并且由于 交互过程中外界环境的扰动，固定阻抗模型的阻抗控制方法难以保持全程的最优交互性能，因此， 近年来广大学者开始研究自适应的阻抗控制策略。宋爱国等[61]提出了一种基于进化动态递归模糊神 经网络（evolutionary dynamic recurrent fuzzy neural network, EDRFNN）的自适应阻抗控制器，可以 根据受损肢体的身体恢复状况，实时调节机器人和受损肢体之间的理想阻抗。杨辰光等[62]把阻抗控 制与迭代学习相结合，借鉴人类神经中枢系统(Central Nervous System, CNS)对干扰运动的学习经验， 提出了一套适用于不稳定环境下的自适应阻抗控制理论。文献[63]通过结合笛卡尔阻抗控制和冗余 分辨率来提高人与协作机器人物理交互过程中的性能。近年来，又有多种方法被用于提升基于阻抗 控制方法的机器人交互性能。文献[64]提出了一种由串联弹性致动器（serial elastic actuator, SEA）驱 动的康复机器人的迭代学习阻抗控制器。所需的阻抗模型是以迭代的方式实现，这适合病人在康复 过程中的重复性，也保证了机器人的瞬态性能。文献[65]提出在宽松的激励条件下，通过使用复合 学习律，实现了阻抗误差的收敛。李智军等[66]通过提取人的肌电信号估计运动意图，将运动意向估 计整合到基于障碍物李亚普诺夫函数的自适应阻抗控制，在运动和力跟踪方面达到了预期的良好性 能。文献[67]提出使用阻抗控制来处理人类主体的意图以及机器人动力学中的未知惯性质量和力矩， 使人类受试者能够在外骨骼机器人上有效地执行阻抗控制任务。 4 协作机器人人机协作关键技术 协作机器人当前已经在协同装配[68]、协作切割[69]、物体交接[70]等多种人机协作任务中展现出了良 好的应用前景，虽然还未在工业界的实际生产中得到广泛应用，但是国内外研究机构针对机器人执 行协作任务的关键问题已经做出了大量研究，要使协作机器人在协作任务中进一步拥有更好的表现， 大体上涉及两个关键问题：其一是如何估计人类意图以便提高协作机器人对人类行为的响应的实施 性；其二是如何使协作机器人掌握协作所需要的操作技能。需要注明的是，本章主要关注协作机器 人人机协作的前沿关键技术，其中大部分关键技术尚处于学术研究阶段，还未部署到现有的协作机 器人产品中。 录用稿件，非最终出版稿
4.1人类意圆估计方法 在人与人之间的协作任务中，人通常会估计对方的运动意图并做出配合，以提高协作的流畅程 度和效率。在人与机器人的协作任务中，如果机器人可以像人一样估计对方的运动意图，就可以实 现提前对人的运动做出响应，实现更高效的协作，这也是人-机器人协作的研究重点之一。 文献[71]提出了一种应用于快速点到点人机协作任务中的人类运动意图估计方法。文献[72]未使 用力传感器，仅依据控制器的变化量来估计人类运动意图，通过获取的运动意图，提出一种转换方 法使系统在阻抗控制和随动控制间任意转换。文献73]提出了一个面向人形机器人执行复杂任务的 人机合作搬运控制架构，其中机器人可以有效估计人类的运动意图。在文献[门4]中，人类步态估计 方法被应用在移动手杖机器人中。文献[75]设计了人机多模态接口，用来实时反馈人类运动意图， 完成人机协作任务。文献[76]提出了一种基于示教的人类运动意图估计方法，提出了一种基于迭代 学习的控制策略并应用于人在回路的人机交互实验中。文献[77)提出了一种逆最优控制和目标集迭 代重规划策略来预测人的运动。李亚楠等提出采用神经网络处理人的肢使模型的非线性和时变性， 并基于此开发了一种人类运动意图在线估计方法，估计的运动意图被整合到伯适应阻抗控制中，使 机器人遵循理想的阻抗目标，能够与人类伙伴积极协作。文献[79]提出利博弈论描述人-机协作系 统，并采用策略迭代来提供纳什均衡的解决方案。人的控制目标是根据测量的交互力来估计的，并 用于调整机器人的目标，从而实现人与机器人的协调。 由于人在同一协作任务中通常采取具有相似轨迹特点的运动路径，利用概率建模的方法能够对 人类运动意图进行建模和估计[o。概率建模的一种有效方法是利用隐马尔可夫模型(Hidden Markov Model,HMM)等图形模型建模。马尔可夫模型可以同时编码时闯和空间特征。国内外学者目前已提 出了几种可以根据新获得的数据自适应修正模型的办法，虽然MM可以随机编码空间和时间特征， 但由于轨迹是离散和抽象的，因此要详细解码时间特延是很困难的。为了明确地将时间特征纳入到 模型中，国内外学者提出了使用显性时间HMM和种自归HMM2的建模方法。但将它们扩展到在 线算法是困难的，因为模型参数的学习并不能很好地收敛，除非事先设置好图形模型的结构。另一 种有效的概率方法是非线性回归方法，如高斯过程▣归(Gaussian Process Regression,GPR)和高斯 混合回归(Gaussian Process Regression,.GMR)s84。同样，作为一种利用概率分布的模型，高斯过 程动力学模型(Gaussian Process Dynamic Model,GPDM)是一种对人类动力系统进行随机建模的有 效方法。除此之外，自回归综合移动平均(Autoregressive Integrated Moving Average,ARIMA)模型 I&I、递归神经网络(Recurrent Neural Network,RNN)Is7等也被用于人类意图估计。 4.2机疆人技能传递学习方法人 近年来，技能传递兴即将人类技能传递给机器人，已成为协作机器人和人-机器人协作的 研究热点之一。技能传递学习具有以下显著优势：技能传递学习使得机器人能够在复杂动态的环 境中学习和习得操作狡能，可以克服传统编程等传统方法的不足，并且极大地提高了机器人对复杂 环境的适应性头并且在技能传递过程中，可以采集到丰富人体生理信号从而提取出所需的多个维度 的技能特征。 机器人技能传递学习受到人类学习操作技能过程的启发，与人类行为类似，机器人通常需要与 环境或人类进行物理交互，同时执行具有信息丰富的神经生理学感官信号的协作任务，这些信号都 与协作行为同时发生。对于协作机器人和人-机器人协作，技能传递学习使机器人能够保留或利用观 察到的人类行为作为技能，通过实践加以改进，然后将其应用到新的任务环境中。技能传递学习的 主要思想是通过模仿和开发自然模型、系统和过程来形成技术解决方案。 (1)技能示教 对于技能传递学习过程，通常需要人类导师对机器人进行技能示教，机器人收集并提取所需的 运动信息，包括位置、速度、力/力矩，和一些协作任务中的人的肢体刚度，从而获得了技能信息的 数据集，数据集的构建应进一步考虑运动表示、演示对齐、运动分割和生成。示教学习通常有如表3 所示的三种方法
4.1 人类意图估计方法 在人与人之间的协作任务中，人通常会估计对方的运动意图并做出配合，以提高协作的流畅程 度和效率。在人与机器人的协作任务中，如果机器人可以像人一样估计对方的运动意图，就可以实 现提前对人的运动做出响应，实现更高效的协作，这也是人-机器人协作的研究重点之一。 文献[71]提出了一种应用于快速点到点人机协作任务中的人类运动意图估计方法。文献[72]未使 用力传感器，仅依据控制器的变化量来估计人类运动意图，通过获取的运动意图，提出一种转换方 法使系统在阻抗控制和随动控制间任意转换。文献[73]提出了一个面向人形机器人执行复杂任务的 人机合作搬运控制架构，其中机器人可以有效估计人类的运动意图。在文献[74]中，人类步态估计 方法被应用在移动手杖机器人中。文献[75]设计了人机多模态接口，用来实时反馈人类运动意图， 完成人机协作任务。文献[76]提出了一种基于示教的人类运动意图估计方法，提出了一种基于迭代 学习的控制策略并应用于人在回路的人机交互实验中。文献[77]提出了一种逆最优控制和目标集迭 代重规划策略来预测人的运动。李亚楠等[78]提出采用神经网络处理人的肢体模型的非线性和时变性， 并基于此开发了一种人类运动意图在线估计方法，估计的运动意图被整合到自适应阻抗控制中，使 机器人遵循理想的阻抗目标，能够与人类伙伴积极协作。文献[79]提出利用博弈论描述人-机协作系 统，并采用策略迭代来提供纳什均衡的解决方案。人的控制目标是根据测量的交互力来估计的，并 用于调整机器人的目标，从而实现人与机器人的协调。 由于人在同一协作任务中通常采取具有相似轨迹特点的运动路径，利用概率建模的方法能够对 人类运动意图进行建模和估计[80]。概率建模的一种有效方法是利用隐马尔可夫模型（Hidden Markov Model, HMM）等图形模型建模。马尔可夫模型可以同时编码时间和空间特征。国内外学者目前已提 出了几种可以根据新获得的数据自适应修正模型的方法。虽然 HMM 可以随机编码空间和时间特征， 但由于轨迹是离散和抽象的，因此要详细解码时间特征是很困难的。为了明确地将时间特征纳入到 模型中，国内外学者提出了使用显性时间 HMM[81]和自回归 HMM[82]的建模方法。但将它们扩展到在 线算法是困难的，因为模型参数的学习并不能很好地收敛，除非事先设置好图形模型的结构。另一 种有效的概率方法是非线性回归方法，如高斯过程回归（Gaussian Process Regression, GPR）和高斯 混合回归（Gaussian Process Regression, GMR）[83][84]。同样，作为一种利用概率分布的模型，高斯过 程动力学模型（Gaussian Process Dynamic Model, GPDM）是一种对人类动力系统进行随机建模的有 效方法[85]。除此之外，自回归综合移动平均(Autoregressive Integrated Moving Average, ARIMA)模型 [86]、递归神经网络(Recurrent Neural Network, RNN)[87]等也被用于人类意图估计。 4.2 机器人技能传递学习方法 近年来，技能传递学习，即将人类技能传递给机器人，已成为协作机器人和人-机器人协作的 研究热点之一[88]。技能传递学习具有以下显著优势：技能传递学习使得机器人能够在复杂动态的环 境中学习和习得操作技能，可以克服传统编程等传统方法的不足，并且极大地提高了机器人对复杂 环境的适应性；并且在技能传递过程中，可以采集到丰富人体生理信号从而提取出所需的多个维度 的技能特征。 机器人技能传递学习受到人类学习操作技能过程的启发，与人类行为类似，机器人通常需要与 环境或人类进行物理交互，同时执行具有信息丰富的神经生理学感官信号的协作任务，这些信号都 与协作行为同时发生。对于协作机器人和人-机器人协作，技能传递学习使机器人能够保留或利用观 察到的人类行为作为技能，通过实践加以改进，然后将其应用到新的任务环境中。技能传递学习的 主要思想是通过模仿和开发自然模型、系统和过程来形成技术解决方案。 （1）技能示教 对于技能传递学习过程，通常需要人类导师对机器人进行技能示教，机器人收集并提取所需的 运动信息，包括位置、速度、力/力矩，和一些协作任务中的人的肢体刚度，从而获得了技能信息的 数据集，数据集的构建应进一步考虑运动表示、演示对齐、运动分割和生成。示教学习通常有如表 3 所示的三种方法。 录用稿件，非最终出版稿
表3三种常见的示款学习方法对比 Table 3 Comparison of three common demonstration methods Method Difficulty Computational for the teacher complexity Advantages Disadvantages Kinesthetic Low Low Easy to demonstrate Cannot execute fast movement,Only can teaching demonstrate one limb at a time Teleoperation Medium Medium Remote demonstrate Time delay Observational Lowest High Easy to demonstrate. Correspondence difficulty learning works for bimanual tasks or even caused by the different whole-body motion embodiment 动觉示教方法：动觉示教又称物理交互示教，即人手动拖动机械臂进行示教并记录运动过程。 动觉教学利用协作机器人力触感知能力。动觉教学可以连续进行记录整个运动轨迹，也可以通过在 单独的时间实例中记录机器人状态的离散快照来进行，例如在关键帧的关键姿势序列教学中。动觉 示教无需额外设备，便于操作，然而这种示教方法通常只适用于惯性较小的轻量型机械臂，并且受 到工作空间的限制，同时多自由度机器人的动觉示教较为困难。 遥操作示教：遥操作示教可以使用简单的操纵杆或其他远程控制装置实现对协作机器人的远程 操作。机器人和人类导师不需要共享同一空间。遥操作示教的一个优势是通过柱端的遥操作设备通常 可以查看运动信息，然而遥操作示教所能控制的自由度同样有限，而且全端与从端设备之间存在通 信延时问题。 通过视觉和可穿戴设备示教：通过摄像头和可穿戴设备捕捉人体运动，使用这种方法示教，人 类不受约束自由移动，人体四肢和关节的角位移可以通过这坐外部手段精确测量。然而，人体与机 器人的运动学对应问题是这种示教方式的一大挑战， 在设备与机器人的通信问题。 (2)机器人技能学习 使用获得的数据集后，通过机器人技能学习，以生成策略并映射到机器人控制器，此外，学 习的技能策略可用于在新环境中复现并泛化机器人的技能 基于模型学习的技能学习： 当前机械臂技能大多通过人工预定义的规则实现，受限于固化编程的特点，不具备良好的自主 性、灵活性和自适应性，将机械臂的应用场景限制在结构化环境中。为使机械臂可以应用于更广泛的 场景，学者们提出将动态系统和统计学习方法应用于机器人技能表示。文献[89]提出了基于GMM对 技能特征编码的框架，用于机械臂技能学习，但是这类方法泛化能力差，难以实时泛化于新的场景。 文献[90]结合了动态系统与统计学匀方法，将概率运动原语用于机器人技能学习。然而这种方法通 常需要大量的数据以保证生成新迹的准确性。文献[91]提出了一种结合概率学习、动态系统和刚度估 计的方法，以编码机器人在在务中的行为。提出的方法允许机器人不仅学习轨迹跟踪技能，而且还 学习阻抗行为。欧勇胜等提出结合概率模型、阻抗系统和刚度估计对任务技能进行编码，使机器人 同时学习阻抗行为和轨迹跟踪技能。动态运动基元(Dynamic Movement Primitives,.DMPs)9是一种 较简洁的基于线性动态系统的技能建模方法，能够在时间和空间上对轨迹进行放缩并泛化到新的 目标位置。动态运动基元算法的应用旨在允许人类通过示教的方式，传递给协作机器人执行任务时 应该产生的拟人运动，从而提升协作机器人的可交互性9%。文献97引入了肌肉协同概念，将原始 动态运动基元模型中的径向基函数参数化，提出了参数化的动态原语模型，并通过实验证明了其有 效性。文献98]基于动态运动基元模型，使用径向基函数对力矩信息进行编码，提出了柔顺运动基 元模型，且对于柔顺运动的学习不依赖于显式的环境动力学模型，提升了协作机器人技能学习的柔 顺性。文献[99]提出基于RBFNNs的复合DMPs,用于协作机器人从人类演示中学习的包含位置和方 向信息的技能。杨辰光等0提出了一个带有各种分类约束条件的通用DMPs框架。在BLFs的启发下， 推导出一般模型的额外加速项，以补偿实际轨迹和期望轨迹之间的跟踪误差。 基于强化学习的技能学习：
表 3 三种常见的示教学习方法对比 Table 3 Comparison of three common demonstration methods Method Difficulty for the teacher Computational complexity Advantages Disadvantages Kinesthetic teaching Low Low Easy to demonstrate Cannot execute fast movement，Only can demonstrate one limb at a time Teleoperation Medium Medium Remote demonstrate Time delay Observational learning Lowest High Easy to demonstrate， works for bimanual tasks or even whole-body motion Correspondence difficulty caused by the different embodiment 动觉示教方法：动觉示教又称物理交互示教，即人手动拖动机械臂进行示教并记录运动过程。 动觉教学利用协作机器人力触感知能力。动觉教学可以连续进行记录整个运动轨迹，也可以通过在 单独的时间实例中记录机器人状态的离散快照来进行，例如在关键帧的关键姿势序列教学中。 动觉 示教无需额外设备，便于操作，然而这种示教方法通常只适用于惯性较小的轻量型机械臂，并且受 到工作空间的限制，同时多自由度机器人的动觉示教较为困难。 遥操作示教：遥操作示教可以使用简单的操纵杆或其他远程控制装置实现对协作机器人的远程 操作。机器人和人类导师不需要共享同一空间。遥操作示教的一个优势是通过主端的遥操作设备通常 可以查看运动信息，然而遥操作示教所能控制的自由度同样有限，而且主端与从端设备之间存在通 信延时问题。 通过视觉和可穿戴设备示教：通过摄像头和可穿戴设备捕捉人体运动，使用这种方法示教，人 类不受约束自由移动，人体四肢和关节的角位移可以通过这些外部手段精确测量。然而，人体与机 器人的运动学对应问题是这种示教方式的一大挑战，并且也存在设备与机器人的通信问题。 （2）机器人技能学习 使用获得的数据集后，通过机器人技能学习，可以生成策略并映射到机器人控制器，此外，学 习的技能策略可用于在新环境中复现并泛化机器人的技能。 基于模型学习的技能学习： 当前机械臂技能大多通过人工预定义的规则实现，受限于固化编程的特点，不具备良好的自主 性、灵活性和自适应性，将机械臂的应用场景限制在结构化环境中。为使机械臂可以应用于更广泛的 场景，学者们提出将动态系统和统计学习方法应用于机器人技能表示。文献[89]提出了基于 GMM 对 技能特征编码的框架，用于机械臂技能学习，但是这类方法泛化能力差，难以实时泛化于新的场景 。 文献[90]结合了动态系统与统计学习方法，将概率运动原语用于机器人技能学习。然而这种方法通 常需要大量的数据以保证生成轨迹的准确性。文献[91]提出了一种结合概率学习、动态系统和刚度估 计的方法，以编码机器人在任务中的行为。提出的方法允许机器人不仅学习轨迹跟踪技能，而且还 学习阻抗行为。欧勇胜[92]等提出结合概率模型、阻抗系统和刚度估计对任务技能进行编码，使机器人 同时学习阻抗行为和轨迹跟踪技能。动态运动基元(Dynamic Movement Primitives, DMPs) [93][94]是一种 较简洁的基于非线性动态系统的技能建模方法，能够在时间和空间上对轨迹进行放缩并泛化到新的 目标位置。动态运动基元算法的应用旨在允许人类通过示教的方式，传递给协作机器人执行任务时 应该产生的拟人运动，从而提升协作机器人的可交互性[95][96]。文献[97]引入了肌肉协同概念，将原始 动态运动基元模型中的径向基函数参数化，提出了参数化的动态原语模型，并通过实验证明了其有 效性。文献[98]基于动态运动基元模型，使用径向基函数对力矩信息进行编码，提出了柔顺运动基 元模型，且对于柔顺运动的学习不依赖于显式的环境动力学模型，提升了协作机器人技能学习的柔 顺性。文献[99]提出基于 RBFNNs 的复合 DMPs，用于协作机器人从人类演示中学习的包含位置和方 向信息的技能。杨辰光等[100]提出了一个带有各种分类约束条件的通用 DMPs 框架。在 BLFs 的启发下， 推导出一般模型的额外加速项，以补偿实际轨迹和期望轨迹之间的跟踪误差。 基于强化学习的技能学习： 录用稿件，非最终出版稿
强化学习通过探索环境和机器人自身身体，从试错(trial-.and-error)中学习uol。强化学习中的 目标由奖励函数指定，根据机器人相对于目标期望的表现，奖励函数起到正强化或负惩罚的作用。 强化学习在机器人领域的应用创造了一个明确的利基市场oo。基于强化学习的机器人技能学 习方法提供了三个传统方法不具备的能力：学习人类教师无法实际示教或直接编程的任务，如举起 大重量重物：学习人类教师不确定最优解的技能，通过使用已知的成本函数（例如，最小化执 行任务所用的能量或找到最快的步态等)，实现没有分析公式或已知封闭形式解的难题的优化目标 学习：使习得技能适应新的任务（例如学习从平地走到斜坡），强化学习还提供了一些额外的优势， 例如可以从一次效果较好地的示教中学习技能并逐步完善。 基于逆强化学习的技能学习： 学习一项技能对于复杂的机器人系统通常是困难且耗时的，而逆强化学习可以基于有限示教数 据反推出奖励函数，并据此进行强化学习，从而提高学习策略的泛化性能。逆强化学习解决了学习 什么和如何学习的问题。逆强化学习的本质是为任务找到一个奖励函数。为次学务提出了许多方 法。在文献106]中，提出了基于示教数据的最大利润原则，最小化了基于奖减函数学习的最优策略 与其他次优策略之间的差异。在文献[107刀中，提出了一种基于最大熵原理确定奖励函数的方法，使 机器人控制策略对示教数据噪声表现出较好地鲁棒性。近年来，许多线性函数被用来设计奖励函 数。文献108[109]提出了基于边际的方法，通过特征构造来学习非线性奖励函数。文献[110]提出了 顺序加窗逆向强化学习(sequential windowed inverse reinforcement learning,.SWIRL),将无监督学 习应用于少量的初始专家演示。SWIL将一个长时间跨度任务近似为一个局部奖励函数和子任务 过渡条件的序列。在这个近似值上，SWIRL应用Q-Hlea通g来计算一个使奖励最大化的策略。在文 献111]中，生成式对抗网络被用来优化奖励函数， 饼传统 的学习方法相比，在大型高维环境中获得 了显著的性能提升。 5协作机器人发展方向 5.1协作机器人结构和驱动仿生化 为使协作机器人在协作任务中具备更好的灵活性自主性，协作机器人结构和驱动仿生化是重要 的发展方向之一，具备仿生特点的刚柔耦合结构能够使协作机器人集成具有刚性支撑结构与柔性自 适应结构的优势，通过柔性材料进行机器入机构设计，能够使协作机器人具备运动灵活、运动速度 快、交互安全等特点。在驱动方面，标作机器人的驱动方式可以采用人工肌肉等仿生驱动形式，并实 现驱动、结构、材料一体化使纺生机器人与生物形态更加接近。并通过在感知信息融合、柔性结构 振动控制方面取得突破，人使枇器人实现稳定仿生运动、高效自主运动。 5.2协作机器人引入人在回略的混合增强智能 协作机器人的生要应用前景是在多个领域中代替人的作用，因而被期望可以具备类似人的高层 次智能，可以基于现有经验和知识进行无监督学习：而当前协作机器人的智能依赖于基于大量样本 进行有监督学不具备类似人的高度的自主学习能力。协作机器人在工作中需要与人进行丰富的 交互，人作为机器人的协作和服务对象，人的感受是协作机器人工作成效的重要依据，因此协作机 器人的智能需要与人的智能相协同，将人的认知模型或者人的作用引入协作机器人的智能，形成人 在回路的混合增强智能，通过人的介入，调整协作机器人的技能策略，构成机器人智能水平提升的 反馈回路，实现人的高度自主学习能力、分析能力、认知能力与机器人智能的运算能力与高精度特点 的紧耦合，使协作机器人具备更高层级智能水平，胜任更加复杂的协作任务。 参考文献 [1]He W,LiZ,Chen C L P.A survey of human-centered intelligent robots:issues and challenges.IEEE/CAA Journal of
强化学习通过探索环境和机器人自身身体，从试错（trial-and-error）中学习[101]。强化学习中的 目标由奖励函数指定，根据机器人相对于目标期望的表现，奖励函数起到正强化或负惩罚的作用。 强化学习在机器人领域的应用创造了一个明确的利基市场[102][103][104]。基于强化学习的机器人技能学 习方法提供了三个传统方法不具备的能力：学习人类教师无法实际示教或直接编程的任务，如举起 大重量重物[105]；学习人类教师不确定最优解的技能，通过使用已知的成本函数（例如，最小化执 行任务所用的能量或找到最快的步态等），实现没有分析公式或已知封闭形式解的难题的优化目标 学习；使习得技能适应新的任务（例如学习从平地走到斜坡），强化学习还提供了一些额外的优势， 例如可以从一次效果较好地的示教中学习技能并逐步完善。 基于逆强化学习的技能学习： 学习一项技能对于复杂的机器人系统通常是困难且耗时的，而逆强化学习可以基于有限示教数 据反推出奖励函数，并据此进行强化学习，从而提高学习策略的泛化性能。逆强化学习解决了学习 什么和如何学习的问题。逆强化学习的本质是为任务找到一个奖励函数。为次，学者们提出了许多方 法。在文献[106]中，提出了基于示教数据的最大利润原则，最小化了基于奖励函数学习的最优策略 与其他次优策略之间的差异。在文献[107]中，提出了一种基于最大熵原理确定奖励函数的方法，使 机器人控制策略对示教数据噪声表现出较好地鲁棒性。近年来，许多非线性函数被用来设计奖励函 数。文献[108][109]提出了基于边际的方法，通过特征构造来学习非线性奖励函数。文献[110]提出了 顺序加窗逆向强化学习（sequential windowed inverse reinforcement learning, SWIRL），将无监督学 习应用于少量的初始专家演示。SWIRL 将一个长时间跨度的任务近似为一个局部奖励函数和子任务 过渡条件的序列。在这个近似值上，SWIRL 应用 Q-learning 来计算一个使奖励最大化的策略。在文 献[111]中，生成式对抗网络被用来优化奖励函数，与传统的学习方法相比，在大型高维环境中获得 了显著的性能提升。 5 协作机器人发展方向 5.1 协作机器人结构和驱动仿生化 为使协作机器人在协作任务中具备更好的灵活性自主性，协作机器人结构和驱动仿生化是重要 的发展方向之一，具备仿生特点的刚柔耦合结构能够使协作机器人集成具有刚性支撑结构与柔性自 适应结构的优势，通过柔性材料进行机器人机构设计，能够使协作机器人具备运动灵活、运动速度 快、交互安全等特点。在驱动方面，协作机器人的驱动方式可以采用人工肌肉等仿生驱动形式，并实 现驱动、结构、材料一体化，使仿生机器人与生物形态更加接近。并通过在感知信息融合、柔性结构 振动控制方面取得突破，使协作机器人实现稳定仿生运动、高效自主运动。 5.2 协作机器人引入人在回路的混合增强智能 协作机器人的主要应用前景是在多个领域中代替人的作用，因而被期望可以具备类似人的高层 次智能，可以基于现有经验和知识进行无监督学习；而当前协作机器人的智能依赖于基于大量样本 进行有监督学习，不具备类似人的高度的自主学习能力。协作机器人在工作中需要与人进行丰富的 交互，人作为机器人的协作和服务对象，人的感受是协作机器人工作成效的重要依据，因此协作机 器人的智能需要与人的智能相协同，将人的认知模型或者人的作用引入协作机器人的智能，形成人 在回路的混合增强智能，通过人的介入，调整协作机器人的技能策略，构成机器人智能水平提升的 反馈回路，实现人的高度自主学习能力、分析能力、认知能力与机器人智能的运算能力与高精度特点 的紧耦合，使协作机器人具备更高层级智能水平，胜任更加复杂的协作任务。 参 考 文 献 [1] He W, Li Z, Chen C L P. A survey of human-centered intelligent robots: issues and challenges. IEEE/CAA Journal of 录用稿件，非最终出版稿
Automatica Sinica,2017,4(4):602 [2]Baraglia J,Cakmak M,Nagai Y,et al.Efficient human-robot collaboration:when should a robot take initiative?.The International Journal of Robotics Research,2017,36(5-7):563 [3]Ajoudani A,Zanchettin A M,Ivaldi S,et al.Progress and prospects of the human-robot collaboration.Autonomous Robots.2018.42(5):957 [4]Dhome M,Richetin M,Lapreste JT,et al.Determination of the attitude of 3D objects from a single perspective view. IEEE Transactions on Pattern Analysis and Machine Intelligence,1989,11(12):1265 [5]DeMenthon D F,Davis L S.Model-based object pose in 25 lines of code.International journal of computer vision, 1995,151-2):123 [6]Larouche B P Zhu Z H.Autonomous robotic capture of non-cooperative target using visual servoing and motion predictive control.Autonomous Robots,2014,37(2):157 [7]Li S C,zhang J,Zhang H,et al.Object pose estimation method for robot grasping process! er and Microsystem Technologies,2019,38(7):32 (李树春，张静，张华，等.面向机器人抓取过程中目标位姿估计方法.传感器与微系统，019,38(7)：32) [8]Li B Q,Fang Y C,Zhang X B.2D trifocal tensor based visual servo regulation of nonholonomic mobile robots,Acta Automatica Sinica.2014.40(12):2706 (李宝全，方勇纯，张雪波.基于2D三焦点张量的移动机器人视觉伺服镇定控制，自动化学报，2014,40(12)：2706) 19]Ke F,Li Z,Xiao H,et al.Visual servoing of constrained mobile fobots based on model predictive control.IEEE Transactions on Systems.Man.and Cybernetics:Systems.2016.47(7):1428 [10]Zhang X,Fang Y,Zhang X,et al.Dynamic image-based output feedback control for visual servoing of multirotors. IEEE Transactions on Industrial Informatics,2020,16(12 7624 [11]Malis E,Chaumette F.2 1/2 D visual servoing with respect to unknown objects through a new estimation scheme of camera displacement.International Journal of Computer Vision,2000,37(1):79 [12]He Z,Wu C,Zhang S,et al.Moment-based 25-D yisual servoing for textureless planar part grasping.IEEE Transactions on Industrial Electronics,2019,66(10):7821 [13]Prats M,Sanz P J,Del Pobil A P.Vision-tactile-force integration and robot physical interaction//2009 IEEE international conference on robotics and qutomalion.ICRA2009.Kobe,2009:3975 [14]llonen J,Bohg J,Kyrki V.Fusing visual and tactile sensing for 3-D object reconstruction while grasping//2013 IEEE International Conference on Robotics and Automation.ICRA2013.Karlsruhe,2013:3547 [15]Alt N,Steinbach E.Nayigation and manipulation planning using a visuo-haptic sensor on a mobile platform.IEEE Transactions on Instrimmentalion Measurement,2014,63(11):2570. [16]Wang S,Wu J,Sun X,et al.3D shape perception from monocular vision,touch,and shape priors//IEEE/RSJ International Conference on Intelligent Robots and Systems,IROS2018.Madrid,2018:1606 [17]Li J,Dong S Adelson E.Slip detection with combined tactile and visual information[C/2018 IEEE International Conference on Rohotics and Automation.ICRA2018.Prague,2018:7772 18]Zheng W,Liu H,Sun F.Lifelong visual-tactile cross-modal learning for robotic material perception.IEEE transactions on neural networks and learning systems,2020,32():1192 [19]Yu X,He W,Li Q,et al.Human-robot co-carrying using visual and force sensing.IEEE Transactions on Industrial Electronics.2020.68(9):8657 [20]Karason S P,Annaswamy A M.Adaptive control in the presence of input constraints.IEEE Transactions on Automatic Control,.1994,39(11):2325 [21]Gao W,Selmic RR.Neural network control of a class of nonlinear systems with actuator saturation[J].IEEE transactions on neural networks,2006,17(1):147 [22]Chen M,Ge S S,Ren B.Adaptive tracking control of uncertain MIMO nonlinear systems with input constraints
Automatica Sinica, 2017, 4(4): 602 [2] Baraglia J, Cakmak M, Nagai Y, et al. Efficient human-robot collaboration: when should a robot take initiative?. The International Journal of Robotics Research, 2017, 36(5-7): 563 [3] Ajoudani A, Zanchettin A M, Ivaldi S, et al. Progress and prospects of the human-robot collaboration. Autonomous Robots, 2018, 42(5): 957 [4] Dhome M, Richetin M, Lapreste J T, et al. Determination of the attitude of 3D objects from a single perspective view. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, 11(12): 1265 [5] DeMenthon D F, Davis L S. Model-based object pose in 25 lines of code. International journal of computer vision, 1995, 15(1-2): 123 [6] Larouche B P, Zhu Z H. Autonomous robotic capture of non-cooperative target using visual servoing and motion predictive control. Autonomous Robots, 2014, 37(2): 157 [7] Li S C, zhang J, Zhang H, et al. Object pose estimation method for robot grasping process. Transducer and Microsystem Technologies, 2019, 38(7): 32 (李树春, 张静, 张华, 等. 面向机器人抓取过程中目标位姿估计方法. 传感器与微系统, 2019, 38(7): 32) [8] Li B Q, Fang Y C, Zhang X B. 2D trifocal tensor based visual servo regulation of nonholonomic mobile robots, Acta Automatica Sinica, 2014, 40(12):2706 (李宝全, 方勇纯, 张雪波. 基于 2D 三焦点张量的移动机器人视觉伺服镇定控制. 自动化学报, 2014, 40(12): 2706) [9] Ke F, Li Z, Xiao H, et al. Visual servoing of constrained mobile robots based on model predictive control. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2016, 47(7): 1428 [10] Zhang X, Fang Y, Zhang X, et al. Dynamic image-based output feedback control for visual servoing of multirotors. IEEE Transactions on Industrial Informatics, 2020, 16(12): 7624 [11] Malis E, Chaumette F. 2 1/2 D visual servoing with respect to unknown objects through a new estimation scheme of camera displacement. International Journal of Computer Vision, 2000, 37(1): 79 [12] He Z, Wu C, Zhang S, et al. Moment-based 2.5-D visual servoing for textureless planar part grasping. IEEE Transactions on Industrial Electronics, 2019, 66(10): 7821 [13] Prats M, Sanz P J, Del Pobil A P. Vision-tactile-force integration and robot physical interaction// 2009 IEEE international conference on robotics and automation, ICRA2009. Kobe, 2009: 3975 [14] Ilonen J, Bohg J, Kyrki V. Fusing visual and tactile sensing for 3-D object reconstruction while grasping//2013 IEEE International Conference on Robotics and Automation, ICRA2013. Karlsruhe, 2013: 3547 [15] Alt N, Steinbach E. Navigation and manipulation planning using a visuo-haptic sensor on a mobile platform. IEEE Transactions on Instrumentation & Measurement, 2014, 63(11): 2570. [16] Wang S, Wu J, Sun X, et al. 3D shape perception from monocular vision, touch, and shape priors//IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS2018. Madrid, 2018: 1606 [17] Li J, Dong S, Adelson E. Slip detection with combined tactile and visual information[C]//2018 IEEE International Conference on Robotics and Automation. ICRA2018. Prague, 2018: 7772 [18] Zheng W, Liu H, Sun F. Lifelong visual-tactile cross-modal learning for robotic material perception. IEEE transactions on neural networks and learning systems, 2020, 32(3): 1192 [19] Yu X, He W, Li Q, et al. Human-robot co-carrying using visual and force sensing. IEEE Transactions on Industrial Electronics, 2020, 68(9): 8657 [20] Karason S P, Annaswamy A M. Adaptive control in the presence of input constraints. IEEE Transactions on Automatic Control, 1994, 39(11):2325 [21] Gao W, Selmic R R. Neural network control of a class of nonlinear systems with actuator saturation[J]. IEEE transactions on neural networks, 2006, 17(1): 147 [22] Chen M, Ge S S, Ren B. Adaptive tracking control of uncertain MIMO nonlinear systems with input constraints. 录用稿件，非最终出版稿