【人工智能】人机智能技术及系统研究进展综述

第15卷第2期 智能系统学报 Vol.15 No.2 2020年3月 CAAI Transactions on Intelligent Systems Mar.2020 D0:10.11992tis.201912001 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20200320.1600.020html 人机智能技术及系统研究进展综述 程洪，黄瑞'，邱静，马文昊，施柯丞，李骏 (1.电子科技大学机器人研究中心，四川成都611731；2.清华大学车辆与运载学院，北京100084) 摘要：人机智能系统是能够实现人机智能协作的机器人系统，近年来成为了机器人领域的研究热点，具有广 泛的应用前景。针对人机智能系统技术和应用的国内外研究现状，从人机智能系统的关键技术和典型应用领 域两方面进行了进展综述。重点综述了与传统机器人系统存在差异性的人机智能系统关键技术，从建模、交 互、协同和优化4个方面的研究进展分别展开论述，对涉及的典型应用领域及典型人机智能系统进行总结，并 对人机智能系统发展的挑战和未来研究方向进行了展望。 关键词：人机智能系统：系统建模；人机交互；协同控制：混合智能：康复机器人；人机共驾；社会机器人 中图分类号：TP24文献标志码：A文章编号：1673-4785(2020)02-0386-13 中文引用格式：程洪，黄瑞，邱静，等.人机智能技术及系统研究进展综述.智能系统学报，2020,15(2)：386-398 英文引用格式：CHENG Hong,HUANG Rui,,QIU Jing,etal.A survey of recent advances in human-robot intelligent systems. CAAI transactions on intelligent systems,2020,15(2):386-398. A survey of recent advances in human-robot intelligent systems CHENG Hong,HUANG Rui,QIU Jing',MA Wenhao',SHI Kecheng',LI Jun? (1.Robotics Research Center,University of Electronic Science and Technology of China,Chengdu 611731,China;2.School of Vehicle and Mobility,Tsinghua University,Beijing 100084,China) Abstract:Human-robot intelligent system is a kind of robotic system which has the ability to cooperative with operat- ors.The human-robot intelligent system has been a popular topic in robotics thanks to its potential applications.Accord- ing to the research status of human-robot intelligent systems,fundamental technologies and typical application domains of human-robot intelligent systems are summarized.In particular,this survey focus on the difference of fundamental technologies between traditional robotic systems and human-robot intelligent systems.The research progress in model- ing,interaction,collaboration and optimization is discussed respectively.Typical human-robot intelligent systems in dif- ferent applications are summarized,in which challenges and potential future development of human-robot intelligent systems are discussed. Keywords:human-robot intelligent system;system modeling;human-robot interaction;collaboration;hybrid intelli- gence;rehabilitation robot;cooperative driving;social robot 随着人工智能和机器人相关技术与产业的发 和机器人各自的优势从而更好地完成复杂的人机 展，越来越多的机器人系统与产品深度地融合到 协同任务，其最终目标是实现人类和机器人在应 各个应用领域，也对传统的机器人技术提出了更 用场景中的自然互融。人机智能技术则是人机智 高的要求，尤其是在如何与人更好地进行交互和能系统为实现目标的理论与技术支撑，主要通过 协同方面。这一类需要与人进行交互和协同的 结合传统机器人技术和人工智能技术，从系统建 机器人系统称为人机智能系统，其通过结合人类 模、感知与交互、协同控制和人在回路优化等方 收稿日期：2019-12-02.网络出版日期：2020-03-23. 面提升机器人与人交互和协同的自然性、安全性 基金项目：国家重点研发计划项目(2017YFB1302300):国家自 和鲁棒性。本文将从人机智能系统关键技术和典 然科学基金项目(61603078.61673088). 通信作者：程洪.E-mail:hcheng@uestc..edu.cn 型应用场景出发，对近年来人机智能系统研究领

DOI: 10.11992/tis.201912001 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20200320.1600.020.html 人机智能技术及系统研究进展综述 程洪1 ，黄瑞1 ，邱静1 ，马文昊1 ，施柯丞1 ，李骏2 （1. 电子科技大学 机器人研究中心，四川 成都 611731; 2. 清华大学 车辆与运载学院，北京 100084） 摘 要：人机智能系统是能够实现人机智能协作的机器人系统，近年来成为了机器人领域的研究热点，具有广 泛的应用前景。针对人机智能系统技术和应用的国内外研究现状，从人机智能系统的关键技术和典型应用领 域两方面进行了进展综述。重点综述了与传统机器人系统存在差异性的人机智能系统关键技术，从建模、交 互、协同和优化 4 个方面的研究进展分别展开论述，对涉及的典型应用领域及典型人机智能系统进行总结，并 对人机智能系统发展的挑战和未来研究方向进行了展望。 关键词：人机智能系统；系统建模；人机交互；协同控制；混合智能；康复机器人；人机共驾；社会机器人 中图分类号：TP24 文献标志码：A 文章编号：1673−4785(2020)02−0386−13 中文引用格式：程洪, 黄瑞, 邱静, 等. 人机智能技术及系统研究进展综述 [J]. 智能系统学报, 2020, 15(2): 386–398. 英文引用格式：CHENG Hong, HUANG Rui, QIU Jing, et al. A survey of recent advances in human-robot intelligent systems[J]. CAAI transactions on intelligent systems, 2020, 15(2): 386–398. A survey of recent advances in human-robot intelligent systems CHENG Hong1 ，HUANG Rui1 ，QIU Jing1 ，MA Wenhao1 ，SHI Kecheng1 ，LI Jun2 (1. Robotics Research Center, University of Electronic Science and Technology of China, Chengdu 611731, China; 2. School of Vehicle and Mobility, Tsinghua University, Beijing 100084, China) Abstract: Human-robot intelligent system is a kind of robotic system which has the ability to cooperative with operat￾ors. The human-robot intelligent system has been a popular topic in robotics thanks to its potential applications. Accord￾ing to the research status of human-robot intelligent systems, fundamental technologies and typical application domains of human-robot intelligent systems are summarized. In particular, this survey focus on the difference of fundamental technologies between traditional robotic systems and human-robot intelligent systems. The research progress in model￾ing, interaction, collaboration and optimization is discussed respectively. Typical human-robot intelligent systems in dif￾ferent applications are summarized, in which challenges and potential future development of human-robot intelligent systems are discussed. Keywords: human-robot intelligent system; system modeling; human-robot interaction; collaboration; hybrid intelli￾gence; rehabilitation robot; cooperative driving; social robot 随着人工智能和机器人相关技术与产业的发 展，越来越多的机器人系统与产品深度地融合到 各个应用领域，也对传统的机器人技术提出了更 高的要求，尤其是在如何与人更好地进行交互和 协同方面[1]。这一类需要与人进行交互和协同的 机器人系统称为人机智能系统，其通过结合人类 和机器人各自的优势从而更好地完成复杂的人机 协同任务，其最终目标是实现人类和机器人在应 用场景中的自然互融。人机智能技术则是人机智 能系统为实现目标的理论与技术支撑，主要通过 结合传统机器人技术和人工智能技术，从系统建 模、感知与交互、协同控制和人在回路优化等方 面提升机器人与人交互和协同的自然性、安全性 和鲁棒性。本文将从人机智能系统关键技术和典 型应用场景出发，对近年来人机智能系统研究领 收稿日期：2019−12−02. 网络出版日期：2020−03−23. 基金项目：国家重点研发计划项目 (2017YFB1302300)；国家自 然科学基金项目 (61603078，61673088). 通信作者：程洪. E-mail：hcheng@uestc.edu.cn. 第 15 卷第 2 期 智 能 系 统 学 报 Vol.15 No.2 2020 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2020

第2期 程洪，等：人机智能技术及系统研究进展综述 ·387· 域的主要进展和部分代表性技术和系统进行介 务分类的方式，提升人机协同任务执行过程中的 绍，为国内从事人机智能系统研究的科研人员提 精确性和安全性，这类人机智能系统以手术机器 供参考。 人)和工业协作机器人为代表。在人在环上阶 段，人机智能系统除了需要考虑协同任务的复杂 1人机智能技术与系统概述 度外，还需要解决操作者使用者能力缺失或不足 随着机器人系统的不断发展和在各行业的深 而导致的人机交互失效问题。这类人机智能系统 度应用，实际应用场景的需求也逐步增加，而人 通过建立物理和认知双向交互通道，并结合机器 工智能技术的引入从一定层面上提高了机器人的 人的环境感知和理解能力，实现复杂场景和人机 智能程度，但是这一类机器人系统在动态且复杂 协同任务中的混合决策，这类人机智能系统以外 的人机协同任务中，仍具有非常大的局限性。人 骨骼机器人)、人机共驾系统为代表。在人在 机智能系统则是面向复杂人机协同应用场景的智 环外阶段，人机智能系统主要以机器人为主进行 能机器人系统，其核心技术挑战是如何融合人类 感知、决策和控制，这类人机智能系统以无人车可 智能和机器智能以实现自然、安全、鲁棒的人机 为代表。本文主要针对人在回路和人在环上两个 交互与协同，并解决实际应用场景和任务中人机 阶段，对其中人机智能系统的关键技术和典型应 协同的不确定性、脆弱性和开放性等难题。 用场景中的人机智能系统进行综述。 人机智能系统的发展大致可以分为4个阶 表1人机智能系统发展阶段及特点 段，如图1所示，包括人机系统阶段、人在回路阶 Table 1 Development stages and characteristics of human- 段、人在环上阶段和人在环外阶段，其分别对应 robot intelligent systems 机械时代、信息时代、智能时代和无人时代。 发展阶段 代表性系统 主要特点 可人为操控 Human-machine system Human-in-the-loop 人机系统阶段 电动轮椅、汽车 智能性差 ①（机械时代） ②（信息时代） 手术机器人、 人在回路阶段 人机物理交互、 工业协作机器人 任务分类 外骨骼机器人、 物理认知双向交互、 人在环上阶段 人机共驾 人机混合决策 人在环外阶段 以机器为主进行感知 无人车 决策和控制 2人机智能系统的关键技术 作为一种需要与人类进行交互和协同的智能 机器人系统，人机智能系统涉及到的关键技术主 要有：1)人机系统建模；2)人机系统运动协作； 3)认知人机交互；4)人在回路的人机系统优化。 本文将从上述4个方面对人机智能系统关键技术 的进展进行介绍。 Human-out-of-the-loop Human-on-of-the-loop 2.1人机系统建模 ④（无人时代） ③（智能时代） 与传统的机器人系统相比，人机智能系统模 图1人机智能系统的4个发展阶段 型的最大特点是由于人类的深度介入而导致人机 Fig.1 Development stages of human-robot intelligent sys- 系统的动力学特性发生了改变。因此，在人机 tems 系统的建模方法研究中，除了对本身机器人系统 如表1所示，在人机智能系统发展初期，电动 进行建模之外，还需要着重研究人机系统中人类 轮椅和汽车等可人为操控的人机系统是该阶段人 与机器人系统产生物理耦合部分的模型。这一 机系统的典型案例，这一类人机系统的智能性较 类人机智能系统称为紧耦合物理人机智能系统， 差，一般直接通过人机操作接口的方式实现人类 其中可穿戴机器人和智能假肢中的人机系统建模 对机器的控制。在人在回路发展阶段，人机智 更具有挑战性，得到了深入广泛的研究。 能系统的特点是人和机器人能通过物理交互和任 在对于人机智能系统中机器人系统本身的建

域的主要进展和部分代表性技术和系统进行介 绍，为国内从事人机智能系统研究的科研人员提 供参考。 1 人机智能技术与系统概述 随着机器人系统的不断发展和在各行业的深 度应用，实际应用场景的需求也逐步增加，而人 工智能技术的引入从一定层面上提高了机器人的 智能程度，但是这一类机器人系统在动态且复杂 的人机协同任务中，仍具有非常大的局限性。人 机智能系统则是面向复杂人机协同应用场景的智 能机器人系统，其核心技术挑战是如何融合人类 智能和机器智能以实现自然、安全、鲁棒的人机 交互与协同，并解决实际应用场景和任务中人机 协同的不确定性、脆弱性和开放性等难题。 人机智能系统的发展大致可以分为 4 个阶 段，如图 1 所示，包括人机系统阶段、人在回路阶 段、人在环上阶段和人在环外阶段，其分别对应 机械时代、信息时代、智能时代和无人时代。 Human-out-of-the-loop ④ (无人时代) Human-on-of-the-loop ③ (智能时代) Human-machine system ① (机械时代) Human-in-the-loop ② (信息时代) 图 1 人机智能系统的 4 个发展阶段 Fig. 1 Development stages of human-robot intelligent sys￾tems 如表 1 所示，在人机智能系统发展初期，电动 轮椅和汽车等可人为操控的人机系统是该阶段人 机系统的典型案例，这一类人机系统的智能性较 差，一般直接通过人机操作接口的方式实现人类 对机器的控制[2]。在人在回路发展阶段，人机智 能系统的特点是人和机器人能通过物理交互和任 务分类的方式，提升人机协同任务执行过程中的 精确性和安全性，这类人机智能系统以手术机器 人 [3] 和工业协作机器人[4] 为代表。在人在环上阶 段，人机智能系统除了需要考虑协同任务的复杂 度外，还需要解决操作者/使用者能力缺失或不足 而导致的人机交互失效问题。这类人机智能系统 通过建立物理和认知双向交互通道，并结合机器 人的环境感知和理解能力，实现复杂场景和人机 协同任务中的混合决策，这类人机智能系统以外 骨骼机器人[5] 、人机共驾系统[6] 为代表。在人在 环外阶段，人机智能系统主要以机器人为主进行 感知、决策和控制，这类人机智能系统以无人车[7] 为代表。本文主要针对人在回路和人在环上两个 阶段，对其中人机智能系统的关键技术和典型应 用场景中的人机智能系统进行综述。 表 1 人机智能系统发展阶段及特点 Table 1 Development stages and characteristics of human￾robot intelligent systems 发展阶段 代表性系统 主要特点 人机系统阶段 电动轮椅、汽车 可人为操控、 智能性差 人在回路阶段 手术机器人、 工业协作机器人 人机物理交互、 任务分类 人在环上阶段 外骨骼机器人、 人机共驾 物理认知双向交互、 人机混合决策 人在环外阶段 无人车 以机器为主进行感知、 决策和控制 2 人机智能系统的关键技术 作为一种需要与人类进行交互和协同的智能 机器人系统，人机智能系统涉及到的关键技术主 要有：1) 人机系统建模；2) 人机系统运动协作； 3) 认知人机交互；4) 人在回路的人机系统优化。 本文将从上述 4 个方面对人机智能系统关键技术 的进展进行介绍。 2.1 人机系统建模 与传统的机器人系统相比，人机智能系统模 型的最大特点是由于人类的深度介入而导致人机 系统的动力学特性发生了改变[8]。因此，在人机 系统的建模方法研究中，除了对本身机器人系统 进行建模之外，还需要着重研究人机系统中人类 与机器人系统产生物理耦合部分的模型[9]。这一 类人机智能系统称为紧耦合物理人机智能系统， 其中可穿戴机器人和智能假肢中的人机系统建模 更具有挑战性，得到了深入广泛的研究[10]。 在对于人机智能系统中机器人系统本身的建 第 2 期 程洪，等：人机智能技术及系统研究进展综述 ·387·

·388· 智能系统学 报 第15卷 模研究中，大部分都是基于传统的机器人建模方 系统控制接口研究。 法来描述人机系统的运动学山和动力学模型 在基于视觉的人机智能系统信息交互研究方 在可穿戴机器人方面，传统的机器人建模方法往 面，主要方法原理是通过视觉和图像传感器对人 往会忽略人机智能系统的紧耦合部分而将人和机 的肢体动作进行捕捉，再将捕捉到的肢体动作与 器看作一个整体，这导致了其在人机智能系统上 样本集中的动作进行匹配，得到该肢体动作下人 控制效果和精度的不理想。为了减小人机智能系 的意图，最终让机器做出该意图下的动作反馈。 统紧耦合部分对其自身运动学和动力学模型的影 在基于视觉的认知人机交互中，对于手势的研究 响，Berkeleyl1采用了系统辨识的方法，通过设计 与应用最为广泛。Wu等四提出了一种用户自定 一系列系统辨识实验，重新标定了人机智能系 义手势的方法，解决了人机智能系统手势认知交 统中运动学和动力学模型的系统参数，最终得到 互中用户在同一场景下不同手势习惯和表示偏差 了一个比原运动学和动力学模型精度更高的动态 的问题，将该方法应用在虚拟现实沉浸式购物系 模型。与Berkeley所不同的是，Tran等关注的 统中，结果显示所提出的方法可以有效准确地识 是人机智能系统的控制器参数。他们发现在人机 别用户的动作意图。Vargas等21利用深度学习 智能系统的运动过程中，传统的机器人建模方法 技术，构建了一个3DCNN神经网络结构来优化 无法明确地描述人与机器人之间的相互作用力， 视频序列中的连续手势识别性能，该方法能够有 而这一作用力可以通过人与机器之间的运动角 效地提取时空特征并进行精确度高达73%的手 度、速度和加速度差进行体现。因此可以根据人 势识别，可以实现在真实场景中通过视频记录手 机之间运动学信息差值的反馈，通过RFB神经网 势来控制机器人系统。 络6和模糊评价)等数学方法对人机系统控制 随着人机智能系统所面临任务和场景的复杂 器的参数进行在线学习，使得控制器参数根据运 化，根据人体简单肢体动作进行意图识别的方法 动学差值进行自适应变化，以减小人和机器人之 误判率较高，因此很多学者倾向于通过生物信号 间的相互作用力，最终达到提高人机智能系统建 来进行人机智能系统的认知交互，其主要方法是 模精度的效果。 通过采集人机交互过程中用户的生理电信号来识 在智能假肢的人机系统建模中，系统建模的 别其运动意图，之后将用户的运动意图作为一种 关键在于所建立的动力学模型如何符合人体运动 控制指令来控制人机智能系统。常用的生理电信 特性，以及基于运动学模型得到的控制器参数是 号有表面肌电信号(sEMG)、脑电信号(EEG)以及 否能够适应外部环境参数的变化，其中较为典型 眼电信号(EOG)。日本筑波大学的HAL下肢助 的环境参数变化情况就是穿戴者运动状态和行走 行外骨骼采用sEMG信号对穿戴者的运动意图进 地形的变化。Eilenberg等9将肌肉运动机理引 行识别，帮助穿戴者完成起坐、行走等日常动作。 入到动力学模型中，设计出的人机智能系统可以 与HAL下肢外骨骼不同的是，Hamaya等Po让用 有效适应穿戴者不同的行走速度以及行走地面坡 户按照自身的运动意图来执行任务，同时将用户 度的变化。Wen等o考虑到难以获得精确的动力 的肌电信号作为当前外骨骼系统辅助用户运动的 学模型，提出了一种无模型自适应动态规划方法 成本，通过模型强化学习框架来尽量减小用户运 (ADP),该方法能够根据环境参数的变化自动调节 动的成本，间接的让外骨骼理解人的意图，从而 控制器的参数，并表现出了较好的效果。 做出对应的反馈动作。中科院深圳研究院也对此 2.2认知人机交互 进行了深入研究，他们设计了一个脑机接口 不同于传统的机器人系统，人机智能系统是 (BC)来控制外骨骼机器人系统，通过脑电图信号 将机器人视为一个认知主体的人机交互系统。认 解码和多模态认知方法来实现整个系统运动模式 知人机交互的目标是使得机器具有人类的认知交 的切换2)，同时利用sEMG信号来控制外骨骼系 互特点，可以在与人的交互过程中对环境信息进 统对用户运动的实时跟踪2 行自主感知、理解、学习并反馈川。在人机系统 除了外骨骼人机智能系统，基于生物信号的 的认知交互方法研究中，其关键问题在于如何让 人机智能系统控制接口研究还广泛地应用于智能 机器在不确定性条件下理解人的意图，并对人的 轮椅2、智能假肢30、智能家居Bu以及远程机器 意图做出反馈。国内外学者对此问题进行了深入 人B23川等机智能系统上。雷煜等B通过基于脑电 研究，其主要研究方向包括：)基于视觉的人机 信号的视觉信息解读方法，成功地控制无人机完 智能系统信息交互；2)基于生物信号的人机智能 成了飞行任务

模研究中，大部分都是基于传统的机器人建模方 法来描述人机系统的运动学[11] 和动力学模型[12]。 在可穿戴机器人方面，传统的机器人建模方法往 往会忽略人机智能系统的紧耦合部分而将人和机 器看作一个整体，这导致了其在人机智能系统上 控制效果和精度的不理想。为了减小人机智能系 统紧耦合部分对其自身运动学和动力学模型的影 响，Berkeley[13] 采用了系统辨识的方法，通过设计 一系列系统辨识实验[14] ，重新标定了人机智能系 统中运动学和动力学模型的系统参数，最终得到 了一个比原运动学和动力学模型精度更高的动态 模型。与 Berkeley 所不同的是，Tran 等 [15] 关注的 是人机智能系统的控制器参数。他们发现在人机 智能系统的运动过程中，传统的机器人建模方法 无法明确地描述人与机器人之间的相互作用力， 而这一作用力可以通过人与机器之间的运动角 度、速度和加速度差进行体现。因此可以根据人 机之间运动学信息差值的反馈，通过 RFB 神经网 络 [16] 和模糊评价[17] 等数学方法对人机系统控制 器的参数进行在线学习，使得控制器参数根据运 动学差值进行自适应变化，以减小人和机器人之 间的相互作用力，最终达到提高人机智能系统建 模精度的效果。 在智能假肢的人机系统建模中，系统建模的 关键在于所建立的动力学模型如何符合人体运动 特性，以及基于运动学模型得到的控制器参数是 否能够适应外部环境参数的变化，其中较为典型 的环境参数变化情况就是穿戴者运动状态和行走 地形的变化[18]。Eilenberg 等 [19] 将肌肉运动机理引 入到动力学模型中，设计出的人机智能系统可以 有效适应穿戴者不同的行走速度以及行走地面坡 度的变化。Wen 等 [20] 考虑到难以获得精确的动力 学模型，提出了一种无模型自适应动态规划方法 (ADP)，该方法能够根据环境参数的变化自动调节 控制器的参数，并表现出了较好的效果。 2.2 认知人机交互 不同于传统的机器人系统，人机智能系统是 将机器人视为一个认知主体的人机交互系统。认 知人机交互的目标是使得机器具有人类的认知交 互特点，可以在与人的交互过程中对环境信息进 行自主感知、理解、学习并反馈[21]。在人机系统 的认知交互方法研究中，其关键问题在于如何让 机器在不确定性条件下理解人的意图，并对人的 意图做出反馈。国内外学者对此问题进行了深入 研究，其主要研究方向包括：1) 基于视觉的人机 智能系统信息交互；2) 基于生物信号的人机智能 系统控制接口研究。 在基于视觉的人机智能系统信息交互研究方 面，主要方法原理是通过视觉和图像传感器对人 的肢体动作进行捕捉，再将捕捉到的肢体动作与 样本集中的动作进行匹配，得到该肢体动作下人 的意图，最终让机器做出该意图下的动作反馈。 在基于视觉的认知人机交互中，对于手势的研究 与应用最为广泛。Wu 等 [22] 提出了一种用户自定 义手势的方法，解决了人机智能系统手势认知交 互中用户在同一场景下不同手势习惯和表示偏差 的问题，将该方法应用在虚拟现实沉浸式购物系 统中，结果显示所提出的方法可以有效准确地识 别用户的动作意图。Vargas 等 [23] 利用深度学习 技术，构建了一个 3DCNN 神经网络结构来优化 视频序列中的连续手势识别性能，该方法能够有 效地提取时空特征并进行精确度高达 73% 的手 势识别，可以实现在真实场景中通过视频记录手 势来控制机器人系统。 随着人机智能系统所面临任务和场景的复杂 化，根据人体简单肢体动作进行意图识别的方法 误判率较高，因此很多学者倾向于通过生物信号 来进行人机智能系统的认知交互，其主要方法是 通过采集人机交互过程中用户的生理电信号来识 别其运动意图，之后将用户的运动意图作为一种 控制指令来控制人机智能系统。常用的生理电信 号有表面肌电信号 (sEMG)、脑电信号 (EEG) 以及 眼电信号 (EOG)。日本筑波大学的 HAL 下肢助 行外骨骼采用 sEMG 信号对穿戴者的运动意图进 行识别[24] ，帮助穿戴者完成起坐、行走等日常动作[25]。 与 HAL 下肢外骨骼不同的是，Hamaya 等 [26] 让用 户按照自身的运动意图来执行任务，同时将用户 的肌电信号作为当前外骨骼系统辅助用户运动的 成本，通过模型强化学习框架来尽量减小用户运 动的成本，间接的让外骨骼理解人的意图，从而 做出对应的反馈动作。中科院深圳研究院也对此 进行了深入研究，他们设计了一个脑机接 口 (BCI) 来控制外骨骼机器人系统，通过脑电图信号 解码和多模态认知方法来实现整个系统运动模式 的切换[27] ，同时利用 sEMG 信号来控制外骨骼系 统对用户运动的实时跟踪[28]。 除了外骨骼人机智能系统，基于生物信号的 人机智能系统控制接口研究还广泛地应用于智能 轮椅[29] 、智能假肢[30] 、智能家居[31] 以及远程机器 人 [32-33] 等机智能系统上。雷煜等[34]通过基于脑电 信号的视觉信息解读方法，成功地控制无人机完 成了飞行任务。 ·388· 智 能 系 统 学 报 第 15 卷

第2期 程洪，等：人机智能技术及系统研究进展综述 ·389· 2.3人机系统运动协作 系统做出对应的运动。同样的，Darvish等也提 对于人机系统的不同任务，一个挑战性的问 出一个名为FlexHRC的工业协作机器人协作框 题是如何实现人和机器人系统的运动协作。随着 架，该协作框架集传感、理解、规划和控制结构于 人机系统应用领域的逐渐增加，其面对的任务场 一体，通过可穿戴传感设备进行用户意图识别以 景需求也逐渐的多元化，因此在不同任务场景需 及协作模式的选择，最终根据协作模式对机器人 求下采用不同运动模型和控制策略以保证人机之 系统的运动轨迹进行规划，完成人机智能系统的 间的自然融合成为了人机智能系统的核心要求。 运动协作。 可穿戴机器人和工业机器人作为典型的人机系 2.4人在回路的人机系统优化 统，所面对任务场景的多样性使得其迅速成为了 随着人机智能系统的不断发展，人机交互过 人机系统运动协作研究方向的热点对象。 程中机器被赋予的“控制权”也越来越高，然而人 在可穿戴机器人领域，其运动协作的核心问 机系统所面临的许多问题往往具有复杂性、不确 题在于如何让机器人能够自然跟随穿戴者在不同 定性和开放性，这些特性导致机器人系统在人机 地形下的不同运动步态，因此其关键技术在于不 交互过程中始终存在一定风险。为了提高人机智 同地形下的步态建模和步态规划。ZOu等针对 能系统的置信度，必须引入人员监督和参与，构 不同斜坡坡度的可穿戴机器人步态轨迹规划问 建人在环路的混合增强智能。人在环路的混合增 题，提出了一种基于传统捕捉点(CP)理论和动态 强智能被定义为一种需要人类交互的智能模型啊， 运动基元(DMP)方法的自适应步态规划方法，该 在包含这类模型的人机智能系统中，人始终是系 方法可以生成适应于不同坡度的步态轨迹，并能 统的一部分，对于机器人系统给出的执行结果， 够有效作用于实际的人机智能系统中。类似的， 人始终会对结果做进一步的判断，即人在环路的 Chen6-3等也是在DMP方法的基础上，结合机器 人机系统优化。 学习方法来动态调整DMPs方法中的模型参数， 在人在环路的人机系统优化中，大多数的研 最终生成适应于当前地形和运动情况下的步态轨 究集中于将人的生理信息，例如人体代谢率等作 迹。他们将该方法框架应用于上楼梯和平地 为系统指标，通过建立优化模型干预优化人机智 行走可场景下，实现了人机智能系统在不同地形 能系统中的控制参数s。Zhang等7将用户的代 下的动态平衡和动作协作；Deng等B1针对可穿戴 谢率作为系统指标，通过代谢模型来估计并优化 机器人上楼梯的任务场景，提出了一种新型的人 单踝外骨骼行走过程中的控制律，最终使穿戴者 引导外骨骼机器人的运动协作策略，采用自适应 代谢能耗减少了24.2%；类似的，Ding等a8.41 控制器解决了动力学模型参数的不确定性问题。 人使用贝叶斯优化方法来优化外骨骼行走过程中 该策略最终应用在实际系统中，可以帮助穿戴者 髋关节的控制参数8和人机系统的步行频率， 在无拐杖的情况下完成可穿戴机器人上楼梯的任 有效地减少了穿戴者的代谢能耗。Thatte等B提 务。与上述针对截瘫患者的可穿戴机器人运动协 出了一种适用于下肢外骨骼和智能假肢的基于定 作不同，针对偏瘫患者的人机运动协作实现难度 性偏好反馈的人在环路的控制策略优化算法，该 较为轻松，Bortole39和Unluhisarcikli等利用穿 方法在贝叶斯优化方法的基础上结合了基于用户 戴者健侧腿的运动学信息，来对穿戴患者侧腿的 偏好的学习算法，可以更准确高效的优化人机智 步态进行规划，以完成人机智能系统在不同的地 能系统。 形的运动协作。 除了穿戴者的生理信息，另一部分学者将目 在工业协作机器人领域，由于其面临的任务 光关注到了人机智能系统的紧耦合物理部分，以 场景过于灵活多变，因此其运动协作的核心关键 人机之间的交互力作为系统指标，通过增强学习 在于人机智能系统的控制方法上。随着人与机械 方法来优化并学习人机智能系统控制器的参数， 臂的近距离接触，拖动示教方法已被广泛应用于 最终达到人在回路的人机系统优化。Huang等s 协作机器人中，其中部分机器人还集成了视觉系 利用增强学习来学习灵敏度放大控制方法中的模 统，可以通过观察用户的运动进行学习和调整。 型参数，有效地减少了人机智能系统之间的人机 K.Darvish等)针对装配任务，提出了一个人机 交互力，并在实际系统平台上进行了验证。为了 运动协作框架，该框架通过用户手腕上配戴的可 进一步降低人机交互力，他们还提出了一种层次 穿戴设备捕捉用户的运动轨迹，从而控制机器人 交互学习策略s2s1。采用动态运动基元(DMPs)

2.3 人机系统运动协作 对于人机系统的不同任务，一个挑战性的问 题是如何实现人和机器人系统的运动协作。随着 人机系统应用领域的逐渐增加，其面对的任务场 景需求也逐渐的多元化，因此在不同任务场景需 求下采用不同运动模型和控制策略以保证人机之 间的自然融合成为了人机智能系统的核心要求。 可穿戴机器人和工业机器人作为典型的人机系 统，所面对任务场景的多样性使得其迅速成为了 人机系统运动协作研究方向的热点对象。 在可穿戴机器人领域，其运动协作的核心问 题在于如何让机器人能够自然跟随穿戴者在不同 地形下的不同运动步态，因此其关键技术在于不 同地形下的步态建模和步态规划。Zou 等 [35] 针对 不同斜坡坡度的可穿戴机器人步态轨迹规划问 题，提出了一种基于传统捕捉点 (CP) 理论和动态 运动基元 (DMP) 方法的自适应步态规划方法，该 方法可以生成适应于不同坡度的步态轨迹，并能 够有效作用于实际的人机智能系统中。类似的， Chen[36-37] 等也是在 DMP 方法的基础上，结合机器 学习方法来动态调整 DMPs 方法中的模型参数， 最终生成适应于当前地形和运动情况下的步态轨 迹。他们将该方法框架应用于上楼梯[36] 和平地 行走[37] 场景下，实现了人机智能系统在不同地形 下的动态平衡和动作协作；Deng 等 [38] 针对可穿戴 机器人上楼梯的任务场景，提出了一种新型的人 引导外骨骼机器人的运动协作策略，采用自适应 控制器解决了动力学模型参数的不确定性问题。 该策略最终应用在实际系统中，可以帮助穿戴者 在无拐杖的情况下完成可穿戴机器人上楼梯的任 务。与上述针对截瘫患者的可穿戴机器人运动协 作不同，针对偏瘫患者的人机运动协作实现难度 较为轻松，Bortole[39] 和 Unluhisarcikli[40] 等利用穿 戴者健侧腿的运动学信息，来对穿戴患者侧腿的 步态进行规划，以完成人机智能系统在不同的地 形的运动协作。 在工业协作机器人领域，由于其面临的任务 场景过于灵活多变，因此其运动协作的核心关键 在于人机智能系统的控制方法上。随着人与机械 臂的近距离接触，拖动示教方法已被广泛应用于 协作机器人中[41] ，其中部分机器人还集成了视觉系 统，可以通过观察用户的运动进行学习和调整[42]。 K. Darvish 等 [43] 针对装配任务，提出了一个人机 运动协作框架，该框架通过用户手腕上配戴的可 穿戴设备捕捉用户的运动轨迹，从而控制机器人 系统做出对应的运动。同样的，Darvish 等 [44] 也提 出一个名为 FlexHRC 的工业协作机器人协作框 架，该协作框架集传感、理解、规划和控制结构于 一体，通过可穿戴传感设备进行用户意图识别以 及协作模式的选择，最终根据协作模式对机器人 系统的运动轨迹进行规划，完成人机智能系统的 运动协作。 2.4 人在回路的人机系统优化 随着人机智能系统的不断发展，人机交互过 程中机器被赋予的“控制权”也越来越高，然而人 机系统所面临的许多问题往往具有复杂性、不确 定性和开放性，这些特性导致机器人系统在人机 交互过程中始终存在一定风险。为了提高人机智 能系统的置信度，必须引入人员监督和参与，构 建人在环路的混合增强智能。人在环路的混合增 强智能被定义为一种需要人类交互的智能模型[45] ， 在包含这类模型的人机智能系统中，人始终是系 统的一部分，对于机器人系统给出的执行结果， 人始终会对结果做进一步的判断，即人在环路的 人机系统优化。 在人在环路的人机系统优化中，大多数的研 究集中于将人的生理信息，例如人体代谢率等作 为系统指标，通过建立优化模型干预优化人机智 能系统中的控制参数[46]。Zhang 等 [47] 将用户的代 谢率作为系统指标，通过代谢模型来估计并优化 单踝外骨骼行走过程中的控制律，最终使穿戴者 代谢能耗减少了 24.2%；类似的，Ding 等 [ 4 8 - 4 9 ] 人使用贝叶斯优化方法来优化外骨骼行走过程中 髋关节的控制参数[48] 和人机系统的步行频率[49] ， 有效地减少了穿戴者的代谢能耗。Thatte 等 [50] 提 出了一种适用于下肢外骨骼和智能假肢的基于定 性偏好反馈的人在环路的控制策略优化算法，该 方法在贝叶斯优化方法的基础上结合了基于用户 偏好的学习算法，可以更准确高效的优化人机智 能系统。 除了穿戴者的生理信息，另一部分学者将目 光关注到了人机智能系统的紧耦合物理部分，以 人机之间的交互力作为系统指标，通过增强学习 方法来优化并学习人机智能系统控制器的参数， 最终达到人在回路的人机系统优化。Huang 等 [51] 利用增强学习来学习灵敏度放大控制方法中的模 型参数，有效地减少了人机智能系统之间的人机 交互力，并在实际系统平台上进行了验证。为了 进一步降低人机交互力，他们还提出了一种层次 交互学习策略[52-53]。采用动态运动基元 (DMPs) 第 2 期 程洪，等：人机智能技术及系统研究进展综述 ·389·

·390· 智能系统学报 第15卷 和局部加权回归(LWR)对高阶运动轨迹进行建 模和学习，采用强化学习(RL)对基于模型的低阶 控制器进行学习，最终在单自由度的系统平台上 验证了所提策略的有效性。考虑到系统优化参数 的泛化性，Hamaya等s定义了一个任务参数化 的辅助控制策略，利用机器学习方法对多组不同 任务下的人机交互数据进行学习，得到了一组泛 化能力强的辅助控制策略参数，有效地减少了人 影响处理平台患者手术平台 医生控制台 机交互力。 图2达芬奇手术机器人系统 3典型人机智能系统及其应用 Fig.2 Da Vinci surgical robot system 由外科医生和手术机器人构成的人机智能系 基于上述人机智能系统关键技术的不断提升 统，相较于传统人工手术，其主要优势在于通过 和进步，人机智能系统的应用范围和产业规模正 将生物智能与机器智能相结合，实现人与机器的 在不断的扩大，本节将针对现阶段3类典型的人 优势互补。机器相较于人类，在执行手术操作时 机智能系统及其应用场景进行介绍。 动作更加稳定、精准，不会因为长时间高强度的 3.1医疗康复机器人 工作而产生疲劳和抖动，而作为手术机器人操作 人机智能在医疗康复机器人领域的应用，对 者的外科医生，对于未知的复杂情况具有更优秀 于传统医学而言，在理念上和技术上都产生了重 的决策能力，能够可靠地处置手术中千变外化的 大影响，成为了现代医学领域必不可少的重要组 突发情况。所以，只有通过精准、自然的人机协 成部分。医疗康复机器人能够突破现有机器人 同工作，才能够保证外科手术在安全、稳定、精确 技术的局限性，将人与机器有机融合，凭借机器 的操作下进行。 人对于生物和环境等信息的强大感知、获取和运 3.1.2康复外骨骼机器人 算能力，结合人脑对于未知复杂情况所具有的优 随着全球人口老龄化以及残疾人群体的不 秀的决策能力，实现人机的优势互补。因此，人 断扩大，对应的医疗需求也在不断增长。康复外 机智能系统在医疗康复机器人领域应用的重要特 骨骼机器人能够使下肢偏瘫或截瘫患者在直立 点是人与机器在交互环境中的共同协作。目前人 的状态下进行步态康复训练，这样不但可以提高 机智能系统在医疗康复机器人领域的研究和应用 患者康复训练积极性，加速患者功能恢复，同时 热点主要包括手术机器人、康复机器人以及智能 对患者消化系统、循环系统以及心理状态的恢复 假肢5。 也都有着显著作用6，这些研究都说明相较于传 3.1.1手术机器人 统的康复设备，康复外骨骼拥有更加全面的康复 手术机器人是一种辅助外科医生进行手术的 效果。 早期的康复外骨骼机器人结构简单，功能较 智能机械设备，它是医疗康复机器人的重要组成 部分例。以达芬奇手术机器人（见图2）为代表的 为单一，传感系统不够完善，康复机器人穿戴者 只能作为被动接受康复训练者的角色，通过控制 手术机器人已经将外科手术的精度和可行性提升 器按键，触发预先规划的固定运动曲线进行康复 到一个全新的高度$侧，手术机器人正在逐步普及 训练，穿戴者和机器人之间属于“命令-执行”的关 并开创一种全新的手术模式。 系，人机系统耦合性较弱6。国外具有代表性的 手术机器人的发展势头之所以能够如此猛 康复外骨骼产品主要包括：以色列“Rewalk”公司 烈，得益于其自身的3个主要优点：1)手术机器 的康复下肢外骨骼6（图3(a),它能够通过姿态传 人的高精度视觉系统，可以扩宽医生的手术视 感器，检测穿戴者的肢体动作和重心的变化，模 野，帮助医生更加准确地确定手术位置；2)自由 仿人类自然行走的步态，并能根据实际情况控制 度高的机械手使手术机器人在执行任务时更加灵 步行速度。美国“Eks0”外骨骼机器人6（图3b) 活，能够在最佳手术姿态下完成对患者的治疗； 创建了3种不同的康复模式，用户可根据自身康 3)能够避免手术医生双手的生理震颤，实现精准 复情况选择对应模式进行康复训练。国内康复外 切除，减少患者出血量。 骨骼机器人市场主要有大艾外骨骼机器人“AiLegs'6例

和局部加权回归 (LWR) 对高阶运动轨迹进行建 模和学习，采用强化学习 (RL) 对基于模型的低阶 控制器进行学习，最终在单自由度的系统平台上 验证了所提策略的有效性。考虑到系统优化参数 的泛化性，Hamaya 等 [54] 定义了一个任务参数化 的辅助控制策略，利用机器学习方法对多组不同 任务下的人机交互数据进行学习，得到了一组泛 化能力强的辅助控制策略参数，有效地减少了人 机交互力。 3 典型人机智能系统及其应用 基于上述人机智能系统关键技术的不断提升 和进步，人机智能系统的应用范围和产业规模正 在不断的扩大，本节将针对现阶段 3 类典型的人 机智能系统及其应用场景进行介绍。 3.1 医疗康复机器人 人机智能在医疗康复机器人领域的应用，对 于传统医学而言，在理念上和技术上都产生了重 大影响，成为了现代医学领域必不可少的重要组 成部分[55]。医疗康复机器人能够突破现有机器人 技术的局限性，将人与机器有机融合，凭借机器 人对于生物和环境等信息的强大感知、获取和运 算能力，结合人脑对于未知复杂情况所具有的优 秀的决策能力，实现人机的优势互补。因此，人 机智能系统在医疗康复机器人领域应用的重要特 点是人与机器在交互环境中的共同协作。目前人 机智能系统在医疗康复机器人领域的研究和应用 热点主要包括手术机器人、康复机器人以及智能 假肢[56]。 3.1.1 手术机器人 手术机器人是一种辅助外科医生进行手术的 智能机械设备，它是医疗康复机器人的重要组成 部分[57]。以达芬奇手术机器人 (见图 2) 为代表的 手术机器人已经将外科手术的精度和可行性提升 到一个全新的高度[58] ，手术机器人正在逐步普及 并开创一种全新的手术模式。 手术机器人的发展势头之所以能够如此猛 烈，得益于其自身的 3 个主要优点[59] ：1) 手术机器 人的高精度视觉系统，可以扩宽医生的手术视 野，帮助医生更加准确地确定手术位置；2) 自由 度高的机械手使手术机器人在执行任务时更加灵 活，能够在最佳手术姿态下完成对患者的治疗； 3) 能够避免手术医生双手的生理震颤，实现精准 切除，减少患者出血量。 影响处理平台 患者手术平台 医生控制台 图 2 达芬奇手术机器人系统 Fig. 2 Da Vinci surgical robot system 由外科医生和手术机器人构成的人机智能系 统，相较于传统人工手术，其主要优势在于通过 将生物智能与机器智能相结合，实现人与机器的 优势互补。机器相较于人类，在执行手术操作时 动作更加稳定、精准，不会因为长时间高强度的 工作而产生疲劳和抖动，而作为手术机器人操作 者的外科医生，对于未知的复杂情况具有更优秀 的决策能力，能够可靠地处置手术中千变外化的 突发情况。所以，只有通过精准、自然的人机协 同工作，才能够保证外科手术在安全、稳定、精确 的操作下进行。 3.1.2 康复外骨骼机器人 随着全球人口老龄化以及残疾人群体的不 断扩大，对应的医疗需求也在不断增长。康复外 骨骼机器人能够使下肢偏瘫或截瘫患者在直立 的状态下进行步态康复训练，这样不但可以提高 患者康复训练积极性，加速患者功能恢复，同时 对患者消化系统、循环系统以及心理状态的恢复 也都有着显著作用[60] ，这些研究都说明相较于传 统的康复设备，康复外骨骼拥有更加全面的康复 效果。 早期的康复外骨骼机器人结构简单，功能较 为单一，传感系统不够完善，康复机器人穿戴者 只能作为被动接受康复训练者的角色，通过控制 器按键，触发预先规划的固定运动曲线进行康复 训练，穿戴者和机器人之间属于“命令−执行”的关 系，人机系统耦合性较弱[61]。国外具有代表性的 康复外骨骼产品主要包括：以色列“Rewalk”公司 的康复下肢外骨骼[62] (图 3(a))，它能够通过姿态传 感器，检测穿戴者的肢体动作和重心的变化，模 仿人类自然行走的步态，并能根据实际情况控制 步行速度。美国“Ekso”外骨骼机器人[63] (图 3(b)) 创建了 3 种不同的康复模式，用户可根据自身康 复情况选择对应模式进行康复训练。国内康复外 骨骼机器人市场主要有大艾外骨骼机器人“AiLegs”[64] ·390· 智 能 系 统 学 报 第 15 卷

第2期 程洪，等：人机智能技术及系统研究进展综述 ·391· (见图3（©）)以及电子科技大学机器人研究中心研 骼机器人。这些前沿的方法将人机系统的协同性 制的“AIDER”系列外骨骼机器人6（见图3(）)这 提升到了更高的高度，相信随着研究的不断推 两款外骨骼产品。这两款外骨骼机器人通过设置 进，这些技术将会日趋成熟，最终以产品的形式 在外骨骼机器人上的多种传感器，可实时获取穿 进入康复机器人市场。 戴者姿态信息以及物理人机交互信息，对多维传 3.1.3智能假肢 感信息进行融合和解析，理解穿戴者的运动意 智能假肢是一类利用多种传感技术，借助信 图，从而动态规划出适合穿戴者当前状态的个性 息融合、人机协同控制等方法，根据假肢佩戴者 化仿生运动曲线。由此，穿戴者与康复外骨骼机 意图执行动作，并具有自动适应外部环境变化的 器人共同形成了“人在环上”的人机智能系统，一 能力的假肢。传统的假肢往往只能够代替佩戴者 方面，穿戴者为外骨骼机器人提供运动意图相关 缺失肢体的部分功能，且动作协调性较差，使用 的生理特征；另一方面，穿戴者也是控制系统的 范围受到很大限制，而智能假肢的出现，弥补了 一个重要反馈角色，接收环境对其的反馈信息， 上述缺陷，使假肢可以根据佩戴者意念执行较为 并做出控制决策，实现人机智能交互和人机物理 复杂的动作，具有更好的仿生性，也扩展了使用 紧耦合性”。这样不仅保证了康复训练的高效 范围69-70。 性，同时提高了穿戴者的舒适性，大大降低了康 目前智能假肢领域较为成熟的产品主要有 复训练中患者的二次伤害。 德国“OTTO BOCK”公司推出的肌电手假肢系统倒 (见图4(a),当截肢者佩戴上该智能假肢并通过 大脑想象自己想完成的动作时，大脑产生的运 动神经信号会使患肢部位肌肉收缩，智能假肢 通过获取佩戴患者的肌电信号控制其屈伸、手 头的开闭以及关节的旋转等动作，使用户在工 作、日常生活以及休闲活动中恢复更多自由的 活动能力。英国的“Touch Bionocs"公司推出 的“i-Limb”智能上臂假肢（见图4(b)o不但能 够根据佩戴者的肌电信号控制，而且还可以通 (a)Rewalk (b)Ekso 过手机应用软件切换24种不同的手势模式，使 机器手实现不同的持握动作。另一款具有代表 性的智能假肢是由美国国防部先进项目研究局 DARPA)推出的名为“LUKE ARM"的智能上臂 假肢（见图4(c)m。该假肢通过一套独特的肌电 人机协同算法控制，通过肌电传感器获取假肢 佩戴者的肌电信号并快速做出相应动作响应， 同时假肢末端的传感器将动态触觉信息通过末 端肌肉神经刺激传达给佩戴者，使其准确感知 到假肢手的抓握强度。这种助力反馈功能能使 (c)AiLegs (d)AIDER 该智能手臂表现出多达数十种不同力度的抓握 图3下肢康复外骨骼机器人 动作，使佩戴者可以执行更加精细的操作，表现 Fig.3 Lower limb rehabilitation exoskeleton 出更优秀的人机系统协同控制效果。该假肢已 国内外许多康复外骨骼机器人研究机构也在 于2014年通过了美国FDA认证并于2016年开 致力于探索更先进的人体意图感知方法，例如通 始正式临床应用和生产销售。 过实时监测并采集穿戴者脑电波，通过对脑电波 国内在智能假肢方面的研究起步较晚但是 进行采集、信号处理、机器学习、模式识别等多个 发展迅速，许多高校和科研机构均展开相应研 步骤就能够判断穿戴者的运动意图，从而将人脑 究，比较有代表性的成果是哈尔滨工业大学的 控制外骨骼机器人运动变成为现实67。另一种前 智能假肢手“DLR-HIT”(见图4(d)2-1创新性 沿的控制方式是采用肌肉发出的电信号6，通过 地采用两条传感反馈通路，不仅将假肢末端传 与脑电波相似的信号处理和分析方法，控制外骨 感器信号转化为神经电刺激传递给佩戴者进行

(见图 3(c)) 以及电子科技大学机器人研究中心研 制的“AIDER”系列外骨骼机器人[65] (见图 3(d)) 这 两款外骨骼产品。这两款外骨骼机器人通过设置 在外骨骼机器人上的多种传感器，可实时获取穿 戴者姿态信息以及物理人机交互信息，对多维传 感信息进行融合和解析，理解穿戴者的运动意 图，从而动态规划出适合穿戴者当前状态的个性 化仿生运动曲线。由此，穿戴者与康复外骨骼机 器人共同形成了“人在环上”的人机智能系统，一 方面，穿戴者为外骨骼机器人提供运动意图相关 的生理特征；另一方面，穿戴者也是控制系统的 一个重要反馈角色，接收环境对其的反馈信息， 并做出控制决策，实现人机智能交互和人机物理 紧耦合性[37]。这样不仅保证了康复训练的高效 性，同时提高了穿戴者的舒适性，大大降低了康 复训练中患者的二次伤害[66]。 (a) Rewalk (b) Ekso (c) AiLegs (d) AIDER 图 3 下肢康复外骨骼机器人 Fig. 3 Lower limb rehabilitation exoskeleton 国内外许多康复外骨骼机器人研究机构也在 致力于探索更先进的人体意图感知方法，例如通 过实时监测并采集穿戴者脑电波，通过对脑电波 进行采集、信号处理、机器学习、模式识别等多个 步骤就能够判断穿戴者的运动意图，从而将人脑 控制外骨骼机器人运动变成为现实[67]。另一种前 沿的控制方式是采用肌肉发出的电信号[68] ，通过 与脑电波相似的信号处理和分析方法，控制外骨 骼机器人。这些前沿的方法将人机系统的协同性 提升到了更高的高度，相信随着研究的不断推 进，这些技术将会日趋成熟，最终以产品的形式 进入康复机器人市场。 3.1.3 智能假肢 智能假肢是一类利用多种传感技术，借助信 息融合、人机协同控制等方法，根据假肢佩戴者 意图执行动作，并具有自动适应外部环境变化的 能力的假肢。传统的假肢往往只能够代替佩戴者 缺失肢体的部分功能，且动作协调性较差，使用 范围受到很大限制，而智能假肢的出现，弥补了 上述缺陷，使假肢可以根据佩戴者意念执行较为 复杂的动作，具有更好的仿生性，也扩展了使用 范围[69-70]。 目前智能假肢领域较为成熟的产品主要有 德国“OTTO BOCK”公司推出的肌电手假肢系统[69] (见图 4(a))，当截肢者佩戴上该智能假肢并通过 大脑想象自己想完成的动作时，大脑产生的运 动神经信号会使患肢部位肌肉收缩，智能假肢 通过获取佩戴患者的肌电信号控制其屈伸、手 头的开闭以及关节的旋转等动作，使用户在工 作、日常生活以及休闲活动中恢复更多自由的 活动能力。英国的“Touch Bionocs”公司推出 的“i-Limb”智能上臂假肢 (见图 4(b)) [70] 不但能 够根据佩戴者的肌电信号控制，而且还可以通 过手机应用软件切换 24 种不同的手势模式，使 机器手实现不同的持握动作。另一款具有代表 性的智能假肢是由美国国防部先进项目研究局 (DARPA) 推出的名为“LUKE ARM”的智能上臂 假肢 (见图 4(c)) [71]。该假肢通过一套独特的肌电 人机协同算法控制，通过肌电传感器获取假肢 佩戴者的肌电信号并快速做出相应动作响应， 同时假肢末端的传感器将动态触觉信息通过末 端肌肉神经刺激传达给佩戴者，使其准确感知 到假肢手的抓握强度。这种助力反馈功能能使 该智能手臂表现出多达数十种不同力度的抓握 动作,使佩戴者可以执行更加精细的操作，表现 出更优秀的人机系统协同控制效果。该假肢已 于 2014 年通过了美国 FDA 认证并于 2016 年开 始正式临床应用和生产销售。 国内在智能假肢方面的研究起步较晚但是 发展迅速，许多高校和科研机构均展开相应研 究，比较有代表性的成果是哈尔滨工业大学的 智能假肢手“DLR-HIT”(见图 4(d)) [72-73] 创新性 地采用两条传感反馈通路，不仅将假肢末端传 感器信号转化为神经电刺激传递给佩戴者进行 第 2 期 程洪，等：人机智能技术及系统研究进展综述 ·391·

·392· 智能系统学报 第15卷 协同控制，同时将传感信号引入智能假肢控制 器中进行闭环控制，大幅提高了假肢的控制稳 定性和精确度。 3.2人机共驾 近年来自动驾驶已经也成为汽车工业、自动 化等领域炙手可热的研究方向。美国国家公路交 通安全管理局将自动化驾驶系统分为5个等 级4，如图5所示。1)L0级：无自动驾驶，即驾 (a)“OTTO BOCK”假肢 驶者完全控制刹车、转向、油门、动力等主要的车 (b)“i-limb”智能手 辆控制设备。2)L1级：特定功能的自动化，即车 辆的一项或多项主要控制设备实现自动化，但无 法联动运行成为系统。3)L2级：整合功能的自动 化，即车辆中至少有两项自动化控制系统能够联 动运行。4)L3级：实现有限自主驾驶的自动化， 即在某些特定的条件下，驾驶员可以交让与安全 相关的功能的控制权，驾驶员可以偶尔接管车 辆。5)L4级：实现完全自主驾驶的自动化，即完 (c)LUKE ARM假肢 (d“DLR-HIT智能手 全意义上的无人驾驶，车辆可以自身全程控制并 图4智能假肢系统 监控安全相关的驾驶功能应用。 Fig.4 Intelligent prosthetic system 美国汽车工程师学会对自动驾驶的定级 分级 名称 定义 驾驶操作 周边监控 接管 应用场景 LO 人工驾驶 由人类驾驶者全权驾驶汽车。 人 无 LI 辅助驾驶 车辆对方向盘和加诚速中的一项操作提供 驾驶，人类驾驶者负责其余驾驶动作。 人和车辆 人 L2 部分自动驾驶 车辆对方向盘和加诚速中的多项操作提供 驾驶，人类驾驶者者前有其余驾驶动作。 限定场景 3 条件自动驾驶 由车辆完成纸大部分驾驶操作，人类驾驶 者需保持注意力集中以备不时之需。 车辆 L4 高度自动驾驶 由车辆完成所有驾驶操作，人类驾驶者无 车辆 需保持注意力，但限定道路和环境条件。 车辆 由车辆完成所有驾驶操作，人类驾驶者 完全自动驾驶 无需保持注意力。 所有场景 图5自动驾驶分级标准 Fig.5 Automatic driving classification standard 自动驾驶的目标是改变传统车辆的“人-车- 面对的课题。 路”的闭环控制方式，完全取代人在驾驶场景中的 人机共驾的目标是建立有效且可靠的人一车 角色从而实现无人驾驶，即上述L5级别的自动驾 沟通方式，实现人机感知信息实时交互，形成互 驶。但由于当前自动驾驶技术仍然不够成熟， 相信任、深度理解的关系，共同完成驾驶任务。 并且相关政策法规、社会接受度和保险规则尚未 因此人机共驾首先需要做到共享感知1，Sou 完善，完全的无人自动驾驶还有很长的路要走。 almi等1提出一种基于汽车转向系统转矩信号 因此在当前自动驾驶的研发和应用中，人依然扮 的人车共驾沟通模式，当汽车处于自动驾驶模式 演着相当重要的角色，将人移出控制环路还为时 且传感系统未检测到地障碍时，驾驶员可以通过 尚早，人机共驾m是所有自动驾驶研究团队都要 转动方向盘随时接管驾驶权，汽车辅助转向系统

协同控制，同时将传感信号引入智能假肢控制 器中进行闭环控制，大幅提高了假肢的控制稳 定性和精确度。 3.2 人机共驾 近年来自动驾驶已经也成为汽车工业、自动 化等领域炙手可热的研究方向。美国国家公路交 通安全管理局将自动化驾驶系统分为 5 个等 级 [74-75] ，如图 5 所示。1) L0 级：无自动驾驶，即驾 驶者完全控制刹车、转向、油门、动力等主要的车 辆控制设备。2) L1 级：特定功能的自动化，即车 辆的一项或多项主要控制设备实现自动化，但无 法联动运行成为系统。3) L2 级：整合功能的自动 化，即车辆中至少有两项自动化控制系统能够联 动运行。4) L3 级：实现有限自主驾驶的自动化， 即在某些特定的条件下，驾驶员可以交让与安全 相关的功能的控制权，驾驶员可以偶尔接管车 辆。5) L4 级：实现完全自主驾驶的自动化，即完 全意义上的无人驾驶，车辆可以自身全程控制并 监控安全相关的驾驶功能应用。 (a) “OTTO BOCK”假肢 (b) “i-limb”智能手 (c) “LUKE ARM”假肢 (d) “DLR-HIT”智能手 图 4 智能假肢系统 Fig. 4 Intelligent prosthetic system 完全自动驾驶 高度自动驾驶 条件自动驾驶 部分自动驾驶 辅助驾驶 人和车辆 人 人 人 无 驾驶操作 美国汽车工程师学会对自动驾驶的定级 周边监控 应用场景 接管 车辆 车辆 车辆 限定场景 所有场景 L0 人工驾驶 L1 L2 L3 L4 L5 分级 名称 定义 由人类驾驶者全权驾驶汽车。 车辆对方向盘和加减速中的一项操作提供 驾驶，人类驾驶者负责其余驾驶动作。 车辆对方向盘和加减速中的多项操作提供 驾驶，人类驾驶者者前有其余驾驶动作。 由车辆完成纸大部分驾驶操作，人类驾驶 者需保持注意力集中以备不时之需。 由车辆完成所有驾驶操作，人类驾驶者无 需保持注意力，但限定道路和环境条件。 由车辆完成所有驾驶操作，人类驾驶者 无需保持注意力。 图 5 自动驾驶分级标准 Fig. 5 Automatic driving classification standard 自动驾驶的目标是改变传统车辆的“人−车− 路”的闭环控制方式，完全取代人在驾驶场景中的 角色从而实现无人驾驶，即上述 L5 级别的自动驾 驶 [76]。但由于当前自动驾驶技术仍然不够成熟， 并且相关政策法规、社会接受度和保险规则尚未 完善，完全的无人自动驾驶还有很长的路要走。 因此在当前自动驾驶的研发和应用中，人依然扮 演着相当重要的角色，将人移出控制环路还为时 尚早，人机共驾[77] 是所有自动驾驶研究团队都要 面对的课题。 人机共驾的目标是建立有效且可靠的人−车 沟通方式，实现人机感知信息实时交互，形成互 相信任、深度理解的关系，共同完成驾驶任务。 因此人机共驾首先需要做到共享感知[ 7 8 ] ，Sou￾almi 等 [79] 提出一种基于汽车转向系统转矩信号 的人车共驾沟通模式，当汽车处于自动驾驶模式 且传感系统未检测到地障碍时，驾驶员可以通过 转动方向盘随时接管驾驶权，汽车辅助转向系统 ·392· 智 能 系 统 学 报 第 15 卷

第2期 程洪，等：人机智能技术及系统研究进展综述 ·393· 感知到方向盘转矩信号后，可实时响应并帮助驾 图6(c)》可以通过面部识别技术和声调情绪识 驶员提供同向的辅助转矩从而完成人车合作转 别技术，感知人类的情感变化并调整与用户的互 向。该模型将人置于控制系统“感知-决策”闭环 动方式。同时这些状态会被上传到云端存储，其 的重要位置，机器传感系统能够为人类提供外部 他机器人个体可以用它来修改自己的行为方式， 环境感知信息，同时人的感知系统也能够弥补机 不断提升与人类的沟通能力。百度推出的“小度 器感知的局限性，通过机器和人类的有效互补， 智能社交机器人（见图6(d)不但能够在家庭中进 从而实现更加安全的人机共驾。Morris等8o 行日常的情感交流，同时借助于其搭载的深度问 通过融合车载雷达、车道检测摄像头和驾驶员状 答系统，当人类向它提出不确定性问题时，它可 态监控摄像头信号，生成车辆变道预测模型。该 以实时从网上的海量知识中自动分析、抽取、统 模型可以通过传感器信号实时监测道路环境情况 计得到精炼、全面性的答案。 和驾驶员生理功能特征，包括注意力、疲劳度、情 绪状态等，进行多维评估，衡量驾驶员是否适合 在当前状态下接管汽车的控制权，并提前3s预 测在可能存在危险的路况下，驾驶员的变道意 图，准备随时提供辅助驾驶，避免危险情况的发 生，最大程度确保稳定可靠的控制权移交。 3.3智能交互机器人 传统的机器人往往只能够单向服从于人类， 接受人类的指令并执行，但在人机智能时代，人 和机器的联系是双向的，机器人需要能够感知周 (a)Nexi情感机器人 (b)“RIBA”护理机器人 围的环境，理解人类的情感、意图和服务需求，自 适应地与用户进行人机交互⑧”。根据用户的需求 以及环境信息的变化来进行更智能的人机交互， 已成为新一代智能机器人的发展趋势，我们将这 类具有感知、学习、推理以及决策能力的智能化 平台称为智能交互机器人。智能交互机器人在现 代社会拥有多种多样的应用场景，例如教育、娱 乐、公共服务、智能家庭等领域2。 近年来有关智能交互机器人的研究较多，大 多数系统和产品融合了计算机语音视觉识别、自 (C)PEPPER”服务机器人(b)“小度”社交机器人 然语言处理、深度学习、知识图谱等多种人工智 图6智能交互机器人 能技术，旨在增强机器人在人机交互过程中对人 Fig.6 Intelligent robots 类情感和意图的感知能力，使人机交互更加自 随着人工神经网络和情感计算相关基础理论 然，同时更加有效地帮助人类完成特定场景下的 研究和技术的突破，未来智能交互机器人的研究 任务。例如美国麻省理工学院的“Nexi”机器人 方向将会向着多模态情感识别方法、人机交互氛 (见图6(a)8,它能够理解人的语言，还能够通过 围场建模、情感意图理解方法、机器人的多模态 转动眼睛、皱眉、张嘴、打手势等丰富的面部表情 情感表达以及人机情感交互系统应用方面不断推 和肢体动作表达喜怒哀乐等不同的情感，并且 进和深化7-，大大提升智能交互机器人在感知、 Nexi”还能够通过人的表情和肢体反馈来接受训 练，学习新的自主动作。 认知、分析和决策能力，推进机器人对多层次情 日本理化研究所研制的护理机器人“RIBA” 景的用户动态感知，增强智能交互机器人的自主 (见图6(b)能够在护理人员的指引下，抱起、移 性和适应性，最终使机器人具有主动情感认知能 动和放下被护理者。操作者不仅能够使用语音对 力，将人类智能和人工智能紧密耦合，构建人机 “RIBA”下达命令，同时也可以通过它表面的触觉 互补、人机融合、人机协同的人机智能系统。 传感器，使用触觉指导的方法更直观地向其提供 4结束语 指令。日本软银集团和法国“Aldebaran Robot- ics”公司合作研发的智能机器人“PEPPER”(见 总的来说，近十年人工智能技术和机器人技

感知到方向盘转矩信号后，可实时响应并帮助驾 驶员提供同向的辅助转矩从而完成人车合作转 向。该模型将人置于控制系统“感知−决策”闭环 的重要位置，机器传感系统能够为人类提供外部 环境感知信息，同时人的感知系统也能够弥补机 器感知的局限性，通过机器和人类的有效互补， 从而实现更加安全的人机共驾。Morris 等 [ 8 0 ] 通过融合车载雷达、车道检测摄像头和驾驶员状 态监控摄像头信号，生成车辆变道预测模型。该 模型可以通过传感器信号实时监测道路环境情况 和驾驶员生理功能特征，包括注意力、疲劳度、情 绪状态等，进行多维评估，衡量驾驶员是否适合 在当前状态下接管汽车的控制权，并提前 3 s 预 测在可能存在危险的路况下，驾驶员的变道意 图，准备随时提供辅助驾驶，避免危险情况的发 生，最大程度确保稳定可靠的控制权移交。 3.3 智能交互机器人 传统的机器人往往只能够单向服从于人类， 接受人类的指令并执行，但在人机智能时代，人 和机器的联系是双向的，机器人需要能够感知周 围的环境，理解人类的情感、意图和服务需求，自 适应地与用户进行人机交互[81]。根据用户的需求 以及环境信息的变化来进行更智能的人机交互， 已成为新一代智能机器人的发展趋势，我们将这 类具有感知、学习、推理以及决策能力的智能化 平台称为智能交互机器人。智能交互机器人在现 代社会拥有多种多样的应用场景，例如教育、娱 乐、公共服务、智能家庭等领域[82-83]。 近年来有关智能交互机器人的研究较多，大 多数系统和产品融合了计算机语音视觉识别、自 然语言处理、深度学习、知识图谱等多种人工智 能技术，旨在增强机器人在人机交互过程中对人 类情感和意图的感知能力，使人机交互更加自 然，同时更加有效地帮助人类完成特定场景下的 任务。例如美国麻省理工学院的 “Nexi” 机器人 (见图 6(a)) [84] ，它能够理解人的语言，还能够通过 转动眼睛、皱眉、张嘴、打手势等丰富的面部表情 和肢体动作表达喜怒哀乐等不同的情感，并且 “Nexi”还能够通过人的表情和肢体反馈来接受训 练，学习新的自主动作。 日本理化研究所研制的护理机器人“RIBA” (见图 6(b)) [85] 能够在护理人员的指引下，抱起、移 动和放下被护理者。操作者不仅能够使用语音对 “RIBA”下达命令，同时也可以通过它表面的触觉 传感器，使用触觉指导的方法更直观地向其提供 指令。日本软银集团和法国“Aldebaran Robot￾ics”公司合作研发的智能机器人“PEPPER”(见 图 6(c)) [86] 可以通过面部识别技术和声调情绪识 别技术，感知人类的情感变化并调整与用户的互 动方式。同时这些状态会被上传到云端存储，其 他机器人个体可以用它来修改自己的行为方式， 不断提升与人类的沟通能力。百度推出的“小度” 智能社交机器人 (见图 6(d)) 不但能够在家庭中进 行日常的情感交流，同时借助于其搭载的深度问 答系统，当人类向它提出不确定性问题时，它可 以实时从网上的海量知识中自动分析、抽取、统 计得到精炼、全面性的答案。 (a) “Nexi”情感机器人 (b) “RIBA”护理机器人 (c) “PEPPER”服务机器人 (b) “小度”社交机器人 图 6 智能交互机器人 Fig. 6 Intelligent robots 随着人工神经网络和情感计算相关基础理论 研究和技术的突破，未来智能交互机器人的研究 方向将会向着多模态情感识别方法、人机交互氛 围场建模、情感意图理解方法、机器人的多模态 情感表达以及人机情感交互系统应用方面不断推 进和深化[87-88] ，大大提升智能交互机器人在感知、 认知、分析和决策能力，推进机器人对多层次情 景的用户动态感知，增强智能交互机器人的自主 性和适应性，最终使机器人具有主动情感认知能 力，将人类智能和人工智能紧密耦合，构建人机 互补、人机融合、人机协同的人机智能系统。 4 结束语 总的来说，近十年人工智能技术和机器人技 第 2 期 程洪，等：人机智能技术及系统研究进展综述 ·393·

·394· 智能系统学报 第15卷 术都分别得到了长足的进步和发展，但是结合两 bot interaction for a human-powered lower exoskeleton[Cl// 者优势的人机智能技术以及面向行业领域应用的 Proceedings of 2016 IEEE/RSJ International Conference 典型人机智能系统，仍然处于发展的初级阶段， on Intelligent Robots and Systems.Daejeon,South Korea, 面临诸多的技术挑战，具体有如下4个方面： 2016:5355-5360. 1)在人机智能系统的建模方面，基于目前的 [6]BENDERIUS O.BERGER C.LUNDGREN V M.The 物理人机交互模型相关研究，需要建立面向不同 best rated human-machine interface design for autonom- ous vehicles in the 2016 grand cooperative driving chal- 人机耦合度描述的人机混合模型，形成不同人机 lenge[J].IEEE transactions on intelligent transportation 协同任务的系统建模理论与方法： systems,2018,19(4):1302-1307. 2)在人机智能系统感知构架方面，需要加强 [7]STRICKLAND M,FAINEKOS G,AMOR H B.Deep pre- 对人在环路的感知方法研究，通过情境感知、知 dictive models for collision risk assessment in autonomous 识推理和行为理解等方式，从感知交互层面提升 driving[C]//Proceedings of 2018 IEEE International Con- 人机的互理解能力： ference on Robotics and Automation.Brisbane,Australia, 3)在人机智能系统认知和学习方面，基于人 2018:4685-4692. 在回路的混合智能增强方法，应当融入人类认 [8]雷永林，朱一凡，谭跃进，等.模型驱动的复杂人机系统 知、直觉和经验，提升人机系统的认知能力： 过程建模仿真方法[.系统工程与电子技术，2016， 4)在人机智能系统决策和控制方面，应当实 38(1):223-231 现基于人机互动的双向交互和协同决策机制，并 LEI Yonglin,ZHU Yifan,TAN Yuejin,et al.Model driv- 通过加入物理和认知反馈机制，构建人在回路的 en process modeling and simulation of complex man-ma- 人机互动机制，实现真正的人机互融。 chine systems[J].Systems engineering and electronics, 2016.38(1):223-231 总之，机器人在实际应用场景中，要实现真正 [9]TRAN H T,CHENG Hong,LIN Xichuan,et al.The rela- 的“无人时代”还需要相当长的一段时间，其中重 tionship between physical human-exoskeleton interaction 要的发展趋势就是人机共融。而人机智能系统作 and dynamic factors:using a leamning approach for control 为人机共融的机器人系统，将是未来机器人技术 applications[].Science China information sciences,2014, 发展的重要方向之一，具有重要的研究价值。 57(121-13. 参考文献： [10]HADDADIN S,CROFT E.Physical human-robot interac- tion[M]//SICILIANO B,KHATIB O.Springer Hand- [1]AMOR H B,NEUMANN G,KAMTHE S,et al.Interac- book of Robotics.Cham:Springer,2016. tion primitives for human-robot cooperation tasks[Cl//Pro- [11]SHIROTA C,TUCKER MR,LAMBERCY O,et al.Kin- ceedings of 2014 IEEE International Conference on Robot- ematic effects of inertia and friction added by a robotic ics and Automation.Hong Kong,China,2014:2831-2837. knee exoskeleton after prolonged walking[C]//Proceed- [2]SASAKI K,EGUCHI Y,SUZUKI K.Step-climbing ings of 2017 International Conference on Rehabilitation wheelchair with lever propelled rotary legs[C]//Proceed- Robotics.London,UK,2017:430-434. ings of 2015 IEEE/RSJ International Conference on Intelli- [12]MALLAT R,VINCENT B,HUO Weiguang,et al.Hu- gent Robots and Systems.Hamburg,Germany,2015: man-exoskeleton system dynamics identification using af- 6354-6359 fordable sensors[Cl//Proceedings of 2018 IEEE Interna- [3]SU Hang,YANG Chenguang,FERRIGNO G,et al.Im- tional Conference on Robotics and Automation.Brisbane, proved human-robot collaborative control of redundant ro- Australia.2018:6759-6765. bot for teleoperated minimally invasive surgery[J].IEEE [13]GHAN J,KAZEROONI H.System identification for the robotics and automation letters,2019,4(2):1447-1453. Berkeley Lower Extremity Exoskeleton (BLEEX)[C]// [4]ROZO L,BRUNO D,CALINON S,et al.Learning optim- Proceedings of 2006 IEEE International Conference on al controllers in human-robot cooperative transportation Robotics and Automation.Orlando,USA,2006: tasks with position and force constraints[C]//Proceedings 3477-3484 of 2015 IEEE/RSJ International Conference on Intelligent [14]GHAN J,STEGER R,KAZEROONI H.Control and sys- Robots and Systems.Hamburg,Germany,2015: tem identification for the Berkeley Lower Extremity Exo- 10241030. skeleton (BLEEX)[J].Advanced robotics,2006,20(9): [5]HUANG Rui,CHENG Hong,GUO Hongliang,et al. 989-1014. Learning cooperative primitives with physical human-ro- [15]TRAN H J,CHENG Hong,DUONG M K,et al.Fuzzy-

术都分别得到了长足的进步和发展，但是结合两 者优势的人机智能技术以及面向行业领域应用的 典型人机智能系统，仍然处于发展的初级阶段， 面临诸多的技术挑战，具体有如下 4 个方面： 1) 在人机智能系统的建模方面，基于目前的 物理人机交互模型相关研究，需要建立面向不同 人机耦合度描述的人机混合模型，形成不同人机 协同任务的系统建模理论与方法； 2) 在人机智能系统感知构架方面，需要加强 对人在环路的感知方法研究，通过情境感知、知 识推理和行为理解等方式，从感知交互层面提升 人机的互理解能力； 3) 在人机智能系统认知和学习方面，基于人 在回路的混合智能增强方法，应当融入人类认 知、直觉和经验，提升人机系统的认知能力； 4) 在人机智能系统决策和控制方面，应当实 现基于人机互动的双向交互和协同决策机制，并 通过加入物理和认知反馈机制，构建人在回路的 人机互动机制，实现真正的人机互融。 总之，机器人在实际应用场景中，要实现真正 的“无人时代”还需要相当长的一段时间，其中重 要的发展趋势就是人机共融。而人机智能系统作 为人机共融的机器人系统，将是未来机器人技术 发展的重要方向之一，具有重要的研究价值。 参考文献： AMOR H B, NEUMANN G, KAMTHE S, et al. Interac￾tion primitives for human-robot cooperation tasks[C]//Pro￾ceedings of 2014 IEEE International Conference on Robot￾ics and Automation. Hong Kong, China, 2014: 2831–2837. [1] SASAKI K, EGUCHI Y, SUZUKI K. Step-climbing wheelchair with lever propelled rotary legs[C]//Proceed￾ings of 2015 IEEE/RSJ International Conference on Intelli￾gent Robots and Systems. Hamburg, Germany, 2015: 6354–6359. [2] SU Hang, YANG Chenguang, FERRIGNO G, et al. Im￾proved human-robot collaborative control of redundant ro￾bot for teleoperated minimally invasive surgery[J]. IEEE robotics and automation letters, 2019, 4(2): 1447–1453. [3] ROZO L, BRUNO D, CALINON S, et al. Learning optim￾al controllers in human-robot cooperative transportation tasks with position and force constraints[C]//Proceedings of 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems. Hamburg, Germany, 2015: 1024–1030. [4] HUANG Rui, CHENG Hong, GUO Hongliang, et al. Learning cooperative primitives with physical human-ro- [5] bot interaction for a human-powered lower exoskeleton[C]// Proceedings of 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems. Daejeon, South Korea, 2016: 5355–5360. BENDERIUS O, BERGER C, LUNDGREN V M. The best rated human-machine interface design for autonom￾ous vehicles in the 2016 grand cooperative driving chal￾lenge[J]. IEEE transactions on intelligent transportation systems, 2018, 19(4): 1302–1307. [6] STRICKLAND M, FAINEKOS G, AMOR H B. Deep pre￾dictive models for collision risk assessment in autonomous driving[C]//Proceedings of 2018 IEEE International Con￾ference on Robotics and Automation. Brisbane, Australia, 2018: 4685–4692. [7] 雷永林, 朱一凡, 谭跃进, 等. 模型驱动的复杂人机系统 过程建模仿真方法 [J]. 系统工程与电子技术, 2016, 38(1): 223–231. LEI Yonglin, ZHU Yifan, TAN Yuejin, et al. Model driv￾en process modeling and simulation of complex man-ma￾chine systems[J]. Systems engineering and electronics, 2016, 38(1): 223–231. [8] TRAN H T, CHENG Hong, LIN Xichuan, et al. The rela￾tionship between physical human- exoskeleton interaction and dynamic factors: using a learning approach for control applications[J]. Science China information sciences, 2014, 57(12): 1–13. [9] HADDADIN S, CROFT E. Physical human-robot interac￾tion[M]//SICILIANO B, KHATIB O. Springer Hand￾book of Robotics. Cham: Springer, 2016. [10] SHIROTA C, TUCKER M R, LAMBERCY O, et al. Kin￾ematic effects of inertia and friction added by a robotic knee exoskeleton after prolonged walking[C]//Proceed￾ings of 2017 International Conference on Rehabilitation Robotics. London, UK, 2017: 430–434. [11] MALLAT R, VINCENT B, HUO Weiguang, et al. Hu￾man-exoskeleton system dynamics identification using af￾fordable sensors[C]//Proceedings of 2018 IEEE Interna￾tional Conference on Robotics and Automation. Brisbane, Australia, 2018: 6759–6765. [12] GHAN J, KAZEROONI H. System identification for the Berkeley Lower Extremity Exoskeleton (BLEEX)[C]// Proceedings of 2006 IEEE International Conference on Robotics and Automation. Orlando, USA, 2006: 3477–3484. [13] GHAN J, STEGER R, KAZEROONI H. Control and sys￾tem identification for the Berkeley Lower Extremity Exo￾skeleton (BLEEX)[J]. Advanced robotics, 2006, 20(9): 989–1014. [14] [15] TRAN H J, CHENG Hong, DUONG M K, et al. Fuzzy- ·394· 智 能 系 统 学 报 第 15 卷

第2期 程洪，等：人机智能技术及系统研究进展综述 ·395· based impedance regulation for control of the coupled hu- ton,USA,2003:1648-1653 man-exoskeleton system[C]//Proceedings of 2014 IEEE [25]LEE S,SANKAI Y.Power assist control for walking aid International Conference on Robotics and Biomimetics. with HAL-3 based on EMG and impedance adjustment Bali.Indonesia.2014:986-992. around knee joint[Cl//Proceedings of IEEE/RSJ Interna- [16]DUONG M K,CHENG Hong,TRAN H T,et al.Minim- tional Conference on Intelligent Robots and Systems. izing human-exoskeleton interaction force using com- Lausanne,Switzerland,2002:1499-1504. pensation for dynamic uncertainty error with adaptive [26]HAMAYA M.MATSUBARA T,NODA T.et al.Learn- RBF network[J].Journal of intelligent robotic systems, ing assistive strategies for exoskeleton robots from user- 2016,82(3-4):413-433. robot physical interaction.Pattern recognition letters, [17]TRAN H T.CHENG Hong,RUI Huang,et al.Evaluation 2017.99:67-76. of a fuzzy-based impedance control strategy on a powered [27]WANG Can,WU Xinyu,WANG Zhouyang,et al.Imple- lower exoskeleton[J].International journal of social robot- mentation of a brain-computer interface on a lower-limb ics,2016,8(1):103-123 exoskeleton[J].IEEE access,2018,6:38524-38534. [18]王启宁，郑恩吴，陈保君，等.面向人机融合的智能动力 [28]MA Xunju,LONG Xingguo,YAN Zefeng,et al.Real- 下肢假肢研究现状与挑战[J】,自动化学报，2016， time active control of a lower limb exoskeleton based on 42(12):1780-1793 sEMG[Cl//Proceedings of 2019 IEEE/ASME Internation- WANG Qining,ZHENG Enhao,CHEN Baojun,et al.Re- al Conference on Advanced Intelligent Mechatronics cent progress and challenges of robotic lower-limb pros- Hong Kong.China,2019:589-594. theses for human-robot integration[J].Acta automatica [29]张毅，代凌凌，罗元.基于SEMG控制的智能轮椅无障 sinica.2016,42(12):1780-1793 碍人机交互系统几.华中科技大学学报（自然科学版） [19]EILENBERG M F,GEYER H,HERR H.Control of a 2011,39(S2264-267,282. powered ankle-foot prosthesis based on a neuromuscular ZHANG Yi,DAI Lingling,LUO Yuan.Information ac- model[J].IEEE transactions on neural systems and rehab- cessibility human-machine interaction system of intelli- ilitation engineering,2010,18(2):164-173. gent wheelchair based on SEMG[J].Journal of Huazhong [20]WEN Yue,SI J,GAO Xiang,et al.A new powered lower University of Science and Technology (nature science limb prosthesis control framework based on adaptive dy- edition),2011,39S2:264267,282. namic programming[J].IEEE transactions on neural net- [30]CIPRIANI C.ZACCONE F,MICERA S,et al.On the works and learning systems,2017,28(9):2215-2220 shared control of an EMG-controlled prosthetic hand: [21]俞凯，陈露，陈博，等.任务型人机对话系统中的认知技 analysis of user-prosthesis interaction[J].IEEE transac- 术-概念、进展及其未来.计算机学报，2015,38(12)： tions on robotics,2008,24(1):170-183. 2333-2348. [31]VASYLKIV Y,NESHATI A.SAKAMOTO Y,et al. YU Kai,CHEN Lu.CHEN Bo,et al.Cognitive techno- Smart home interactions for people with reduced hand logy in task-oriented dialogue systems:concepts,ad- mobility using subtle EMG-signal gestures[M]//LAU F, vances and future[J].Chinese journal of computers,2015, BARTLE-CLAR J A,BLISS G,et al.Improving Usabil- 38(12):2333-2348. ity,Safety and Patient Outcomes with Health Information [22]WU Huiyue,WANG Yu,QIU Jiali,et al.User-defined Technology.Amsterdam:IOS Press,2019:436-443. gesture interaction for immersive VR shopping applica- [32]ZENG Hong,WANG Yanxin,WU Changcheng,et al. tions[J].Behaviour information technology,2018, Closed-loop hybrid gaze brain-machine interface based 38(7):726-741 robotic arm control with augmented reality feedback[J]. [23]CASTRO-VARGAS J A,ZAPATA-IMPATA B,GIL P, Frontiers in neurorobotics,2017,11:60. et al.3DCNN performance in hand gesture recognition [33]YANG Chenguang,CHANG Sai,LIANG Peidong,et al. applied to robot arm interaction[C]//Proceedings of the Teleoperated robot writing using EMG signals[Cl//Pro- 8th International Conference on Pattern Recognition Ap- ceedings of 2015 IEEE International Conference on In- plications and Methods.Prague,Czech Republic,2019: formation and Automation.Lijiang,China,2015: 802-806 2264-2269 [24]KAWAMOTO H,LEE S,KANBE S,et al.Power assist [34]雷煜，童莉，李建新，等.基于脑功能磁共振影像的视觉 method for HAL-3 using EMG-based feedback 信息解读技术[].计算机应用研究，2013,30(6)： controller[C]//Proceedings of 2003 IEEE International 1611-1616. Conference on Systems,Man and Cybernetics.Washing- LEI Yu,TONG Li,LI Jianxin,et al.Functional magnetic

based impedance regulation for control of the coupled hu￾man-exoskeleton system[C]//Proceedings of 2014 IEEE International Conference on Robotics and Biomimetics. Bali, Indonesia, 2014: 986–992. DUONG M K, CHENG Hong, TRAN H T, et al. Minim￾izing human-exoskeleton interaction force using com￾pensation for dynamic uncertainty error with adaptive RBF network[J]. Journal of intelligent & robotic systems, 2016, 82(3-4): 413–433. [16] TRAN H T, CHENG Hong, RUI Huang, et al. Evaluation of a fuzzy-based impedance control strategy on a powered lower exoskeleton[J]. International journal of social robot￾ics, 2016, 8(1): 103–123. [17] 王启宁, 郑恩昊, 陈保君, 等. 面向人机融合的智能动力 下肢假肢研究现状与挑战 [J]. 自动化学报, 2016, 42(12): 1780–1793. WANG Qining, ZHENG Enhao, CHEN Baojun, et al. Re￾cent progress and challenges of robotic lower-limb pros￾theses for human-robot integration[J]. Acta automatica sinica, 2016, 42(12): 1780–1793. [18] EILENBERG M F, GEYER H, HERR H. Control of a powered ankle–foot prosthesis based on a neuromuscular model[J]. IEEE transactions on neural systems and rehab￾ilitation engineering, 2010, 18(2): 164–173. [19] WEN Yue, SI J, GAO Xiang, et al. A new powered lower limb prosthesis control framework based on adaptive dy￾namic programming[J]. IEEE transactions on neural net￾works and learning systems, 2017, 28(9): 2215–2220. [20] 俞凯, 陈露, 陈博, 等. 任务型人机对话系统中的认知技 术 – 概念、进展及其未来 [J]. 计算机学报, 2015, 38(12): 2333–2348. YU Kai, CHEN Lu, CHEN Bo, et al. Cognitive techno￾logy in task-oriented dialogue systems: concepts, ad￾vances and future[J]. Chinese journal of computers, 2015, 38(12): 2333–2348. [21] WU Huiyue, WANG Yu, QIU Jiali, et al. User-defined gesture interaction for immersive VR shopping applica￾tions[J]. Behaviour & information technology, 2018, 38(7): 726–741. [22] CASTRO-VARGAS J A, ZAPATA-IMPATA B, GIL P, et al. 3DCNN performance in hand gesture recognition applied to robot arm interaction[C]//Proceedings of the 8th International Conference on Pattern Recognition Ap￾plications and Methods. Prague, Czech Republic, 2019: 802–806. [23] KAWAMOTO H, LEE S, KANBE S, et al. Power assist method for HAL-3 using EMG-based feedback controller[C]//Proceedings of 2003 IEEE International Conference on Systems, Man and Cybernetics. Washing- [24] ton, USA, 2003: 1648–1653. LEE S, SANKAI Y. Power assist control for walking aid with HAL-3 based on EMG and impedance adjustment around knee joint[C]//Proceedings of IEEE/RSJ Interna￾tional Conference on Intelligent Robots and Systems. Lausanne, Switzerland, 2002: 1499–1504. [25] HAMAYA M, MATSUBARA T, NODA T, et al. Learn￾ing assistive strategies for exoskeleton robots from user￾robot physical interaction[J]. Pattern recognition letters, 2017, 99: 67–76. [26] WANG Can, WU Xinyu, WANG Zhouyang, et al. Imple￾mentation of a brain-computer interface on a lower-limb exoskeleton[J]. IEEE access, 2018, 6: 38524–38534. [27] MA Xunju, LONG Xingguo, YAN Zefeng, et al. Real￾time active control of a lower limb exoskeleton based on sEMG[C]//Proceedings of 2019 IEEE/ASME Internation￾al Conference on Advanced Intelligent Mechatronics. Hong Kong, China, 2019: 589–594. [28] 张毅, 代凌凌, 罗元. 基于 SEMG 控制的智能轮椅无障 碍人机交互系统 [J]. 华中科技大学学报(自然科学版), 2011, 39(S2): 264–267, 282. ZHANG Yi, DAI Lingling, LUO Yuan. Information ac￾cessibility human-machine interaction system of intelli￾gent wheelchair based on SEMG[J]. Journal of Huazhong University of Science and Technology (nature science edition), 2011, 39(S2): 264–267, 282. [29] CIPRIANI C, ZACCONE F, MICERA S, et al. On the shared control of an EMG-controlled prosthetic hand: analysis of user–prosthesis interaction[J]. IEEE transac￾tions on robotics, 2008, 24(1): 170–183. [30] VASYLKIV Y, NESHATI A, SAKAMOTO Y, et al. Smart home interactions for people with reduced hand mobility using subtle EMG-signal gestures[M]//LAU F, BARTLE-CLAR J A, BLISS G, et al. Improving Usabil￾ity, Safety and Patient Outcomes with Health Information Technology. Amsterdam: IOS Press, 2019: 436–443. [31] ZENG Hong, WANG Yanxin, WU Changcheng, et al. Closed-loop hybrid gaze brain-machine interface based robotic arm control with augmented reality feedback[J]. Frontiers in neurorobotics, 2017, 11: 60. [32] YANG Chenguang, CHANG Sai, LIANG Peidong, et al. Teleoperated robot writing using EMG signals[C]//Pro￾ceedings of 2015 IEEE International Conference on In￾formation and Automation. Lijiang, China, 2015: 2264–2269. [33] 雷煜, 童莉, 李建新, 等. 基于脑功能磁共振影像的视觉 信息解读技术 [J]. 计算机应用研究, 2013, 30(6): 1611–1616. LEI Yu, TONG Li, LI Jianxin, et al. Functional magnetic [34] 第 2 期 程洪，等：人机智能技术及系统研究进展综述 ·395·