中华物理医学与康复杂志2021年1月第43卷第1期Chin J Phys Med Rehabil,January2021,Vol.43,No.1 ·85· 的优缺点以及适用人群对外骨骼感知系统进行合理规划并对 略将人机交互过程中产生脑电信号、关节角度信息、足底压力 多源、高通量、时变、非线性的多模态信息〔30进行融合分析， 信息、肌电信号等信息进行数据融合，使人机交互系统能充分 从而获取人机状态或运动趋势，充分提高传感器的利用效率 发挥生物信号的全局性、主观性、实时性以及物理信号的持续 和人机耦合协同性能。 性、稳健性，别除它们之间的冗余信息，并扩展多类信号之间 产生的协同信息，以此实现外骨骼机器人自然、安全、高效的 多模态信号感知系统 仿人步态【)。因此，多模态信息融合感知系统可以为以后的 人机交互控制的关键前提是精确识别出人体运动意图。 下肢外骨酪康复机器人的人机交互方式提供一种更加人性 基于人体运动意图的交互控制利用采集得到的人体生物电信 化、个性化的思路，保障控制决策系统的及时性和连续性，也 号直接控制康复机器人，或者通过人机系统动力学模型及力 使得外骨酪机器人更加智能化。 位传感器测量值计算得到人体主动施加力矩控制康复机器 参考文献 人。但是，单一的感知方法并不能有效识别人体运动意图，外 骨骼系统存在非线性、摩擦、不确定性干扰等因素，且会受自 [1]Zoss AB,Kazerooni H,Chu A.Biomechanical design of the Berkeley 身因素的影响。多模态信号感知系统采用多信息融合的感知 lower extremity exoskeleton BLEEX)[J].IEEE ASME Trans Mecha- 方法融合多个人机接口的信息，克服自身的不足，充分发挥它 ton,2006,11(2):128-138.D0I:10.1109/TECH.2006.871087 们之间的互补作用，将人体的运动控制信息准确传递给外骨 [2]Walsh CJ,Endo K,Herr H.A quasi-passive leg exoskeleton for load- 骼系统，并将外骨骼的运动信息实时反馈给穿戴者，使得超 carrying augmentation[J].Int J Humanoid Robot,2007,4(3):487- 506.D0L:10.1142/S0219843607001126. 前、高精度和高随意度的主动式控制模式代替传统的单一、确 [3]Nathalia C,Marcela M,Catalina G,et al.Social human-robot interac- 定的人体步态的被动式控制模式，从而实现人机系统协调 tion for gait rehabilitation[J].IEEE Trans Neural Syst Rehabil Eng, 控制。 2020,28(6):1299-1307.D0I:10.1109/TNSRE.2020.2987428. 多模态信号感知系统的研究可以提高状态切换决策的安 [4]Benson I,Hart K,Tussler D,et al.Lower-limb exoskeletons for indi- 全性和稳健性。目前，国内外越来越多的学者开始研究多模 viduals with chronic spinal cord injury:Findings from a feasibility 态感知系统，他们将多种信号相结合，来获取人机运动信息， study[J].Clin Rehabil,2016,30(1):253-254.D0L:10.1177/ 并取得了较好的效果。如Leeb等[3]将EMG和EEG同时用 0269215515575166. 于外骨骼意图识别，这种方式使得意图识别精确率达到91%， [5]Swank C.Sikka S,Driver S,et al.Feasibility of integrating robotic 且抗疲劳能力更强，与单一生物信号相比，两种信号的结合可 exoskeleton gait training in inpatient rehabilitation.[J].Disabil Reha- 以更好地为人机系统提供辅助。刘笃信等[]结合物理传感 bil,2020,15(4):409-417.D01:10.1080/17483107.2019. 1587014. 器和脑-机接口，将足底压力传感器和关节角度传感器用于人 [6]Tsurushima H,Mizukami M,Yoshikawa,K,et al.Effectiveness of a 机运动状态识别，脑机接口识别运动模式切换，这种融合策略 walking program involving the hybrid assistive limb robotic exoskeleton 使得人机系统平均任务正常完成率可达82.2%.，在保证运动 suit for improving walking ability in stroke patients:protocol for a ran- 过程安全的同时，确保运动状态切换准确灵活进行，使得整个 domized controlled trial[]].JMIR Res Protoc,2019,8(10):e14001. 运动过程灵活可靠。王海莲等[2]提出了基于三种感知方法 D0I:10.2196/14001. 的混合控制策略，即脑电信号超前性完成人体动作方向的识 [7]Takahashi CD,Der-Yeghiaian L,Le V,et al,Robot-based hand mo- 别：表面肌电信号识别下肢动作模式：光纤动作捕捉系统实时 tor therapy after stroke[J].Brain,2008,131(2):425-437.DOI:10. 反馈人体运动位置和姿态，此方式可以精确判别出某种特定 1093/brain/awm311. 的动作模式，并应用于外骨骼系统。 [8]梁旭，王卫群，侯增广，等.康复机器人的人机交互控制方法[J].中 总之，通过上述对多模态人机交互的分析可知，物理传感 国科学：信息科学，2018.48(1)24-46.D0l:10.1360/N112017- 00072. 器实时检测和感知人体关节角度变化、角速度变化以及人机 [9]Benabid AL,Costecalde T,Eliseyev A,et al.An exoskeleton con- 交互力信息，生物信号超前而准确的识别和预测运动意图，可 trolled by an epidural wireless brain-machine interface in a tetraplegic 克服单一信号的不足，紧密结合物理信号和生物信号的应用 patient:a proof-of-concept demonstration[J.Lancet Neurol,2019.18 特点，优化人机交互策略，对人体运动信息进行更准确的融 (12):1112-1122.D01:10.1016/S1474-4422(19)30321-7. 合，真正实现以人的主观意图控制外骨骼机器人系统完成预 [10]刘笃信.下肢外骨骼机器人多模融合控制策略研究[D].中国科学 定动作。 院大学（中国科学院深圳先进技术研究院），2018. [11]岳敬伟脑机协调控制理论与关键技术研究[D].国防科技大学， 总结 2015. 准确可靠地识别出人机交互系统中的人体运动意图是实 [12]范渊杰基于MG与交互力等多源信号融合的下肢外骨骼康复 机器人及其临床实验研究[D].上海交通大学，2014. 现人机交互柔顺控制的关键，也是提高患者康复训练效果的 [13]Li N,Yan L,Qian H,et al.Review on lower extremity exoskeleton 前提。该结果提示，在下肢外骨骼机器人控制过程中，使用单 robot[J].Open Autom Control Syst J,2015,7(1):441-453.DOI: 一信号源的人-机交互信息，不能准确传达人机交互过程中的 10.2174/1874444301507010441. 人机系统的运动意图、运动状态等信息，无法有效保障人机系 [14]Ma Y,Wu X,Wang C,et al.Gait phase classification and assist 统协同的准确性、全局性与实时性等。而多模态信息融合策 torque prediction for a lower limb exoskeleton eystem using kernel re-的优缺点以及适用人群对外骨骼感知系统进行合理规划并对 多源、高通量、时变、非线性的多模态信息[３０] 进行融合分析ꎬ 从而获取人机状态或运动趋势ꎬ充分提高传感器的利用效率 和人机耦合协同性能ꎮ 多模态信号感知系统 人机交互控制的关键前提是精确识别出人体运动意图ꎮ 基于人体运动意图的交互控制利用采集得到的人体生物电信 号直接控制康复机器人ꎬ或者通过人机系统动力学模型及力 位传感器测量值计算得到人体主动施加力矩控制康复机器 人ꎮ 但是ꎬ单一的感知方法并不能有效识别人体运动意图ꎬ外 骨骼系统存在非线性、摩擦、不确定性干扰等因素ꎬ且会受自 身因素的影响ꎮ 多模态信号感知系统采用多信息融合的感知 方法融合多个人机接口的信息ꎬ克服自身的不足ꎬ充分发挥它 们之间的互补作用ꎬ将人体的运动控制信息准确传递给外骨 骼系统ꎬ并将外骨骼的运动信息实时反馈给穿戴者ꎬ使得超 前、高精度和高随意度的主动式控制模式代替传统的单一、确 定的人体步态的被动式控制模式ꎬ从而实现人机系统协调 控制ꎮ 多模态信号感知系统的研究可以提高状态切换决策的安 全性和稳健性ꎮ 目前ꎬ国内外越来越多的学者开始研究多模 态感知系统ꎬ他们将多种信号相结合ꎬ来获取人机运动信息ꎬ 并取得了较好的效果ꎮ 如 Ｌｅｅｂ 等[３１] 将 ＥＭＧ 和 ＥＥＧ 同时用 于外骨骼意图识别ꎬ这种方式使得意图识别精确率达到 ９１％ꎬ 且抗疲劳能力更强ꎬ与单一生物信号相比ꎬ两种信号的结合可 以更好地为人机系统提供辅助ꎮ 刘笃信等[１０] 结合物理传感 器和脑￣机接口ꎬ将足底压力传感器和关节角度传感器用于人 机运动状态识别ꎬ脑￣机接口识别运动模式切换ꎬ这种融合策略 使得人机系统平均任务正常完成率可达 ８２.２％ꎬ在保证运动 过程安全的同时ꎬ确保运动状态切换准确灵活进行ꎬ使得整个 运动过程灵活可靠ꎮ 王海莲等[３２] 提出了基于三种感知方法 的混合控制策略ꎬ即脑电信号超前性完成人体动作方向的识 别ꎻ表面肌电信号识别下肢动作模式ꎻ光纤动作捕捉系统实时 反馈人体运动位置和姿态ꎬ此方式可以精确判别出某种特定 的动作模式ꎬ并应用于外骨骼系统ꎮ 总之ꎬ通过上述对多模态人机交互的分析可知ꎬ物理传感 器实时检测和感知人体关节角度变化、角速度变化以及人机 交互力信息ꎬ生物信号超前而准确的识别和预测运动意图ꎬ可 克服单一信号的不足ꎬ紧密结合物理信号和生物信号的应用 特点ꎬ优化人机交互策略ꎬ对人体运动信息进行更准确的融 合ꎬ真正实现以人的主观意图控制外骨骼机器人系统完成预 定动作ꎮ 总结 准确可靠地识别出人机交互系统中的人体运动意图是实 现人机交互柔顺控制的关键ꎬ也是提高患者康复训练效果的 前提ꎮ 该结果提示ꎬ在下肢外骨骼机器人控制过程中ꎬ使用单 一信号源的人￣机交互信息ꎬ不能准确传达人机交互过程中的 人机系统的运动意图、运动状态等信息ꎬ无法有效保障人机系 统协同的准确性、全局性与实时性等ꎮ 而多模态信息融合策 略将人机交互过程中产生脑电信号、关节角度信息、足底压力 信息、肌电信号等信息进行数据融合ꎬ使人机交互系统能充分 发挥生物信号的全局性、主观性、实时性以及物理信号的持续 性、稳健性ꎬ剔除它们之间的冗余信息ꎬ并扩展多类信号之间 产生的协同信息ꎬ以此实现外骨骼机器人自然、安全、高效的 仿人步态[３３] ꎮ 因此ꎬ多模态信息融合感知系统可以为以后的 下肢外骨骼康复机器人的人机交互方式提供一种更加人性 化、个性化的思路ꎬ保障控制决策系统的及时性和连续性ꎬ也 使得外骨骼机器人更加智能化ꎮ 参 考 文 献 [１] Ｚｏｓｓ ＡＢꎬ Ｋａｚｅｒｏｏｎｉ Ｈꎬ Ｃｈｕ Ａ. Ｂｉｏｍｅｃｈａｎｉｃａｌ ｄｅｓｉｇｎ ｏｆ ｔｈｅ Ｂｅｒｋｅｌｅｙ ｌｏｗｅｒ ｅｘｔｒｅｍｉｔｙ ｅｘｏｓｋｅｌｅｔｏｎ (ＢＬＥＥＸ)[Ｊ]. ＩＥＥＥ ＡＳＭＥ Ｔｒａｎｓ Ｍｅｃｈａ￣ ｔｒｏｎꎬ ２００６ꎬ １１(２): １２８￣１３８. ＤＯＩ: １０. １１０９ / ＴＭＥＣＨ.２００６.８７１０８７. [２] Ｗａｌｓｈ ＣＪꎬ Ｅｎｄｏ Ｋꎬ Ｈｅｒｒ Ｈ. Ａ ｑｕａｓｉ￣ｐａｓｓｉｖｅ ｌｅｇ ｅｘｏｓｋｅｌｅｔｏｎ ｆｏｒ ｌｏａｄ￣ ｃａｒｒｙｉｎｇ ａｕｇｍｅｎｔａｔｉｏｎ[Ｊ]. Ｉｎｔ Ｊ Ｈｕｍａｎｏｉｄ Ｒｏｂｏｔꎬ ２００７ꎬ ４(３): ４８７￣ ５０６. ＤＯＩ: １０.１１４２ / Ｓ０２１９８４３６０７００１１２６. [３] Ｎａｔｈａｌｉａ Ｃꎬ Ｍａｒｃｅｌａ Ｍꎬ Ｃａｔａｌｉｎａ Ｇꎬ ｅｔ ａｌ. Ｓｏｃｉａｌ ｈｕｍａｎ￣ｒｏｂｏｔ ｉｎｔｅｒａｃ￣ ｔｉｏｎ ｆｏｒ ｇａｉｔ ｒｅｈａｂｉｌｉｔａｔｉｏｎ[ Ｊ]. ＩＥＥＥ Ｔｒａｎｓ Ｎｅｕｒａｌ Ｓｙｓｔ Ｒｅｈａｂｉｌ Ｅｎｇꎬ ２０２０ꎬ２８(６):１２９９￣１３０７. ＤＯＩ: １０. １１０９ / ＴＮＳＲＥ.２０２０.２９８７４２８. [４] Ｂｅｎｓｏｎ Ｉꎬ Ｈａｒｔ Ｋꎬ Ｔｕｓｓｌｅｒ Ｄꎬ ｅｔ ａｌ. Ｌｏｗｅｒ￣ｌｉｍｂ ｅｘｏｓｋｅｌｅｔｏｎｓ ｆｏｒ ｉｎｄｉ￣ ｖｉｄｕａｌｓ ｗｉｔｈ ｃｈｒｏｎｉｃ ｓｐｉｎａｌ ｃｏｒｄ ｉｎｊｕｒｙ: Ｆｉｎｄｉｎｇｓ ｆｒｏｍ ａ ｆｅａｓｉｂｉｌｉｔｙ ｓｔｕｄｙ[Ｊ]. Ｃｌｉｎ Ｒｅｈａｂｉｌꎬ ２０１６ꎬ ３０ ( １): ２５３￣２５４. ＤＯＩ: １０. １１７７ / ０２６９２１５５１５５７５１６６. [５] Ｓｗａｎｋ Ｃꎬ Ｓｉｋｋａ Ｓꎬ Ｄｒｉｖｅｒ Ｓꎬ ｅｔ ａｌ. Ｆｅａｓｉｂｉｌｉｔｙ ｏｆ ｉｎｔｅｇｒａｔｉｎｇ ｒｏｂｏｔｉｃ ｅｘｏｓｋｅｌｅｔｏｎ ｇａｉｔ ｔｒａｉｎｉｎｇ ｉｎ ｉｎｐａｔｉｅｎｔ ｒｅｈａｂｉｌｉｔａｔｉｏｎ. [Ｊ]. Ｄｉｓａｂｉｌ Ｒｅｈａ￣ ｂｉｌꎬ ２０２０ꎬ １５ ( ４ ): ４０９￣４１７. ＤＯＩ: １０. １０８０ / １７４８３１０７. ２０１９. １５８７０１４. [６] Ｔｓｕｒｕｓｈｉｍａ Ｈꎬ Ｍｉｚｕｋａｍｉ Ｍꎬ Ｙｏｓｈｉｋａｗａꎬ Ｋꎬ ｅｔ ａｌ. Ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ａ ｗａｌｋｉｎｇ ｐｒｏｇｒａｍ ｉｎｖｏｌｖｉｎｇ ｔｈｅ ｈｙｂｒｉｄ ａｓｓｉｓｔｉｖｅ ｌｉｍｂ ｒｏｂｏｔｉｃ ｅｘｏｓｋｅｌｅｔｏｎ ｓｕｉｔ ｆｏｒ ｉｍｐｒｏｖｉｎｇ ｗａｌｋｉｎｇ ａｂｉｌｉｔｙ ｉｎ ｓｔｒｏｋｅ ｐａｔｉｅｎｔｓ: ｐｒｏｔｏｃｏｌ ｆｏｒ ａ ｒａｎ￣ ｄｏｍｉｚｅｄ ｃｏｎｔｒｏｌｌｅｄ ｔｒｉａｌ[Ｊ]. ＪＭＩＲ Ｒｅｓ Ｐｒｏｔｏｃꎬ２０１９ꎬ８(１０): ｅ１４００１. ＤＯＩ: １０.２１９６ / １４００１. [７] Ｔａｋａｈａｓｈｉ ＣＤꎬ Ｄｅｒ￣Ｙｅｇｈｉａｉａｎ Ｌꎬ Ｌｅ Ｖꎬ ｅｔ ａｌꎬ Ｒｏｂｏｔ￣ｂａｓｅｄ ｈａｎｄ ｍｏ￣ ｔｏｒ ｔｈｅｒａｐｙ ａｆｔｅｒ ｓｔｒｏｋｅ[Ｊ]. Ｂｒａｉｎꎬ ２００８ꎬ１３１(２): ４２５￣４３７. ＤＯＩ: １０. １０９３ / ｂｒａｉｎ / ａｗｍ３１１. [８] 梁旭ꎬ王卫群ꎬ侯增广ꎬ等.康复机器人的人机交互控制方法[ Ｊ].中 国科学:信息科学ꎬ ２０１８ꎬ４８ ( １) ２４￣４６. ＤＯＩ: １０. １３６０ / Ｎ１１２０１７￣ ０００７２. [９] Ｂｅｎａｂｉｄ ＡＬꎬ Ｃｏｓｔｅｃａｌｄｅ Ｔꎬ Ｅｌｉｓｅｙｅｖ Ａꎬ ｅｔ ａｌ. Ａｎ ｅｘｏｓｋｅｌｅｔｏｎ ｃｏｎ￣ ｔｒｏｌｌｅｄ ｂｙ ａｎ ｅｐｉｄｕｒａｌ ｗｉｒｅｌｅｓｓ ｂｒａｉｎ￣ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ ｉｎ ａ ｔｅｔｒａｐｌｅｇｉｃ ｐａｔｉｅｎｔ: ａ ｐｒｏｏｆ￣ｏｆ￣ｃｏｎｃｅｐｔ ｄｅｍｏｎｓｔｒａｔｉｏｎ[Ｊ]. Ｌａｎｃｅｔ Ｎｅｕｒｏｌꎬ２０１９.１８ (１２):１１１２￣１１２２. ＤＯＩ: １０.１０１６ / Ｓ１４７４￣４４２２(１９)３０３２１￣７. [１０] 刘笃信.下肢外骨骼机器人多模融合控制策略研究[Ｄ].中国科学 院大学(中国科学院深圳先进技术研究院)ꎬ ２０１８. [１１] 岳敬伟.脑机协调控制理论与关键技术研究[Ｄ].国防科技大学ꎬ ２０１５. [１２] 范渊杰.基于 ｓＥＭＧ 与交互力等多源信号融合的下肢外骨骼康复 机器人及其临床实验研究[Ｄ]. 上海交通大学ꎬ ２０１４. [１３] Ｌｉ Ｎꎬ Ｙａｎ Ｌꎬ Ｑｉａｎ Ｈꎬ ｅｔ ａｌ. Ｒｅｖｉｅｗ ｏｎ ｌｏｗｅｒ ｅｘｔｒｅｍｉｔｙ ｅｘｏｓｋｅｌｅｔｏｎ ｒｏｂｏｔ[Ｊ]. Ｏｐｅｎ Ａｕｔｏｍ Ｃｏｎｔｒｏｌ Ｓｙｓｔ Ｊꎬ ２０１５ꎬ ７(１):４４１￣４５３. ＤＯＩ: １０.２１７４ / １８７４４４４３０１５０７０１０４４１. [１４] Ｍａ Ｙꎬ Ｗｕ Ｘꎬ Ｗａｎｇ Ｃꎬ ｅｔ ａｌ. Ｇａｉｔ ｐｈａｓｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ａｓｓｉｓｔ ｔｏｒｑｕｅ ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ａ ｌｏｗｅｒ ｌｉｍｂ ｅｘｏｓｋｅｌｅｔｏｎ ｅｙｓｔｅｍ ｕｓｉｎｇ ｋｅｒｎｅｌ ｒｅ￣ 中华物理医学与康复杂志 ２０２１ 年 １ 月第 ４３ 卷第 １ 期 Ｃｈｉｎ Ｊ Ｐｈｙｓ Ｍｅｄ Ｒｅｈａｂｉｌꎬ Ｊａｎｕａｒｙ ２０２１ꎬ Ｖｏｌ. ４３ꎬ Ｎｏ.１ 􀅰８５􀅰