·388· 中华物理医学与康复杂志2019年5月第41卷第5期Chin J Phys Med Rehabil,May2019,Val.41,No.5 ·康复工程· 基于上肢康复机器人的人机交互软件系统设计与实现 孟巧玲12,3汪晓铭2,3郑金钰12,3周深12,3孙梦真12,3喻洪流12,3 1上海理工大学康复工程与技术研究所，上海200093；2上海康复器械工程技术研究中心，上 海200093：3民政部神经功能信息与康复工程重点实验室，上海200093 通信作者：喻洪流，Email:yhl98@hotmail.com 【摘要】为解决现有上肢康复机器人其人机交互系统重治疗、轻评估的弊端，本课题以中央驱动上肢康 复机器人为研究对象，设计一种基于Qt、数据库(MYSQL)和虚拟现实技术，并集成用户信息管理、康复评定、 康复训练、生成康复报告等功能模块为一体的医机-人三者交互系统。通过功能测试验证了结合训练与评估 系统的上肢康复机器人系统，发现其不仅能提高康复治疗师工作效率，同时也为患者提供了一种高效、富有趣 味性的康复训练模式。 【关键词】人机交互；康复评定；康复训练 基金项目：上海市科技支撑项目(16441905102)上海市科技支撑项目(16441905202) Fund program:Science and Technology Innovation Action Plan of Shanghai (16441905102);Science and Technology Innovation Action Plan of Shanghai(16441905202) D0:10.3760/cma-j.issn.0254-1424.2019.05.020 偏瘫是脑卒中患者最常见后遗症，表现为一侧肢体功能障 的人机交互操作界面，并设计一套适用于上肢康复机器人的上 碍。引起偏瘫的主要原因是脑卒中导致大脑与末端肢体失联， 肢康复评定方法，为康复计划制订提供依据，并结合虚拟现实 肢体无法获得运动信号。相关研究表明，能有效治疗脑卒中后 游戏对患者进行康复训练，同时实时监测并保存患者康复数 偏瘫的训练方法是强调患者主动参与和有控制性的运动训练， 据，通过图表直观展示当前康复状态及阶段性康复成果。 从而帮助大脑进行神经组织重塑。传统康复干预由康复治疗 师实施康复治疗，协助患者进行肢体运动。由于康复过程需要 总体设计 进行大量重复性运动，患者主观参与意识较低，治疗师无法及 依据人机交互的图形用户界面设计原则，本研究设计了共 时获得直观数据反馈，对训练强度、训练总量等无法度量，难以 计10个交互主界面，包括登录页面、患者管理页面、选择页面、 将患者康复运动与心理重建有机结合，也无法量化评定康复训 评估页面、康复计划制订页面、管理中心、设备管理等功能界 练效果。 面，系统模块结构如图1所示。 随着机器人技术和人机交互技术发展，上肢康复机器人结 合集康复评定和虚拟训练等功能的软件系统将得到广泛应用。 肌力等级评估 1助力/主动训练 康复训练通常与虚拟现实游戏相结合，可通过生动有趣的视觉 ROM评定 0W功能 体验，获得失败或成功的反馈，大脑对反馈信息做出判断，并调 认知场景 康复评定 整运动模式，形成优化的神经网络及运动程序，支配相关肌肉 认知评定 AL场景 以特定顺序、速度和力量运动，可改善大脑适应能力、前馈能力 登承→患者选择 康复训练 →制定计划 和协调能力)，通过不断强化、重复的任务导向性训练，能更好 地促进患者功能恢复四。国内、外已有研究证实这一训练方式 康复报告 评估结果 被动训练 能有效改善脑卒中患者偏瘫上肢运动功能[34]。 训练结果 国内、外现有上肢康复机器人的交互方式主要包括按键控 图1上肢康复评估及训练系统的模块结构图 制、操纵杆控制、鼠标、键盘控制、触摸屏控制、表面肌电信号以 及组合方式控制等)，反馈形式包括听觉、视觉、触觉等。此类 系统功能设计与实现 交互方式往往是为触发或控制患者康复训练而设计的，注重患 者在康复训练过程中的即时响应、直观反馈及参与程度，但患 一、数据存储设计 者功能改善情况无从知晓。究其原因包括：现有的上肢康复训 本系统采用MySQL数据库)，根据上肢设备自身功能和 练人机交互系统往往重治疗、轻评估，缺少康复评估功能：或是 训练过程中参数及其他业务需求分析，数据库中有以下6张 评估指标单一，缺少综合评价分析，具有康复评估功能的商业 表，包括：_sr(用户信息表)，对应系统功能的不同权限，有医 化产品很少，且大都只测量关节活动度，不具备认知评估功能。 生、患者两个角色，包含姓名、密码、性别、职级、受损位置、联系 因此本研究基于Windows平台设计了一套应用于上肢康复机 方式等字段；_rehabplan(康复训练计划表)，包含训练时间、结 器人康复评定及训练的人机交互系统，为康复治疗师提供便捷 束时间、游戏类型等字段；-assessment(评估表)，用来存放各关
康复工程 基于上肢康复机器人的人机交互软件系统设计与实现 孟巧玲１ꎬ２ꎬ３ 汪晓铭１ꎬ２ꎬ３ 郑金钰１ꎬ２ꎬ３ 周深１ꎬ２ꎬ３ 孙梦真１ꎬ２ꎬ３ 喻洪流１ꎬ２ꎬ３ １上海理工大学康复工程与技术研究所ꎬ上海 ２０００９３ꎻ ２上海康复器械工程技术研究中心ꎬ上 海 ２０００９３ꎻ ３民政部神经功能信息与康复工程重点实验室ꎬ上海 ２０００９３ 通信作者:喻洪流ꎬＥｍａｉｌ:ｙｈｌ９８＠ ｈｏｔｍａｉｌ.ｃｏｍ 【摘要】 为解决现有上肢康复机器人其人机交互系统重治疗、轻评估的弊端ꎬ本课题以中央驱动上肢康 复机器人为研究对象ꎬ设计一种基于 Ｑｔ、数据库(ＭＹＳＱＬ)和虚拟现实技术ꎬ并集成用户信息管理、康复评定、 康复训练、生成康复报告等功能模块为一体的医￣机￣人三者交互系统ꎮ 通过功能测试验证了结合训练与评估 系统的上肢康复机器人系统ꎬ发现其不仅能提高康复治疗师工作效率ꎬ同时也为患者提供了一种高效、富有趣 味性的康复训练模式ꎮ 【关键词】 人机交互ꎻ 康复评定ꎻ 康复训练 基金项目:上海市科技支撑项目(１６４４１９０５１０２)上海市科技支撑项目(１６４４１９０５２０２) Ｆｕｎｄ ｐｒｏｇｒａｍ: Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｎｏｖａｔｉｏｎ Ａｃｔｉｏｎ Ｐｌａｎ ｏｆ Ｓｈａｎｇｈａｉ ( １６４４１９０５１０２)ꎻ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｎｏｖａｔｉｏｎ Ａｃｔｉｏｎ Ｐｌａｎ ｏｆ Ｓｈａｎｇｈａｉ(１６４４１９０５２０２) ＤＯＩ:１０.３７６０ / ｃｍａ.ｊ.ｉｓｓｎ.０２５４￣１４２４.２０１９.０５.０２０ 偏瘫是脑卒中患者最常见后遗症ꎬ表现为一侧肢体功能障 碍ꎮ 引起偏瘫的主要原因是脑卒中导致大脑与末端肢体失联ꎬ 肢体无法获得运动信号ꎮ 相关研究表明ꎬ能有效治疗脑卒中后 偏瘫的训练方法是强调患者主动参与和有控制性的运动训练ꎬ 从而帮助大脑进行神经组织重塑ꎮ 传统康复干预由康复治疗 师实施康复治疗ꎬ协助患者进行肢体运动ꎮ 由于康复过程需要 进行大量重复性运动ꎬ患者主观参与意识较低ꎬ治疗师无法及 时获得直观数据反馈ꎬ对训练强度、训练总量等无法度量ꎬ难以 将患者康复运动与心理重建有机结合ꎬ也无法量化评定康复训 练效果ꎮ 随着机器人技术和人机交互技术发展ꎬ上肢康复机器人结 合集康复评定和虚拟训练等功能的软件系统将得到广泛应用ꎮ 康复训练通常与虚拟现实游戏相结合ꎬ可通过生动有趣的视觉 体验ꎬ获得失败或成功的反馈ꎬ大脑对反馈信息做出判断ꎬ并调 整运动模式ꎬ形成优化的神经网络及运动程序ꎬ支配相关肌肉 以特定顺序、速度和力量运动ꎬ可改善大脑适应能力、前馈能力 和协调能力[１] ꎬ通过不断强化、重复的任务导向性训练ꎬ能更好 地促进患者功能恢复[２] ꎮ 国内、外已有研究证实这一训练方式 能有效改善脑卒中患者偏瘫上肢运动功能[３￣４] ꎮ 国内、外现有上肢康复机器人的交互方式主要包括按键控 制、操纵杆控制、鼠标、键盘控制、触摸屏控制、表面肌电信号以 及组合方式控制等[５] ꎬ反馈形式包括听觉、视觉、触觉等ꎮ 此类 交互方式往往是为触发或控制患者康复训练而设计的ꎬ注重患 者在康复训练过程中的即时响应、直观反馈及参与程度ꎬ但患 者功能改善情况无从知晓ꎮ 究其原因包括:现有的上肢康复训 练人机交互系统往往重治疗、轻评估ꎬ缺少康复评估功能ꎻ或是 评估指标单一ꎬ缺少综合评价分析ꎬ具有康复评估功能的商业 化产品很少ꎬ且大都只测量关节活动度ꎬ不具备认知评估功能ꎮ 因此本研究基于 Ｗｉｎｄｏｗｓ 平台设计了一套应用于上肢康复机 器人康复评定及训练的人机交互系统ꎬ为康复治疗师提供便捷 的人机交互操作界面ꎬ并设计一套适用于上肢康复机器人的上 肢康复评定方法ꎬ为康复计划制订提供依据ꎬ并结合虚拟现实 游戏对患者进行康复训练ꎬ同时实时监测并保存患者康复数 据ꎬ通过图表直观展示当前康复状态及阶段性康复成果ꎮ 总体设计 依据人机交互的图形用户界面设计原则ꎬ本研究设计了共 计 １０ 个交互主界面ꎬ包括登录页面、患者管理页面、选择页面、 评估页面、康复计划制订页面、管理中心、设备管理等功能界 面ꎬ系统模块结构如图 １ 所示ꎮ 图 １ 上肢康复评估及训练系统的模块结构图 系统功能设计与实现 一、数据存储设计 本系统采用 ＭｙＳＱＬ 数据库[５] ꎬ根据上肢设备自身功能和 训练过程中参数及其他业务需求分析ꎬ数据库中有以下 ６ 张 表ꎬ包括:＿ｕｓｅｒ(用户信息表)ꎬ对应系统功能的不同权限ꎬ有医 生、患者两个角色ꎬ包含姓名、密码、性别、职级、受损位置、联系 方式等字段ꎻ＿ｒｅｈａｂｐｌａｎ(康复训练计划表)ꎬ包含训练时间、结 束时间、游戏类型等字段ꎻ＿ａｓｓｅｓｓｍｅｎｔ(评估表)ꎬ用来存放各关 ３８８ 中华物理医学与康复杂志 ２０１９ 年 ５ 月第 ４１ 卷第 ５ 期 Ｃｈｉｎ Ｊ Ｐｈｙｓ Ｍｅｄ Ｒｅｈａｂｉｌꎬ Ｍａｙ ２０１９ꎬ Ｖｏｌ. ４１ꎬ Ｎｏ.５
中华物理医学与康复杂志2019年5月第41卷第5期Chin J Phys Med Rehabil,Mav2019,Vdl.41,No.5 ·389· 节活动角度范围：report(康复报告表)，记录患者每次训练过 达82.1%)。治疗师可根据患者认知评定结果，选择带有认知 程中的一些参数；_game(游戏表)，包含游戏名称、时间、等级、 内容的游戏训练项目，通过综合训练提高康复效率。图2为认 得分等字段；hospital(医院信息表)，包含医院名称、所在城市、 知评估界面。 地址、等级字段等。 二、数据通信设计 认知评定 肌力评定 ROM评定 1.串口通信：Qt对串口的操作集成在QSerialport类中，在新 日12/12 建工程时需选择QSerialport选项或添加依赖项，就可直接使用 该类实现串口通信，可利用QSerialPortInfo类帮助应用软件程 请您照着图案样子：它商下米。 序获取有关可用串行端口的相关信息，有助于获取要使用串行 (只有绘出两个五边形的图案，交叉处形戚1个小四边形，才算对) 端口的正确名称。本系统客户端和上肢康复机器人之间通过 串口实现Modbus通信协议，Modbus协议下的数据通信采用 Master/Slave(主/从)方式，即Master端发出数据请求消息， Slave端接收到正确消息后返回响应数据到Master端：Master端 也可直接发消息修改Save端数据，从而实现双向读写)。客 户端作为主站，读取从站数据的功能码为0x03(表1)，向从站 00分口1分。2分口分O4分O5分 写数据的功能码为0x10(表2)。 表1读取从站数据的数据通信协议格式 图2认知评估界面 PLC栈号 功能码 寄存器 寄存器 关节活动度评估通过上肢康复机器人设备自动测量，经串 起始地址 数量 CRC校验 口通信技术传至本系统。目前根据该设备提供的数据可进行 Xxxx 0x03 XXXX Xxxx XXXX 肩关节屈曲/伸展角度测量、肩关节外展/内收角度测量、肘关 节屈曲/伸展角度测量等。由评估得到的关节活动数据将作为 表2 向从站写数据的数据通信协议格式 康复游戏训练中的关节极限活动范围，另外游戏训练界面的视 PLC栈号功能码 寄存器寄存器字节数奇有器 CRC 觉反馈对于活动能力较差患者不会造成心理落差，有助于维持 起始地址数量 内容 校验 训练兴趣。图3为关节活动度评估界面示意图，左侧是示例图 0x10 xxxx Xxxx +… XXXX 片，右侧显示上肢康复机器人控制系统上传的实时关节角度数 据。 2.Socket通信：本系统中客户端和游戏在运行时分属两个 不同进程，通过Socket方式进行通信，客户端作为Socket server, 以如定 肌力浮理 ROMF定 游戏作为Socket client。Socket有基本操作如绑定、监听、连接、 担115 接受连接、释放套接字等。在Qt中，这些操作都封装在QTepS- ever类中，通过定义类的对象可以调用相关函数（表3）。 府美节屈座神展 期关节层尚 表3PC客户端与游戏之间的数据通信协议格式 帧头 长度 指令 数据 4… 帧尾 麻关节外 关节内收 0x3F XXX Xxx XXX 4++“04 0x3F 时关节展 三、康复评定设计 制订适用于上肢康复机器人的康复评估方案，能为患者提 供更加有效的康复训练方案。现有的康复机器人配套软件系 图3ROM评估界面 统大多是重训练、轻评估，而具备康复评估功能的软件系统大 肌力评估目前有手法评估和器械检查两种，本系统选用 多有各自独立的评估指标，缺少系统综合评估，而康复训练也 Lovt分级法评估，属于手法检查，如图4所示，治疗师无需借 多是针对关节活动度的单一训练。 助辅助器械，通过评估确定患者自主训练时肌力强度，对于肌 通过对患者及康复治疗师进行问卷调查分析，本系统结合 力较弱患者，在后续康复治疗计划中可选择被动模式或助力模 上肢康复机器人固有特征，选取3个方面对患者进行康复评 式，适当增加辅助，帮助患者充分发挥上肢残存功能，增强患者 估，一是运动障碍评估，通过测量关节活动度实现：二是肌力等 对康复治疗的信心。肌力评估界面主要由4个Column布局完 级评估，录入肌力等级Lovett分级法评分标准，这是临床上常用 成，因为同一列布局的属性一样，因此使用了Repeater控件。 的徒手肌力评估方法，康复治疗师可根据患者自身状况选择是 Repeater控件多用于创建大量类似的项目，与其他视图类型一 否需要此项评估；三是认知功能筛查。认知功能筛查系统录入 样，Repeater具有1个模型和1个委托等特点，对于模型中的每 了简易智力状况检查量表(mini-mental state examination, 个条目，委托在来自模型数据的上下文中被实例化。一个R MMSE)内容，MMSE因其简易快速、可操作性强和易被患者接 peater项目通常被包含在一个定位器类型（如Row或Column) 受等突出特点在临床得到广泛应用，目前在我国临床使用率高 中，Repeater能创建多个委托项目
节活动角度范围ꎻ＿ｒｅｐｏｒｔ(康复报告表)ꎬ记录患者每次训练过 程中的一些参数ꎻ＿ｇａｍｅ(游戏表)ꎬ包含游戏名称、时间、等级、 得分等字段ꎻ＿ｈｏｓｐｉｔａｌ(医院信息表)ꎬ包含医院名称、所在城市、 地址、等级字段等ꎮ 二、数据通信设计 １.串口通信:Ｑｔ 对串口的操作集成在 ＱＳｅｒｉａｌｐｏｒｔ 类中ꎬ在新 建工程时需选择 ＱＳｅｒｉａｌｐｏｒｔ 选项或添加依赖项ꎬ就可直接使用 该类实现串口通信ꎬ可利用 ＱＳｅｒｉａｌＰｏｒｔＩｎｆｏ 类帮助应用软件程 序获取有关可用串行端口的相关信息ꎬ有助于获取要使用串行 端口的正确名称ꎮ 本系统客户端和上肢康复机器人之间通过 串口实现 Ｍｏｄｂｕｓ 通信协议ꎬＭｏｄｂｕｓ 协议下的数据通信采用 Ｍａｓｔｅｒ/ Ｓｌａｖｅ (主/ 从) 方式ꎬ即 Ｍａｓｔｅｒ 端发出数据请求消息ꎬ Ｓｌａｖｅ 端接收到正确消息后返回响应数据到 Ｍａｓｔｅｒ 端ꎻＭａｓｔｅｒ 端 也可直接发消息修改 Ｓｌａｖｅ 端数据ꎬ从而实现双向读写[７] ꎮ 客 户端作为主站ꎬ读取从站数据的功能码为 ０ｘ０３(表 １)ꎬ向从站 写数据的功能码为 ０ｘ１０(表 ２)ꎮ 表 １ 读取从站数据的数据通信协议格式 ＰＬＣ 栈号 功能码 寄存器 起始地址 寄存器 数量 ＣＲＣ 校验 Ｘｘｘｘ ０ｘ０３ ｘｘｘｘ Ｘｘｘｘ ｘｘｘｘ 表 ２ 向从站写数据的数据通信协议格式 ＰＬＣ 栈号 功能码 寄存器 起始地址 寄存器 数量 字节数 寄存器 内容 ＣＲＣ 校验 ｘｘｘｘ ０ｘ１０ ｘｘｘｘ ｘｘｘｘ Ｘｘｘｘ ｘｘｘｘ ｘｘｘｘ ２.Ｓｏｃｋｅｔ 通信:本系统中客户端和游戏在运行时分属两个 不同进程ꎬ通过 Ｓｏｃｋｅｔ 方式进行通信ꎬ客户端作为 Ｓｏｃｋｅｔ ｓｅｒｖｅｒꎬ 游戏作为 Ｓｏｃｋｅｔ ｃｌｉｅｎｔꎮ Ｓｏｃｋｅｔ 有基本操作如绑定、监听、连接、 接受连接、释放套接字等ꎮ 在 Ｑｔ 中ꎬ这些操作都封装在 ＱＴｃｐＳ￣ ｅｒｖｅｒ 类中ꎬ通过定义类的对象可以调用相关函数(表 ３)ꎮ 表 ３ ＰＣ 客户端与游戏之间的数据通信协议格式 帧头 长度 指令 数据 帧尾 ０ｘ３Ｆ ｘｘｘ Ｘｘｘ ｘｘｘ ０ｘ３Ｆ 三、康复评定设计 制订适用于上肢康复机器人的康复评估方案ꎬ能为患者提 供更加有效的康复训练方案ꎮ 现有的康复机器人配套软件系 统大多是重训练、轻评估ꎬ而具备康复评估功能的软件系统大 多有各自独立的评估指标ꎬ缺少系统综合评估ꎬ而康复训练也 多是针对关节活动度的单一训练ꎮ 通过对患者及康复治疗师进行问卷调查分析ꎬ本系统结合 上肢康复机器人固有特征ꎬ选取 ３ 个方面对患者进行康复评 估ꎬ一是运动障碍评估ꎬ通过测量关节活动度实现ꎻ二是肌力等 级评估ꎬ录入肌力等级 Ｌｏｖｅｔｔ 分级法评分标准ꎬ这是临床上常用 的徒手肌力评估方法ꎬ康复治疗师可根据患者自身状况选择是 否需要此项评估ꎻ三是认知功能筛查ꎮ 认知功能筛查系统录入 了简 易 智 力 状 况 检 查 量 表 ( ｍｉｎｉ￣ｍｅｎｔａｌ ｓｔａｔｅ ｅｘａｍｉｎａｔｉｏｎꎬ ＭＭＳＥ)内容ꎬＭＭＳＥ 因其简易快速、可操作性强和易被患者接 受等突出特点在临床得到广泛应用ꎬ目前在我国临床使用率高 达 ８２.１％ [８] ꎮ 治疗师可根据患者认知评定结果ꎬ选择带有认知 内容的游戏训练项目ꎬ通过综合训练提高康复效率ꎮ 图 ２ 为认 知评估界面ꎮ 图 ２ 认知评估界面 关节活动度评估通过上肢康复机器人设备自动测量ꎬ经串 口通信技术传至本系统ꎮ 目前根据该设备提供的数据可进行 肩关节屈曲/ 伸展角度测量、肩关节外展/ 内收角度测量、肘关 节屈曲/ 伸展角度测量等ꎮ 由评估得到的关节活动数据将作为 康复游戏训练中的关节极限活动范围ꎬ另外游戏训练界面的视 觉反馈对于活动能力较差患者不会造成心理落差ꎬ有助于维持 训练兴趣ꎮ 图 ３ 为关节活动度评估界面示意图ꎬ左侧是示例图 片ꎬ右侧显示上肢康复机器人控制系统上传的实时关节角度数 据ꎮ 图 ３ ＲＯＭ 评估界面 肌力评估目前有手法评估和器械检查两种ꎬ本系统选用 Ｌｏｖｅｔｔ 分级法评估ꎬ属于手法检查ꎬ如图 ４ 所示ꎬ治疗师无需借 助辅助器械ꎬ通过评估确定患者自主训练时肌力强度ꎬ对于肌 力较弱患者ꎬ在后续康复治疗计划中可选择被动模式或助力模 式ꎬ适当增加辅助ꎬ帮助患者充分发挥上肢残存功能ꎬ增强患者 对康复治疗的信心ꎮ 肌力评估界面主要由 ４ 个 Ｃｏｌｕｍｎ 布局完 成ꎬ因为同一列布局的属性一样ꎬ因此使用了 Ｒｅｐｅａｔｅｒ 控件ꎮ Ｒｅｐｅａｔｅｒ 控件多用于创建大量类似的项目ꎬ与其他视图类型一 样ꎬＲｅｐｅａｔｅｒ 具有 １ 个模型和 １ 个委托等特点ꎬ对于模型中的每 个条目ꎬ委托在来自模型数据的上下文中被实例化ꎮ 一个 Ｒｅ￣ ｐｅａｔｅｒ 项目通常被包含在一个定位器类型(如 Ｒｏｗ 或 Ｃｏｌｕｍｎ) 中ꎬＲｅｐｅａｔｅｒ 能创建多个委托项目ꎮ 中华物理医学与康复杂志 ２０１９ 年 ５ 月第 ４１ 卷第 ５ 期 Ｃｈｉｎ Ｊ Ｐｈｙｓ Ｍｅｄ Ｒｅｈａｂｉｌꎬ Ｍａｙ ２０１９ꎬ Ｖｏｌ. ４１ꎬ Ｎｏ.５ ３８９
·390· 中华物理医学与康复杂志2019年5月第41卷第5期Chin J Phys Med Rehabil,May2019,Vol.41,No.5 表4游戏任务内容简介 认知评定 肌力汗定 ROM汗定 游戏名称 运动模式 训练类型 训练游戏简介 数字计算 一维水平面 ROM,认知 为黑板上的算式选择正 Lovett分极法评定标准 确的答案 空中小鸟 一维矢状面 ROM 控制小鸟上下运动，避 开炸弹 00履 零(2aro,0) 无可测如的肌肉收缩 清洁玻璃 二维复合 ROM、ADI 拖动抹布清除玻璃上的 01级 微缩(Trace,T) 有轻微收缩。但不能列起关节运动 污渍 01堡 差(roar,P) 在减重状志下能作关节全范周运功 躲避炸弹 二维复合 ROM、认知 躲避上升途中出现的炬 弹 ○3蛋 可(Pair,) 能机重力作关节全流运动，但不能抗阻力 厨具记忆 二维复合 ROM、认知、ADL 按照记忆挑选正确厨具 04重 良好(Cood,G) 能抗重力、抗一定阻力运动 放飞气球 三维复合 ROM、认知、ADL 控制人物沿路前进并放 正第(forInal..N) 能抗草力、抗充分粗力运动 飞沿途气球 图4肌力评估界面 功能测试 四、康复训练游戏设计 脑卒中患者治疗分为软瘫期、痉挛期、康复期3个阶段，在 本课题选用上海理工大学自主研发的一款多自由度中央 软瘫期以被动康复训练为主，痉挛期主要为患者半主动康复训 驱动式上肢康复机器人作为实验样机，该机器人拥有独立的机 练，康复期则以主动训练为主[)。本系统根据患者肌力及ROM 械传动系统和底层电气控制系统，可实现被动、助力、主动3种 综合评定结果提供被动训练、助力训练和主动训练3种训练模 康复训练模式，能实时检测患者患肢肌力及关节运动范围，辅 式：根据治疗目标可分为日常生活活动(activities of daily living, 助患者完成肩关节屈曲/伸展、肩关节外展/内收、肘关节屈曲/ ADL)能力和生活质量康复训练、认知和情绪障碍康复训练、运 伸展、前臂旋前/旋后、腕部桡偏/尺偏、腕部旋前/旋后共6个 动机能平衡障碍康复训练等：根据运动模式不同，可分为一维 机械自由度康复训练。 水平面游戏、二维复合游戏及三维复合游戏。 在进行康复训练时，系统会确认患者是否进行过康复评定 经上海市第一康复医院临床实践调研，脑卒中偏瘫患者以 (评定内容包括主动肌力、关节活动度及认知功能评定等)，首 老年人为主，不宜剧烈运动，以免造成二次损伤，故设计游戏训 次使用该设备的患者需先进行康复评定后方可开展后续康复 练方案时要考虑老年人心智及认知状态，不宜过于复杂绚丽： 训练，已评定过的患者可按需求选择康复评定、康复训练或查 此外将虚拟现实游戏引入上肢功能康复训练山的重点是要 看康复报告等功能。本系统根据患者肌力及关节活动度综合 为患者提供生动有趣的虚拟现实训练项目，增强患者沉浸感。 评估结果可提供被动训练、助力训练和主动训练三种训练模 归纳患者感兴趣的虚拟现实游戏训练项目通常具有以下几个 式，如图6，根据Lovett分级法评估结果，治疗师为患者选择合 特点：一是任务明确、奖惩得当，以激励为主：二是内容、游戏场 适的训练模式。 景要完整丰富，使患者觉得生动有趣：三是难度，游戏难度不宜 在被动训练模式下对实验对象分别进行不同类型的训练， 过高，使患者有成就感。本研究根据上述需求设计了以下6款 包括肩、肘、腕单关节X轴运动和Y轴运动、多关节圆周运动和 游戏场景，如表4所示，每款游戏有相应从Levell-Level.5共5个 喝水运动共4种不同难度的训练类型。图7显示实验对象正在 等级的任务量及场景复杂度划分。 进行被动圆周运动：在被动训练过程中，设备机械臂带动患者 五、康复报告设计 练习匀速运动，且速率较慢，尽量避免二次损伤。助力训练模 康复报告由功能评定和虚拟训练两部分组成，使用了高速 式和主动训练模式通过虚拟现实游戏训练方式实现，如选择 绘图控件Hight-.Speed Charting,.Hight-.Speed Charting开源，封装 “放飞气球”游戏训练（图8），设置好游戏训练时长及难度等级 成类，能方便扩展继承。评定结果通过柱状图形式显示，历史 后开始游戏训练程序，游戏场景中的人物角色由程序控制沿着 记录使用折线图显示，图5为ROM评定结果显示图。 小路向前，每当遇到气球时由用户带动机械臂运动来控制人物 扇关节前屈 肩关节伸展 肩关节外展 扇关节内收 肩关节水平曲 肩关节水平外展 射关节屈曲 时关节伸展 180.0 180.0 180.0 45.0 135.0 G0.0 145.0 50 135.0 135.0 1350 33.8 101.3 22.5 108.8 90.0 90.0 90.0 22.5 67.5 15.0 72.3 45.0 45.0 45.0 10 0.0 0.0 0.0 0.D 0.0 0.0 ■当前■最佳 ■当前■最佳 ■当前■最佳 ■当前■最佳 ■当前■最住 ■当前■最佳 ■当前■最佳 ■当前■最佳 图5ROM评定结果显示图
图 ５ ＲＯＭ 评定结果显示图 图 ４ 肌力评估界面 四、康复训练游戏设计 脑卒中患者治疗分为软瘫期、痉挛期、康复期 ３ 个阶段ꎬ在 软瘫期以被动康复训练为主ꎬ痉挛期主要为患者半主动康复训 练ꎬ康复期则以主动训练为主[９] ꎮ 本系统根据患者肌力及 ＲＯＭ 综合评定结果提供被动训练、助力训练和主动训练 ３ 种训练模 式ꎻ根据治疗目标可分为日常生活活动(ａｃｔｉｖｉｔｉｅｓ ｏｆ ｄａｉｌｙ ｌｉｖｉｎｇꎬ ＡＤＬ)能力和生活质量康复训练、认知和情绪障碍康复训练、运 动机能平衡障碍康复训练等ꎻ根据运动模式不同ꎬ可分为一维 水平面游戏、二维复合游戏及三维复合游戏ꎮ 经上海市第一康复医院临床实践调研ꎬ脑卒中偏瘫患者以 老年人为主ꎬ不宜剧烈运动ꎬ以免造成二次损伤ꎬ故设计游戏训 练方案时要考虑老年人心智及认知状态ꎬ不宜过于复杂绚丽ꎻ 此外将虚拟现实游戏引入上肢功能康复训练[１０￣１１] 的重点是要 为患者提供生动有趣的虚拟现实训练项目ꎬ增强患者沉浸感ꎮ 归纳患者感兴趣的虚拟现实游戏训练项目通常具有以下几个 特点:一是任务明确、奖惩得当ꎬ以激励为主ꎻ二是内容、游戏场 景要完整丰富ꎬ使患者觉得生动有趣ꎻ三是难度ꎬ游戏难度不宜 过高ꎬ使患者有成就感ꎮ 本研究根据上述需求设计了以下 ６ 款 游戏场景ꎬ如表 ４ 所示ꎬ每款游戏有相应从 Ｌｅｖｅｌ１￣Ｌｅｖｅｌ５ 共 ５ 个 等级的任务量及场景复杂度划分ꎮ 五、康复报告设计 康复报告由功能评定和虚拟训练两部分组成ꎬ使用了高速 绘图控件 Ｈｉｇｈｔ￣Ｓｐｅｅｄ ＣｈａｒｔｉｎｇꎬＨｉｇｈｔ￣Ｓｐｅｅｄ Ｃｈａｒｔｉｎｇ 开源ꎬ封装 成类ꎬ能方便扩展继承ꎮ 评定结果通过柱状图形式显示ꎬ历史 记录使用折线图显示ꎬ图 ５ 为 ＲＯＭ 评定结果显示图ꎮ 表 ４ 游戏任务内容简介 游戏名称 运动模式 训练类型 训练游戏简介 数字计算 一维水平面 ＲＯＭ、认知 为黑板上的算式选择正 确的答案 空中小鸟 一维矢状面 ＲＯＭ 控制小鸟上下运动ꎬ避 开炸弹 清洁玻璃 二维复合 ＲＯＭ、ＡＤＬ 拖动抹布清除玻璃上的 污渍 躲避炸弹 二维复合 ＲＯＭ、认知 躲避上升途中出现的炸 弹 厨具记忆 二维复合 ＲＯＭ、认知、ＡＤＬ 按照记忆挑选正确厨具 放飞气球 三维复合 ＲＯＭ、认知、ＡＤＬ 控制人物沿路前进并放 飞沿途气球 功能测试 本课题选用上海理工大学自主研发的一款多自由度中央 驱动式上肢康复机器人作为实验样机ꎬ该机器人拥有独立的机 械传动系统和底层电气控制系统ꎬ可实现被动、助力、主动 ３ 种 康复训练模式ꎬ能实时检测患者患肢肌力及关节运动范围ꎬ辅 助患者完成肩关节屈曲/ 伸展、肩关节外展/ 内收、肘关节屈曲/ 伸展、前臂旋前/ 旋后、腕部桡偏/ 尺偏、腕部旋前/ 旋后共 ６ 个 机械自由度康复训练ꎮ 在进行康复训练时ꎬ系统会确认患者是否进行过康复评定 (评定内容包括主动肌力、关节活动度及认知功能评定等)ꎬ首 次使用该设备的患者需先进行康复评定后方可开展后续康复 训练ꎬ已评定过的患者可按需求选择康复评定、康复训练或查 看康复报告等功能ꎮ 本系统根据患者肌力及关节活动度综合 评估结果可提供被动训练、助力训练和主动训练三种训练模 式ꎬ如图 ６ꎬ根据 Ｌｏｖｅｔｔ 分级法评估结果ꎬ治疗师为患者选择合 适的训练模式ꎮ 在被动训练模式下对实验对象分别进行不同类型的训练ꎬ 包括肩、肘、腕单关节 Ｘ 轴运动和 Ｙ 轴运动、多关节圆周运动和 喝水运动共 ４ 种不同难度的训练类型ꎮ 图 ７ 显示实验对象正在 进行被动圆周运动ꎻ在被动训练过程中ꎬ设备机械臂带动患者 练习匀速运动ꎬ且速率较慢ꎬ尽量避免二次损伤ꎮ 助力训练模 式和主动训练模式通过虚拟现实游戏训练方式实现ꎬ如选择 “放飞气球”游戏训练(图 ８)ꎬ设置好游戏训练时长及难度等级 后开始游戏训练程序ꎬ游戏场景中的人物角色由程序控制沿着 小路向前ꎬ每当遇到气球时由用户带动机械臂运动来控制人物 ３９０ 中华物理医学与康复杂志 ２０１９ 年 ５ 月第 ４１ 卷第 ５ 期 Ｃｈｉｎ Ｊ Ｐｈｙｓ Ｍｅｄ Ｒｅｈａｂｉｌꎬ Ｍａｙ ２０１９ꎬ Ｖｏｌ. ４１ꎬ Ｎｏ.５
中华物理医学与康复杂志2019年5月第41卷第5期Chin J Phys Med Rehabil,Mav2019,Vdl.41,No.5 ·391· 结语 主动模式 级肌力 本课题为上肢康复机器人设计了一套人机交互软件系统， 助力模式 级肌力 可实现用户管理、康复评定、虚拟训练和自动生成康复报告等 功能，实时监测、记录治疗参数及患者关节活动度变化，且训练 被动模式 4圾肌力 过程具有趣味性，能增加患者治疗积极性及自信心。本系统实 级肌力 0级肌力 现多方位功能评定与多元素康复训练相结合，功能评定和康复 图6康复训练模式与肌力等级参考关系 训练结果的量化能方便观察比较，不仅能减轻康复医师繁重体 力劳动，提高康复治疗师工作效率，也为患者提供了一个更有 趣、更高效的康复治疗模式。 参考文献 [1]黄真.“运动学习”相关理论及其在脑性瘫痪康复中的应用[J].中 国康复医学杂志，2007,22(7)：652-655 [2]Connell LA,Memahon NE,Redfern J,et al.Development of a behaviour change intervention to increase upper limb exercise in stroke rehabili- tation[J].mplement Sci,2015,10(1):1-9.D0l:10.1186/s13012- 图7被动圆周训练示意图 015-0223-3. [3]韩晓晓，柯将琼，蒋松鹤，等.虚拟现实游戏训练对脑卒中患者偏瘫 上肢功能恢复的影响[J].中华物理医学与康复杂志，2016,38 (6):401.D0I:10.3760/cmaj.issn.0254-1424.2016.06.001 [4]Cho S,Ku J,Cho YK,et al.Development of virtual reality propriocep- tive rehabilitation system for stroke patients[.Comput Methods Pro- grams Biomed,2014,113(1):258-265.D0L:10.1016/j.cmpb.2013. 09.006. [5]Maciejasz P,Eschweiler J,Gerlach-Hahn K,et al.A survey on robotic devices for upper limb rehabilitation[].J Neuroeng Rehabil,2014,11 (1):3.D01:10.1186/1743-0003-11-3. 图8虚拟现实游戏训练 [6]Hinz S.MySQL 5.0 Certification Study Guide M].Lexington:Sams 角色上肢运动，并将气球释放，每释放一处气球则加1分。在 Publishing,2005:121-125. 训练过程中游戏场景未出现角色失控或界面卡顿等现象，证明 [7]史运涛，孙德辉，李志军，等.基于Modbus协议的通讯集成技术研 了虚拟现实游戏训练配合上肢康复机器人训练的可行性，可辅 究[J].化工自动化及仪表，2010,37(4)：67-72.D01:10.3969/. 助患者进行康复治疗，提高其在康复过程中的主动参与性。 issn.1000-3932.2010.04.019. 在游戏训练过程中，游戏场景坐标范围可根据不同用户关 [8]温洪波，张振馨，牛富生，等北京地区蒙特利尔认知量表的应用研 究[J].中华内科杂志，2008,47(1)：36-39.D0:10.3321/j.issn: 节活动评估结果而自动调节，该自适应性给予使用者良好的视 0578-1426.2008.01.012. 觉反馈：随着训练时间和游戏得分增加，游戏训练难度会相应 [9]任传成.健康物联网[M].上海：上海科学技术文献出版社，2010： 增大，主要表现为游戏背景变复杂、障碍物变多和速度加快，逐 305-310. 渐加强对患者上肢关节活动范围的训练。经初步验证，本系统 [10]王宏图.虚拟现实技术在脑卒中运动康复中的应用现状[』].中国 具有良好的图形用户界面，患者只需通过简单的提示即可根据 康复理论与实践.2014,20(10)：911-915.D0I:10.3969/i.issn.1006- 界面显示流程操作本系统，完成康复评估及训练等功能，康复 9771.2014.10.004. 治疗师使用该系统时也无需经过专业培训。同时本系统将管 [11]徐丽丽，吴毅虚拟现实技术在脑卒中患者手功能康复中的应用 理权限赋予康复治疗师，能对患者基本信息进行全面管理，支 [J].中华物理医学与康复杂志，2007,29(2)：136-138.D0L:10. 持评估及康复结果录人、浏览、删除等功能，治疗师可参考评估 3760/j:issn:0254-1424.2007.02.020. 结果，为存在认知障碍患者选择带有认知训练场景的游戏，为 (修回日期：2019-03-02) 肌力较弱患者设置被动训练模式等。 (本文编辑：易浩)
图 ６ 康复训练模式与肌力等级参考关系 图 ７ 被动圆周训练示意图 图 ８ 虚拟现实游戏训练 角色上肢运动ꎬ并将气球释放ꎬ每释放一处气球则加 １ 分ꎮ 在 训练过程中游戏场景未出现角色失控或界面卡顿等现象ꎬ证明 了虚拟现实游戏训练配合上肢康复机器人训练的可行性ꎬ可辅 助患者进行康复治疗ꎬ提高其在康复过程中的主动参与性ꎮ 在游戏训练过程中ꎬ游戏场景坐标范围可根据不同用户关 节活动评估结果而自动调节ꎬ该自适应性给予使用者良好的视 觉反馈ꎻ随着训练时间和游戏得分增加ꎬ游戏训练难度会相应 增大ꎬ主要表现为游戏背景变复杂、障碍物变多和速度加快ꎬ逐 渐加强对患者上肢关节活动范围的训练ꎮ 经初步验证ꎬ本系统 具有良好的图形用户界面ꎬ患者只需通过简单的提示即可根据 界面显示流程操作本系统ꎬ完成康复评估及训练等功能ꎬ康复 治疗师使用该系统时也无需经过专业培训ꎮ 同时本系统将管 理权限赋予康复治疗师ꎬ能对患者基本信息进行全面管理ꎬ支 持评估及康复结果录入、浏览、删除等功能ꎬ治疗师可参考评估 结果ꎬ为存在认知障碍患者选择带有认知训练场景的游戏ꎬ为 肌力较弱患者设置被动训练模式等ꎮ 结语 本课题为上肢康复机器人设计了一套人机交互软件系统ꎬ 可实现用户管理、康复评定、虚拟训练和自动生成康复报告等 功能ꎬ实时监测、记录治疗参数及患者关节活动度变化ꎬ且训练 过程具有趣味性ꎬ能增加患者治疗积极性及自信心ꎮ 本系统实 现多方位功能评定与多元素康复训练相结合ꎬ功能评定和康复 训练结果的量化能方便观察比较ꎬ不仅能减轻康复医师繁重体 力劳动ꎬ提高康复治疗师工作效率ꎬ也为患者提供了一个更有 趣、更高效的康复治疗模式ꎮ 参 考 文 献 [１] 黄真.“运动学习”相关理论及其在脑性瘫痪康复中的应用[ Ｊ].中 国康复医学杂志ꎬ２００７ꎬ２２(７):６５２￣６５５. [２] Ｃｏｎｎｅｌｌ ＬＡꎬＭｃｍａｈｏｎ ＮＥꎬＲｅｄｆｅｒｎ Ｊꎬｅｔ ａｌ.Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ａ ｂｅｈａｖｉｏｕｒ ｃｈａｎｇｅ ｉｎｔｅｒｖｅｎｔｉｏｎ ｔｏ ｉｎｃｒｅａｓｅ ｕｐｐｅｒ ｌｉｍｂ ｅｘｅｒｃｉｓｅ ｉｎ ｓｔｒｏｋｅ ｒｅｈａｂｉｌｉ￣ ｔａｔｉｏｎ[Ｊ]. Ｉｍｐｌｅｍｅｎｔ Ｓｃｉꎬ ２０１５ꎬ １０ ( １): １￣９. ＤＯＩ:１０. １１８６ / ｓ１３０１２￣ ０１５￣０２２３￣３. [３] 韩晓晓ꎬ柯将琼ꎬ蒋松鹤ꎬ等.虚拟现实游戏训练对脑卒中患者偏瘫 上肢功能恢复的影响[ Ｊ]. 中华物理医学与康复杂志ꎬ２０１６ꎬ３８ (６):４０１.ＤＯＩ:１０.３７６０ / ｃｍａ.ｊ.ｉｓｓｎ.０２５４￣１４２４.２０１６.０６.００１. [４] Ｃｈｏ ＳꎬＫｕ ＪꎬＣｈｏ ＹＫꎬｅｔ ａｌ.Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ ｐｒｏｐｒｉｏｃｅｐ￣ ｔｉｖｅ ｒｅｈａｂｉｌｉｔａｔｉｏｎ ｓｙｓｔｅｍ ｆｏｒ ｓｔｒｏｋｅ ｐａｔｉｅｎｔｓ[ Ｊ].Ｃｏｍｐｕｔ Ｍｅｔｈｏｄｓ Ｐｒｏ￣ ｇｒａｍｓ Ｂｉｏｍｅｄꎬ２０１４ꎬ１１３ ( １):２５８￣２６５. ＤＯＩ:１０. １０１６ / ｊ. ｃｍｐｂ. ２０１３. ０９.００６. [５] Ｍａｃｉｅｊａｓｚ ＰꎬＥｓｃｈｗｅｉｌｅｒ ＪꎬＧｅｒｌａｃｈ￣Ｈａｈｎ Ｋꎬｅｔ ａｌ.Ａ ｓｕｒｖｅｙ ｏｎ ｒｏｂｏｔｉｃ ｄｅｖｉｃｅｓ ｆｏｒ ｕｐｐｅｒ ｌｉｍｂ ｒｅｈａｂｉｌｉｔａｔｉｏｎ[Ｊ].Ｊ Ｎｅｕｒｏｅｎｇ Ｒｅｈａｂｉｌꎬ２０１４ꎬ１１ (１):３.ＤＯＩ: １０.１１８６ / １７４３￣０００３￣１１￣３. [６] Ｈｉｎｚ Ｓ. ＭｙＳＱＬ ５. ０ Ｃｅｒｔｉｆｉｃａｔｉｏｎ Ｓｔｕｄｙ Ｇｕｉｄｅ [ Ｍ]. Ｌｅｘｉｎｇｔｏｎ: Ｓａｍｓ Ｐｕｂｌｉｓｈｉｎｇꎬ ２００５:１２１￣１２５. [７] 史运涛ꎬ孙德辉ꎬ李志军ꎬ等.基于 Ｍｏｄｂｕｓ 协议的通讯集成技术研 究[ Ｊ]. 化工自动化及仪表ꎬ２０１０ꎬ３７ ( ４):６７￣７２. ＤＯＩ:１０. ３９６９ / ｊ. ｉｓｓｎ.１０００￣３９３２.２０１０.０４.０１９. [８] 温洪波ꎬ张振馨ꎬ牛富生ꎬ等.北京地区蒙特利尔认知量表的应用研 究[Ｊ]. 中华内科杂志ꎬ２００８ꎬ４７ ( １):３６￣３９. ＤＯＩ:１０. ３３２１ / ｊ. ｉｓｓｎ: ０５７８￣１４２６.２００８.０１.０１２. [９] 任传成.健康物联网[Ｍ].上海:上海科学技术文献出版社ꎬ２０１０: ３０５￣３１０. [１０] 王宏图.虚拟现实技术在脑卒中运动康复中的应用现状[ Ｊ].中国 康复理论与实践ꎬ２０１４ꎬ２０(１０):９１１￣９１５.ＤＯＩ:１０.３９６９ / ｊ.ｉｓｓｎ.１００６￣ ９７７１.２０１４.１０.００４. [１１] 徐丽丽ꎬ吴毅.虚拟现实技术在脑卒中患者手功能康复中的应用 [Ｊ].中华物理医学与康复杂志ꎬ２００７ꎬ２９ ( ２):１３６￣１３８. ＤＯＩ:１０. ３７６０ / ｊ:ｉｓｓｎ:０２５４￣１４２４.２００７.０２.０２０. (修回日期:２０１９￣０３￣０２) (本文编辑:易 浩) 中华物理医学与康复杂志 ２０１９ 年 ５ 月第 ４１ 卷第 ５ 期 Ｃｈｉｎ Ｊ Ｐｈｙｓ Ｍｅｄ Ｒｅｈａｂｉｌꎬ Ｍａｙ ２０１９ꎬ Ｖｏｌ. ４１ꎬ Ｎｏ.５ ３９１