第2期 JABEEN Farzana,等：针对可穿戴设备的虚拟鼠标 ·135· 里的物件进行交互，体验实时的物理反馈[1)。残疾 件和软件支持。为了展示虚拟鼠标的可用性，用1- 人可以有效地利用虚拟现实模拟技术像正常人一样 bt交互系统进行测试，这个交互系统能提供类似社 工作、生活。虚拟现实可以提供关于视觉、听觉、 交媒体、娱乐、购物以及与护工沟通的工具，帮助用 触觉等感官的模拟20]，把受影响的感官信息转化为 户完成日常生活活动。 可被感知的信息，使得那些有感官障碍的人可以感 3.1硬件支持 知到他们原本无法体会的东西[2]。 为了实现所提出的系统的所有功能，需要另外 想要帮助残疾人与外部世界方便快捷地进行交 两种可穿戴硬件设备，其中可穿戴显示设备(VR眼 互，简单、易操作的人机交互技术尤为重要。这里介 镜)用于显示，触摸板用于用户输入。 绍一下目前在残疾人设计虚拟鼠标方面的学术研 为了提供一个更真实的可视化虚拟世界，使用 究。Howard Bruce等2]提出了一种叫lightglove的 的是基于Android系统的VR眼镜。选择此硬件设 可穿戴设备，这是一种利用光束感应手指以及传感 备的原因是因为它基于Android系统，在这个平台 器检测手部活动的腕带式的虚拟鼠标及打字设备。 上安装虚拟鼠标的应用程序比较方便。选择的另一 用户通过弯曲手指插入设备透出的光束来控制鼠标 个硬件设备是触摸键盘，此键盘只有一个键，用于用 光标移动或者进行虚拟键盘输入。S.Manivarman 户的远程控制。 等[)提出了一个专为残疾人设计的基于手势的六 输入设备（触摸键盘） 自由度虚拟鼠标。即使用户手指不能弯曲，也可以 基础助理模块 通过简单的手势来操控虚拟鼠标进行电脑活动。J. 交互 Mccomas等2a]设计了一个叫做Point-N-Click的单 功能模块 机虚拟鼠标，可以帮助那些手指无力无法点击鼠标 人机交互系统 的运动障碍者操控鼠标。Point-N-Click可支持多 )口子 接口模块 输出设备 种鼠标系统，如头戴式鼠标、平板PC、触摸屏设备等 (音响、VR限镜、显示器) 等。Point--N-Click还可以帮助残疾人进行水下康复 图2系统框架 训练[2]。 Fig.2 The system framework 所有上述的研究都抛弃了传统的物理鼠标键 该系统的整个过程为：在VR眼镜上安装交互 盘，只利用单独设计的虚拟鼠标以及可穿戴设备帮 助残疾人更加方便地操控电脑设备。lightglove2a) 系统，触摸板作为用户输入设备，与VR眼镜相连。 和六自由度虚拟鼠标s,1)]十分便携和易于操作，但 当用户需要与系统进行交互时，按压触摸板，即可获 得系统的反馈。输出设备可以是多样的，例如由软 是这些设备都需要整只手的运动，对于我们有严重 件系统控制的扬声器可以连接到虚拟现实眼镜，以 运动障碍的目标用户来说操作起来还是有困难的。 Point-.N-Cliek[2s]不需要太多的手部运动，但是系统 便每当病人作出选择时，护工可以被及时通知到。 显示器同样可以作为此系统的输出设备，可将使用 略微复杂，用户使用起来需要很长的适应期，其复杂 者的所有选择输出到屏幕上方便使用者及其家属护 的功能需要花费用户更多的交互时间。 工实时掌握。硬件的选择是以改善和方便残疾人和 我们提出的方法最为显著的优势在于将用户的 外部世界的沟通为目的。 手指运动缩小在更小的范围内，加上简单的1bit交 互系统让用户操作更简单、更易上手。采用的1bit 3.2软件支持 交互系统中，每一个功能调用都只需要1bit输入， 软件方面，采用1-bit交互系统，以及设计的虚 拟鼠标。在设计虚拟鼠标时，考虑到目标用户在运 用户只需要用一根手指轻微按动触控板即可。配合 动能力上的限制，以及对已有物理鼠标的认知与使 使用可穿戴式显示设备（此研究实验阶段采用无传 用习惯，决定采用辅助界面，来增强虚拟鼠标的可操 感器的基于安卓系统的VR眼镜)，用户就可以以一 作性。 种简单的方式进行人机交互。 图3为1-bit交互系统中的虚拟鼠标辅助界面， 31-bit虚拟鼠标 在此界面中，每一个图标对应一个特定的功能，并以 一定的顺序与速度交替闪烁。用户可以在某一图标 患者可在VR眼镜的帮助下，通过虚拟鼠标使 正在闪烁时，发出1bit选中信号，以此命令系统实 用不同的虚拟现实应用。我们提出的系统包含了硬 现相应的功能。图3中圆形区域内的图标可控制鼠里的物件进行交互，体验实时的物理反馈［１８］ 。 残疾 人可以有效地利用虚拟现实模拟技术像正常人一样 工作、生活［１９］ 。 虚拟现实可以提供关于视觉、听觉、 触觉等感官的模拟［２０］ ，把受影响的感官信息转化为 可被感知的信息，使得那些有感官障碍的人可以感 知到他们原本无法体会的东西［２１］ 。 想要帮助残疾人与外部世界方便快捷地进行交 互，简单、易操作的人机交互技术尤为重要。 这里介 绍一下目前在残疾人设计虚拟鼠标方面的学术研 究。 Ｈｏｗａｒｄ Ｂｒｕｃｅ 等［２２］ 提出了一种叫 ｌｉｇｈｔｇｌｏｖｅ 的 可穿戴设备，这是一种利用光束感应手指以及传感 器检测手部活动的腕带式的虚拟鼠标及打字设备。 用户通过弯曲手指插入设备透出的光束来控制鼠标 光标移动或者进行虚拟键盘输入。 Ｓ． Ｍａｎｉｖａｒｍａｎ 等［１５］提出了一个专为残疾人设计的基于手势的六 自由度虚拟鼠标。 即使用户手指不能弯曲，也可以 通过简单的手势来操控虚拟鼠标进行电脑活动。 Ｊ． Ｍｃｃｏｍａｓ 等［２３］ 设计了一个叫做 Ｐｏｉｎｔ⁃Ｎ⁃Ｃｌｉｃｋ 的单 机虚拟鼠标，可以帮助那些手指无力无法点击鼠标 的运动障碍者操控鼠标 。 Ｐｏｉｎｔ⁃Ｎ⁃Ｃｌｉｃｋ 可支持多 种鼠标系统，如头戴式鼠标、平板 ＰＣ、触摸屏设备等 等。 Ｐｏｉｎｔ⁃Ｎ⁃Ｃｌｉｃｋ 还可以帮助残疾人进行水下康复 训练［２４］ 。 所有上述的研究都抛弃了传统的物理鼠标键 盘，只利用单独设计的虚拟鼠标以及可穿戴设备帮 助残疾人更加方便地操控电脑设备。 ｌｉｇｈｔｇｌｏｖｅ ［２２］ 和六自由度虚拟鼠标［５，１５］ 十分便携和易于操作，但 是这些设备都需要整只手的运动，对于我们有严重 运动障碍的目标用户来说操作起来还是有困难的。 Ｐｏｉｎｔ⁃Ｎ⁃Ｃｌｉｃｋ ［２３］不需要太多的手部运动，但是系统 略微复杂，用户使用起来需要很长的适应期，其复杂 的功能需要花费用户更多的交互时间。 我们提出的方法最为显著的优势在于将用户的 手指运动缩小在更小的范围内，加上简单的 １ ｂｉｔ 交 互系统让用户操作更简单、更易上手。 采用的 １ ｂｉｔ 交互系统中，每一个功能调用都只需要 １ ｂｉｔ 输入， 用户只需要用一根手指轻微按动触控板即可。 配合 使用可穿戴式显示设备（此研究实验阶段采用无传 感器的基于安卓系统的 ＶＲ 眼镜），用户就可以以一 种简单的方式进行人机交互。 ３ １⁃ｂｉｔ 虚拟鼠标 患者可在 ＶＲ 眼镜的帮助下，通过虚拟鼠标使 用不同的虚拟现实应用。 我们提出的系统包含了硬 件和软件支持。 为了展示虚拟鼠标的可用性，用 １⁃ ｂｉｔ 交互系统进行测试，这个交互系统能提供类似社 交媒体、娱乐、购物以及与护工沟通的工具，帮助用 户完成日常生活活动。 ３．１ 硬件支持 为了实现所提出的系统的所有功能，需要另外 两种可穿戴硬件设备，其中可穿戴显示设备（ＶＲ 眼 镜）用于显示，触摸板用于用户输入。 为了提供一个更真实的可视化虚拟世界，使用 的是基于 Ａｎｄｒｏｉｄ 系统的 ＶＲ 眼镜。 选择此硬件设 备的原因是因为它基于 Ａｎｄｒｏｉｄ 系统，在这个平台 上安装虚拟鼠标的应用程序比较方便。 选择的另一 个硬件设备是触摸键盘，此键盘只有一个键，用于用 户的远程控制。 图 ２ 系统框架 Ｆｉｇ．２ Ｔｈｅ ｓｙｓｔｅｍ ｆｒａｍｅｗｏｒｋ 该系统的整个过程为：在 ＶＲ 眼镜上安装交互 系统，触摸板作为用户输入设备，与 ＶＲ 眼镜相连。 当用户需要与系统进行交互时，按压触摸板，即可获 得系统的反馈。 输出设备可以是多样的，例如由软 件系统控制的扬声器可以连接到虚拟现实眼镜，以 便每当病人作出选择时，护工可以被及时通知到。 显示器同样可以作为此系统的输出设备，可将使用 者的所有选择输出到屏幕上方便使用者及其家属护 工实时掌握。 硬件的选择是以改善和方便残疾人和 外部世界的沟通为目的。 ３．２ 软件支持 软件方面，采用 １⁃ｂｉｔ 交互系统，以及设计的虚 拟鼠标。 在设计虚拟鼠标时，考虑到目标用户在运 动能力上的限制，以及对已有物理鼠标的认知与使 用习惯，决定采用辅助界面，来增强虚拟鼠标的可操 作性。 图 ３ 为 １⁃ｂｉｔ 交互系统中的虚拟鼠标辅助界面， 在此界面中，每一个图标对应一个特定的功能，并以 一定的顺序与速度交替闪烁。 用户可以在某一图标 正在闪烁时，发出 １ ｂｉｔ 选中信号，以此命令系统实 现相应的功能。 图 ３ 中圆形区域内的图标可控制鼠 第 ２ 期 ＪＡＢＥＥＮ Ｆａｒｚａｎａ，等：针对可穿戴设备的虚拟鼠标 ·１３５·