第10卷第4期 智能系统学报 Vol.10 No.4 2015年8月 CAAI Transactions on Intelligent Systems Aug.2015 D0:10.3969/j.issn.1673-4785.201501015 网s络出版地址：http:/www.cnki.net/kcms/detail/23.1538.TP.20150630.1615.006.html 1-Bit人机交互系统 程煜，张鸣宇，陶霖密 (清华大学信息科学技术学院，北京100084) 摘要：通过研制普适的非对称交互系统，解决运动能力障碍人群借助通用计算设备通过互联网进行交流这一问 题。虚拟鼠标替代传统鼠标、中文输入法替代传统键盘输入功能、快捷键替代传统键盘快捷操作功能，作为交互系 统的基础支持完全根据用户自身意志完成各类操作：配置1-Bt输入设备有效减轻了运动障碍人群的操作负担。基 于上述方法，设计并开发实现了1-Bt人机交互系统，该系统能够利用1-Bit输入设备完成对普通计算机的操作。实 验测试和分析表明，用户可以基于1-Bt输人设备操作电脑，包括文字输入、网页浏览、音视频播放、日常护理等功能， 满足用户的日常电脑使用需求，同时该交互系统具有易于学习、功能方便扩展的特性。 关键词：人机交互；脑机接口：虚拟鼠标；中文输人法：1-Bit交互系统 中图分类号：TP391.7文献标志码：A文章编号：1673-4785(2015)04-0528-05 中文引用格式：程煜，张鸣宇，陶霖密.1-Bit人机交互系统[J].智能系统学报，2015,10(4)：528-532. 英文引用格式：CHENG Yu,ZHANG Mingyu,TAO Linmi.One-Bit human-computer interactive system[J].CAAI Transactions on Intelligent Systems,2015,10(4):528-532. One-Bit human-computer interactive system CHENG Yu,ZHANG Mingyu,TAO Linmi (School of Information Science and Technology,Tsinghua University,Beijing 100084,China) Abstract:Through developing a universal asymmetric interactive system,the obstacle of communication in the In- ternet among movement disability crowds through general computing equipment is solved.A virtual mouse took the place of the traditional mouse.A Chinese input method and shortcut keys were used instead of the original keyboard input.Users can operate computers according to their own will.The set of the one-Bit input device can further re- duce the burden for the disabled people.Based on the above-mentioned method,a one-Bit interaction system was developed and implemented,which can manipulate computers by the one-Bit input device.The user tests and anal- ysis of the system indicate that users can manipulate computers with multi-functions,including text entry,website browsing,audio and video play,and health care via one-Bit input device.The system is easy to learn and its func- tions can be developed and expanded easily,which meets the daily requirements for a user to operate a computer. Keywords:human-computer interaction;brain-computer interface;virtual mouse;Chinese input method;one-Bit interaction system 当今社会随着互联网技术的快速发展，人与人 用计算机，致使他们不能享受科技进步带来的良好 之间沟通更多依赖于互联网电子通讯设备，然而 交流体验。例如许多疾病患者，如脑瘫(CP)和萎缩 一些人由于自身存在某种运动缺陷导致无法正常使 性脊髓侧索硬化症(ALS)等多种运动神经元疾 病2】，这些疾病不同程度损害了肌肉的神经通道， 收稿日期：2015-01-16.网络出版日期：2015-06-30 他们不能根据自身意愿进行有效的电脑操作)。 基金项目：国家863计划资助项目(2012AA011602):国家自然科学基金 针对重度残疾人群可以依靠脑电技术进行辅助交 面上资助项目(61272232). 通信作者：程煜.E-mail:chengyu0(007@126.com 流。脑机接口BCI是一种基于脑电波的新型交互
第 １０ 卷第 ４ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．４ ２０１５ 年 ８ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｕｇ． ２０１５ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１５０１０１５ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１５０６３０．１６１５．００６．ｈｔｍｌ １⁃Ｂｉｔ 人机交互系统 程煜，张鸣宇，陶霖密 （清华大学 信息科学技术学院，北京 １０００８４） 摘 要：通过研制普适的非对称交互系统，解决运动能力障碍人群借助通用计算设备通过互联网进行交流这一问 题。 虚拟鼠标替代传统鼠标、中文输入法替代传统键盘输入功能、快捷键替代传统键盘快捷操作功能，作为交互系 统的基础支持完全根据用户自身意志完成各类操作；配置 １⁃Ｂｉｔ 输入设备有效减轻了运动障碍人群的操作负担。 基 于上述方法，设计并开发实现了 １⁃Ｂｉｔ 人机交互系统，该系统能够利用 １⁃Ｂｉｔ 输入设备完成对普通计算机的操作。 实 验测试和分析表明，用户可以基于 １⁃Ｂｉｔ 输入设备操作电脑，包括文字输入、网页浏览、音视频播放、日常护理等功能， 满足用户的日常电脑使用需求，同时该交互系统具有易于学习、功能方便扩展的特性。 关键词：人机交互；脑机接口；虚拟鼠标；中文输入法；１⁃Ｂｉｔ 交互系统 中图分类号： ＴＰ３９１．７ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０４⁃０５２８⁃０５ 中文引用格式：程煜，张鸣宇，陶霖密． １⁃Ｂｉｔ 人机交互系统［Ｊ］． 智能系统学报， ２０１５， １０（４）： ５２８⁃５３２． 英文引用格式：ＣＨＥＮＧ Ｙｕ， ＺＨＡＮＧ Ｍｉｎｇｙｕ， ＴＡＯ Ｌｉｎｍｉ． Ｏｎｅ⁃Ｂｉｔ ｈｕｍａｎ⁃ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｖｅ ｓｙｓｔｅｍ［ Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１５， １０（４）： ５２８⁃５３２． Ｏｎｅ⁃Ｂｉｔ ｈｕｍａｎ⁃ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｖｅ ｓｙｓｔｅｍ ＣＨＥＮＧ Ｙｕ， ＺＨＡＮＧ Ｍｉｎｇｙｕ， ＴＡＯ Ｌｉｎｍｉ （Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １０００８４， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｒｏｕｇｈ ｄｅｖｅｌｏｐｉｎｇ ａ ｕｎｉｖｅｒｓａｌ ａｓｙｍｍｅｔｒｉｃ ｉｎｔｅｒａｃｔｉｖｅ ｓｙｓｔｅｍ， ｔｈｅ ｏｂｓｔａｃｌｅ ｏｆ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｉｎ ｔｈｅ Ｉｎ⁃ ｔｅｒｎｅｔ ａｍｏｎｇ ｍｏｖｅｍｅｎｔ ｄｉｓａｂｉｌｉｔｙ ｃｒｏｗｄｓ ｔｈｒｏｕｇｈ ｇｅｎｅｒａｌ ｃｏｍｐｕｔｉｎｇ ｅｑｕｉｐｍｅｎｔ ｉｓ ｓｏｌｖｅｄ． Ａ ｖｉｒｔｕａｌ ｍｏｕｓｅ ｔｏｏｋ ｔｈｅ ｐｌａｃｅ ｏｆ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｍｏｕｓｅ． Ａ Ｃｈｉｎｅｓｅ ｉｎｐｕｔ ｍｅｔｈｏｄ ａｎｄ ｓｈｏｒｔｃｕｔ ｋｅｙｓ ｗｅｒｅ ｕｓｅｄ ｉｎｓｔｅａｄ ｏｆ ｔｈｅ ｏｒｉｇｉｎａｌ ｋｅｙｂｏａｒｄ ｉｎｐｕｔ． Ｕｓｅｒｓ ｃａｎ ｏｐｅｒａｔｅ ｃｏｍｐｕｔｅｒｓ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅｉｒ ｏｗｎ ｗｉｌｌ． Ｔｈｅ ｓｅｔ ｏｆ ｔｈｅ ｏｎｅ⁃Ｂｉｔ ｉｎｐｕｔ ｄｅｖｉｃｅ ｃａｎ ｆｕｒｔｈｅｒ ｒｅ⁃ ｄｕｃｅ ｔｈｅ ｂｕｒｄｅｎ ｆｏｒ ｔｈｅ ｄｉｓａｂｌｅｄ ｐｅｏｐｌｅ． Ｂａｓｅｄ ｏｎ ｔｈｅ ａｂｏｖｅ⁃ｍｅｎｔｉｏｎｅｄ ｍｅｔｈｏｄ， ａ ｏｎｅ⁃Ｂｉｔ ｉｎｔｅｒａｃｔｉｏｎ ｓｙｓｔｅｍ ｗａｓ ｄｅｖｅｌｏｐｅｄ ａｎｄ ｉｍｐｌｅｍｅｎｔｅｄ， ｗｈｉｃｈ ｃａｎ ｍａｎｉｐｕｌａｔｅ ｃｏｍｐｕｔｅｒｓ ｂｙ ｔｈｅ ｏｎｅ⁃Ｂｉｔ ｉｎｐｕｔ ｄｅｖｉｃｅ． Ｔｈｅ ｕｓｅｒ ｔｅｓｔｓ ａｎｄ ａｎａｌ⁃ ｙｓｉｓ ｏｆ ｔｈｅ ｓｙｓｔｅｍ ｉｎｄｉｃａｔｅ ｔｈａｔ ｕｓｅｒｓ ｃａｎ ｍａｎｉｐｕｌａｔｅ ｃｏｍｐｕｔｅｒｓ ｗｉｔｈ ｍｕｌｔｉ⁃ｆｕｎｃｔｉｏｎｓ， ｉｎｃｌｕｄｉｎｇ ｔｅｘｔ ｅｎｔｒｙ， ｗｅｂｓｉｔｅ ｂｒｏｗｓｉｎｇ， ａｕｄｉｏ ａｎｄ ｖｉｄｅｏ ｐｌａｙ， ａｎｄ ｈｅａｌｔｈ ｃａｒｅ ｖｉａ ｏｎｅ⁃Ｂｉｔ ｉｎｐｕｔ ｄｅｖｉｃｅ． Ｔｈｅ ｓｙｓｔｅｍ ｉｓ ｅａｓｙ ｔｏ ｌｅａｒｎ ａｎｄ ｉｔｓ ｆｕｎｃ⁃ ｔｉｏｎｓ ｃａｎ ｂｅ ｄｅｖｅｌｏｐｅｄ ａｎｄ ｅｘｐａｎｄｅｄ ｅａｓｉｌｙ， ｗｈｉｃｈ ｍｅｅｔｓ ｔｈｅ ｄａｉｌｙ ｒｅｑｕｉｒｅｍｅｎｔｓ ｆｏｒ ａ ｕｓｅｒ ｔｏ ｏｐｅｒａｔｅ ａ ｃｏｍｐｕｔｅｒ． Ｋｅｙｗｏｒｄｓ：ｈｕｍａｎ⁃ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ； ｂｒａｉｎ⁃ｃｏｍｐｕｔｅｒ ｉｎｔｅｒｆａｃｅ； ｖｉｒｔｕａｌ ｍｏｕｓｅ； Ｃｈｉｎｅｓｅ ｉｎｐｕｔ ｍｅｔｈｏｄ； ｏｎｅ⁃Ｂｉｔ ｉｎｔｅｒａｃｔｉｏｎ ｓｙｓｔｅｍ 收稿日期：２０１５⁃０１⁃１６． 网络出版日期：２０１５⁃０６⁃３０． 基金项目：国家 ８６３ 计划资助项目（２０１２ＡＡ０１１６０２）；国家自然科学基金 面上资助项目 （６１２７２２３２）． 通信作者：程煜．Ｅ⁃ｍａｉｌ：ｃｈｅｎｇｙｕ０００７＠ １２６．ｃｏｍ． 当今社会随着互联网技术的快速发展，人与人 之间沟通更多依赖于互联网电子通讯设备［１］ ，然而 一些人由于自身存在某种运动缺陷导致无法正常使 用计算机，致使他们不能享受科技进步带来的良好 交流体验。 例如许多疾病患者，如脑瘫（ＣＰ）和萎缩 性脊髓侧索硬化症 （ ＡＬＳ） 等多种运动神经元疾 病［２］ ，这些疾病不同程度损害了肌肉的神经通道， 他们不能根据自身意愿进行有效的电脑操作［３］ 。 针对重度残疾人群可以依靠脑电技术进行辅助交 流。 脑机接口 ＢＣＩ 是一种基于脑电波的新型交互
第4期 程煜，等：1-Bit人机交互系统 .529. 技术)，它不依赖外周神经系统及肌肉组织，可以 6个元素，并结合目标用户自身存在运动障碍的特 帮助行动不便但思维意识正常的患者，使其在一定 点，提出系统架构如图1所示。 程度上修复与外界的信息交流能力，从而改善他们 用户输入 系统输出 的生活质量。我国从20世纪末期开始进入人口 老龄化阶段)，未来十几年老龄化将呈现加速发展 用户界面 态势，并将于2030年超过日本，成为全球老龄化程 键盘驱动 度最高的国家[)。老人们部分或完全丧失劳动能 输入监听 力甚至自理能力，也急需为他们提供一种辅助交流 鼠标驱动 系统监测 - -- 手段以弥补他们自身的运动缺陷。 鼠标 软件 对此，许多研究者做了大量工作，徐静等)对儿 童自闭症的交流进行了大量研究并提出较理想的解 键盘 决方案，但对于其他运动障碍人群的帮助不够高效直 图1系统架构 接：王行愚等[将脑电技术成功应用于病人的生活 Fig.1 The system framework 辅助和康复训练、游戏娱乐等广泛领域但对用户限制 较多，即用户只能完成固定活动：吴边等山设计的虚 如果对每一种运动障碍情况都单独设计一个交 互系统，这无疑是资源的浪费，也给目标用户在经济 拟中文输入法虽然仅依靠与某种预期相关P300的产 和学习上带来巨大负担。因此，本文将输人输出设备 生，但在使用过程中需要多次在笔划与汉字之间切 与系统交互软件分离，不同的用户使用不同设备完成 换，以保证该笔划下包含使用者预期的汉字，且当不 与同一辅助系统的交互，这种模式既满足了用户发展 会书汉字时将无法使用。目前社会上依托计算机设 备的交流平台均是针对无运动障碍的健全人设计的， 性需求、扩大了适用人群范围，又减少了软件系统更 替带来的巨大代价，为目标用户节省了时间与金钱。 诸如各类电视电话会议、微博、微信、Facebook等，这 些都不能满足运动障碍人群的需要。 2系统实现 本文将上述情况定义为：人们因神经肌肉通道 受损导致运动障碍，从而造成难以使用计算机设备 根据需求分析和设计思路，本文实现了一种人机 进行人与人之间的交流，形成了“非对称交流”这种 交互系统。考虑到目标用户输入带宽受运动障碍的影 模式即“运动障碍人-计算机设备-网络-计算机设 响，本文选择最困难的极限情况来完成系统，即仅使用 备-正常人”。本文从非对称交流需求出发，根据运 1-Bt键盘信号作为系统输入。因此只要是能够发射或 动障碍人群自身情况繁多的特点，提出借助输入设 间接输出键盘信号的外围设备都可以作为该系统的输 备来扩展交互系统适用人群的方法，本文研制了一 入设备。该系统依托基础模块：虚拟鼠标、虚拟中文键 种人机交互系统，实验表明该系统可以为运动障碍 盘和快捷功能3个部分，支持了输入输出设备与交互 人群提供交互帮助。 软件的分离，且操作不受限于任何固定设置，同时高 效、人性化的界面设计解放了目标用户物理运动障碍， 1系统设计 为重度残疾人群交流打开了一扇新的窗户。 本文将运动障碍的用户称之为“目标用户”，对 2.1基础模块设计 他们来说，最重要的是拥有一种替代性的交流途径 2.1.1虚拟鼠标 帮助他们表达自身的想法与诉求，且该表达途径应 考虑到用户能力上的限制与已有的使用习惯，系 尽量利用目标用户现有的物理运动和思维能力。通 统提供了虚拟鼠标，借鉴了物理鼠标的使用特点，利 过在协和医院调研、网上与病人沟通以及在病房中 用界面设计辅助技术弥补目标用户在物理运动能力 与家属和护工面对面交流后，从多个角度对目标用 上的不足。虚拟鼠标由9个图标组成，每个图标对应 户交流的能力与特点进行分析，提出一种理论模型 一种系统功能。图标按照一定顺序轮流闪烁，用户在 用以指导运动障碍人群使用的交互系统。该模型由 图标闪烁时发出选中信号来实现对应功能，因此，仅 6个元素组成，其中前3个元素从目标用户心理[] 需要1-Bt的输入信号就可以触发有关功能。某功能 角度出发，分别为系统可控性、认知直观性和交互独 对应图标在闪烁时被触发，屏幕上的光标就会向相应 立性：后3个元素从辅助技术设计[)角度出发，分 的方向移动或暂停，同时，鼠标轮转板也会跟随光标 别为功能可供性、系统鲁棒性和普遍适应性。同时， 同步移动。该虚拟鼠标模块与物理鼠标一样，能够作 在调查研究中发现对于重度残疾人群来说，单一高 为一种基础工具支持上层交互过程。额外的主菜单 精度的系统接口并不能满足他们的需求，接口必须 按钮、键盘按钮与护理按钮提供了功能组之间的切 适应于日常使用的计算机辅助设备。基于以上 换，使用户能快速定位不同功能
技术［４］ ，它不依赖外周神经系统及肌肉组织，可以 帮助行动不便但思维意识正常的患者，使其在一定 程度上修复与外界的信息交流能力，从而改善他们 的生活质量［５⁃６］ 。 我国从 ２０ 世纪末期开始进入人口 老龄化阶段［７］ ，未来十几年老龄化将呈现加速发展 态势，并将于 ２０３０ 年超过日本，成为全球老龄化程 度最高的国家［８］ 。 老人们部分或完全丧失劳动能 力甚至自理能力，也急需为他们提供一种辅助交流 手段以弥补他们自身的运动缺陷。 对此，许多研究者做了大量工作，徐静等［９］ 对儿 童自闭症的交流进行了大量研究并提出较理想的解 决方案，但对于其他运动障碍人群的帮助不够高效直 接；王行愚等［１０］ 将脑电技术成功应用于病人的生活 辅助和康复训练、游戏娱乐等广泛领域但对用户限制 较多，即用户只能完成固定活动；吴边等［１１］设计的虚 拟中文输入法虽然仅依靠与某种预期相关 Ｐ３００ 的产 生，但在使用过程中需要多次在笔划与汉字之间切 换，以保证该笔划下包含使用者预期的汉字，且当不 会书汉字时将无法使用。 目前社会上依托计算机设 备的交流平台均是针对无运动障碍的健全人设计的， 诸如各类电视电话会议、微博、微信、Ｆａｃｅｂｏｏｋ 等，这 些都不能满足运动障碍人群的需要。 本文将上述情况定义为：人们因神经肌肉通道 受损导致运动障碍，从而造成难以使用计算机设备 进行人与人之间的交流，形成了“非对称交流”这种 模式，即“运动障碍人－计算机设备－网络－计算机设 备－正常人”。 本文从非对称交流需求出发，根据运 动障碍人群自身情况繁多的特点，提出借助输入设 备来扩展交互系统适用人群的方法，本文研制了一 种人机交互系统，实验表明该系统可以为运动障碍 人群提供交互帮助。 １ 系统设计 本文将运动障碍的用户称之为“目标用户”，对 他们来说，最重要的是拥有一种替代性的交流途径 帮助他们表达自身的想法与诉求，且该表达途径应 尽量利用目标用户现有的物理运动和思维能力。 通 过在协和医院调研、网上与病人沟通以及在病房中 与家属和护工面对面交流后，从多个角度对目标用 户交流的能力与特点进行分析，提出一种理论模型 用以指导运动障碍人群使用的交互系统。 该模型由 ６ 个元素组成，其中前 ３ 个元素从目标用户心理［１２］ 角度出发，分别为系统可控性、认知直观性和交互独 立性；后 ３ 个元素从辅助技术设计［１３］ 角度出发，分 别为功能可供性、系统鲁棒性和普遍适应性。 同时， 在调查研究中发现对于重度残疾人群来说，单一高 精度的系统接口并不能满足他们的需求，接口必须 适应于日常使用的计算机辅助设备［１４］ 。 基于以上 ６ 个元素，并结合目标用户自身存在运动障碍的特 点，提出系统架构如图 １ 所示。 图 １ 系统架构 Ｆｉｇ． １ Ｔｈｅ ｓｙｓｔｅｍ ｆｒａｍｅｗｏｒｋ 如果对每一种运动障碍情况都单独设计一个交 互系统，这无疑是资源的浪费，也给目标用户在经济 和学习上带来巨大负担。 因此，本文将输入输出设备 与系统交互软件分离，不同的用户使用不同设备完成 与同一辅助系统的交互，这种模式既满足了用户发展 性需求、扩大了适用人群范围，又减少了软件系统更 替带来的巨大代价，为目标用户节省了时间与金钱。 ２ 系统实现 根据需求分析和设计思路，本文实现了一种人机 交互系统。 考虑到目标用户输入带宽受运动障碍的影 响，本文选择最困难的极限情况来完成系统，即仅使用 １⁃Ｂｉｔ 键盘信号作为系统输入。 因此只要是能够发射或 间接输出键盘信号的外围设备都可以作为该系统的输 入设备。 该系统依托基础模块：虚拟鼠标、虚拟中文键 盘和快捷功能 ３ 个部分，支持了输入输出设备与交互 软件的分离，且操作不受限于任何固定设置，同时高 效、人性化的界面设计解放了目标用户物理运动障碍， 为重度残疾人群交流打开了一扇新的窗户。 ２．１ 基础模块设计 ２．１．１ 虚拟鼠标 考虑到用户能力上的限制与已有的使用习惯，系 统提供了虚拟鼠标，借鉴了物理鼠标的使用特点，利 用界面设计辅助技术弥补目标用户在物理运动能力 上的不足。 虚拟鼠标由 ９ 个图标组成，每个图标对应 一种系统功能。 图标按照一定顺序轮流闪烁，用户在 图标闪烁时发出选中信号来实现对应功能，因此，仅 需要 １⁃Ｂｉｔ 的输入信号就可以触发有关功能。 某功能 对应图标在闪烁时被触发，屏幕上的光标就会向相应 的方向移动或暂停，同时，鼠标轮转板也会跟随光标 同步移动。 该虚拟鼠标模块与物理鼠标一样，能够作 为一种基础工具支持上层交互过程。 额外的主菜单 按钮、键盘按钮与护理按钮提供了功能组之间的切 换，使用户能快速定位不同功能。 第 ４ 期 程煜，等：１⁃Ｂｉｔ 人机交互系统 ·５２９·
.530. 智能系统学报 第10卷 表格内可自由选择当前所需完成的动作和想要表达 点击 的想法，如翻身、喝水、抬屁股、小便等。该表格根据 主界面 病人真实使用图片卡整理设计完成。表格内每一种 选项会按照一定的顺序轮流闪烁，用户可以在某一 图标闪烁时发出选中信号来选择某项功能，因此仅 需1-Bt的输入信号就可触发该模块提供的功能，选 键盘 中后系统会自动进行语音播报以提醒护工或家属 注意。 护理 图2虚拟鼠标界面 Nursecare Browser Movie Notebook Communication Fig.2 Interface of virtual mouse 中8 2.1.2虚拟中文键盘 289 物理键盘按键不仅小、多，且排列紧密，运动障 碍人群无法进行有效操作，因此本文提供虚拟中文 图4快捷图标 键盘来取代物理键盘，其输入为1-Bi的键盘信号。 Fig.4 Shortcut icon 该虚拟中文键盘中，本文将备选的选项分别置于不 2.2整体设计与实现 同列，这些选项列将按照从左至右的顺序依次闪烁， 由于交互系统仅仅需要1-Bit的输入信号，因此 当轮询到某一目标列时，用户发出输入信号选中这 列内容。汉语拼音由声母、韵母和音调3个部分构 只要用户一个手指可以自发进行小幅度“按下”、 成，为了使输入方法的选择最高效，本文对音调进行 “拾起”就可以使用外接数字键盘进行系统操作。 在此，本文选用触摸式数字键盘作为输入设备，此种 弱化处理。用户首先选择声母所在的组，然后系统 会反馈可以与该组别当中声母组合的韵母组，用户 键盘对手指力量没有要求，能够很好地迎合重度残 选定相应的韵母组后会得到一系列拼音组合，选择 疾人群的实际情况，触摸式数字键盘如图5所示。 目标拼音组合，系统就会呈现出该拼音下的所有常 用汉字，最后一步的操作就是选择想要输出的汉字。 另外该输入模块也提供了多种字母、数字、标点符号 的输入，其交互方法与汉字输入的交互方法类似。 除了汉字输入功能外，本文将其他使用频率较高的 快捷功能进行整合以方便用户进行切换。 字母 d 无声zh 数符 1 ch C 图5触摸式数字键盘 刷除 m k q y Fig.5 Touch numeric keyboard 换行 h sh 针对运动能力稍强一些还可使用MY0腕带 退出 (手势控制臂环)，只要动动手指或者手，就能操作 该产品，与之发生互动。 如果用户丧失了微弱的运动能力，还可以使用 “脑机接口”作为输入设备来进行系统操作，目前有 图3虚拟中文键盘界面 NeuroSky MindWave Headset,NeuroSky Mindwave Fig.3 Interface of Chinese input method Mobile Myndplay Bundle以及Emotiv Epoc神经头 2.1.3快捷功能 盔等。 针对目标用户的常用功能，本文单独设计了网 输出模块的整套设备包括一个平板电脑、液晶 页浏览器、视频播放器、文档输入以及护理保障等快 显示器和用于固定的轻便三角支架，其中显示器的 捷图标，以便用户更高效的实现预期目标。其中护 角度和位置可以自由调整以迎合用户不同姿势的个 理保障模块作为系统一项特色功能，即病人在一张 性需求
图 ２ 虚拟鼠标界面 Ｆｉｇ． ２ Ｉｎｔｅｒｆａｃｅ ｏｆ ｖｉｒｔｕａｌ ｍｏｕｓｅ ２．１．２ 虚拟中文键盘 物理键盘按键不仅小、多，且排列紧密，运动障 碍人群无法进行有效操作，因此本文提供虚拟中文 键盘来取代物理键盘，其输入为 １⁃Ｂｉｔ 的键盘信号。 该虚拟中文键盘中，本文将备选的选项分别置于不 同列，这些选项列将按照从左至右的顺序依次闪烁， 当轮询到某一目标列时，用户发出输入信号选中这 列内容。 汉语拼音由声母、韵母和音调 ３ 个部分构 成，为了使输入方法的选择最高效，本文对音调进行 弱化处理。 用户首先选择声母所在的组，然后系统 会反馈可以与该组别当中声母组合的韵母组，用户 选定相应的韵母组后会得到一系列拼音组合，选择 目标拼音组合，系统就会呈现出该拼音下的所有常 用汉字，最后一步的操作就是选择想要输出的汉字。 另外该输入模块也提供了多种字母、数字、标点符号 的输入，其交互方法与汉字输入的交互方法类似。 除了汉字输入功能外，本文将其他使用频率较高的 快捷功能进行整合以方便用户进行切换。 图 ３ 虚拟中文键盘界面 Ｆｉｇ． ３ Ｉｎｔｅｒｆａｃｅ ｏｆ Ｃｈｉｎｅｓｅ ｉｎｐｕｔ ｍｅｔｈｏｄ ２．１．３ 快捷功能 针对目标用户的常用功能，本文单独设计了网 页浏览器、视频播放器、文档输入以及护理保障等快 捷图标，以便用户更高效的实现预期目标。 其中护 理保障模块作为系统一项特色功能，即病人在一张 表格内可自由选择当前所需完成的动作和想要表达 的想法，如翻身、喝水、抬屁股、小便等。 该表格根据 病人真实使用图片卡整理设计完成。 表格内每一种 选项会按照一定的顺序轮流闪烁，用户可以在某一 图标闪烁时发出选中信号来选择某项功能，因此仅 需 １⁃Ｂｉｔ 的输入信号就可触发该模块提供的功能，选 中后系统会自动进行语音播报以提醒护工或家属 注意。 图 ４ 快捷图标 Ｆｉｇ． ４ Ｓｈｏｒｔｃｕｔ ｉｃｏｎ ２．２ 整体设计与实现 由于交互系统仅仅需要 １⁃Ｂｉｔ 的输入信号，因此 只要用户一个手指可以自发进行小幅度“按下”、 “抬起” 就可以使用外接数字键盘进行系统操作。 在此，本文选用触摸式数字键盘作为输入设备，此种 键盘对手指力量没有要求，能够很好地迎合重度残 疾人群的实际情况，触摸式数字键盘如图 ５ 所示。 图 ５ 触摸式数字键盘 Ｆｉｇ． ５ Ｔｏｕｃｈ ｎｕｍｅｒｉｃ ｋｅｙｂｏａｒｄ 针对运动能力稍强一些还可使用 ＭＹＯ 腕带 （手势控制臂环），只要动动手指或者手，就能操作 该产品，与之发生互动。 如果用户丧失了微弱的运动能力，还可以使用 “脑机接口”作为输入设备来进行系统操作，目前有 ＮｅｕｒｏＳｋｙ ＭｉｎｄＷａｖｅ Ｈｅａｄｓｅｔ、 ＮｅｕｒｏＳｋｙ Ｍｉｎｄｗａｖｅ Ｍｏｂｉｌｅ Ｍｙｎｄｐｌａｙ Ｂｕｎｄｌｅ 以及 Ｅｍｏｔｉｖ Ｅｐｏｃ 神经头 盔等。 输出模块的整套设备包括一个平板电脑、液晶 显示器和用于固定的轻便三角支架，其中显示器的 角度和位置可以自由调整以迎合用户不同姿势的个 性需求。 ·５３０· 智 能 系 统 学 报 第 １０ 卷
第4期 程煜，等：1-Bit人机交互系统 ·531. 模拟用户测试 用户在较短的时间内理解系统功能与交互方式的基 3 本要求。使用Emotiv Epoc头盔的用户测试数据来 在医院调研后，根据用户实际情况将测试分为 看，“脑机接口”作为输入控制外设是可行的，软件 2个部分，具备一定活动能力的使用本文自主研发 系统中的输入处理模块也起到应有的作用，然而 的触摸式数字键盘作为输入设备：丧失微弱活动能 “脑机接口”的使用效率与精确度仍有待提高。由 力的使用脑电控制系统，虽然系统仅需要1-Bt输 于“脑机接口”在实际使用效率上一定程度也受用 入，但考虑到多电极的稳定性，本文选择使用Emotiv 户个体因素的影响，有效的训练方法与系统的可控 Epo心神经头盔，该头盔便携、佩戴舒适、安全系数高 性密不可分。 且可长时间使用的特点满足了用户日常使用需求， 4 结束语 同时，Emotiv Epoc低廉的价格也保证了该产品能被 广大用户所接受5)。 本文做出了如下儿方面的工作和创新： 由于未签署任何测试协议，安全起见，本文通过 1)根据目标用户情况复杂的特点提出了将输 正常人进行模拟测试。2位测试者之前都未接触过 入输出设备与系统交互软件分离的设计思路，扩大 该交互系统，也没有经过任何“脑机接口”训练与测 了系统适用范围，降低了用户经济成本。 试。在正式测试开始前，2人首先熟悉了系统软件 2)通过调研和分析，总结出运动障碍人群交流 的使用，并进行了为期3个星期的Emotiv Epoe神经 的需求并提出了非交互模型的6个元素，包括3个 头盔使用性训练，训练结果显示，2人对于该神经头 心理元素和3个技术元素。 盔的正确使用率在90%以上，但他们并未使用该头 3)设计完成了独立于具体任务的基础模块即 盔进行交互系统的控制。 虚拟鼠标和虚拟中文键盘，用户在使用这2个模块 在实际测试中，2名测试者需要分别使用触摸 时不受限于任何特定环境或特定任务，满足用户交 式数字键盘和Emotiv Epoc头盔对交互系统进行操 互需求的同时大大增强了用户心理成就感。 作，测试步骤如下： 4)在极限条件即以1-Bit作为输入的情况下， 1)选择浏览器按钮： 实现了人机交互系统的研制，解决了重度残疾人群 2)浏览一条新闻： 的交互问题。 3)选择记事本按钮： 然而系统现有的输入控制外设仅考虑了数字键 4)输入“你好！”并保存： 盘与“脑机接口”，根据用户实际情况，可以加入对 5)选择护理模块： 其他多种外设的引入，如蓝牙指环、肌电信号等。 6)选择“身下有压物”护理提示。 外对于运动能力受限的人群，即健全人受到外界环 本文记录下测试用户使用不同输入控制外设完 境影响导致运动能力障碍，这类情况更复杂多样，但 成上述步骤所用的时间、步骤数以及每一步的操作 可将不同受限情况对应于运动能力障碍的不同程度 结果[6用于后续的数据分析。 和该障碍所持续的不同时长来理解，因此还可就交 互模型适用于运动受限人群的非对称交流做进一步 表1测试数据 Table 1 Test data 研究。 用户 时间/s 操作数/次 精确度/% 参考文献： 键盘脑机键盘脑机键盘脑机 [1]傅铭今.我国电子通信技术发展概貌[J].中国高新技术 I 25758029 36 93.186 企业，2013(9)：6-7. Ⅱ250649273910079 [2]WOLPAW J R,BIRBAUMER N,MCFARLAND D J,et al. 用户测试所得数据如表1。在最优情况下，用 Brain-computer interfaces for communication and control 户完成上述活动的最少操作数为27。本文将精确 [J].Clinical Neurophysiology,2002,113(6):767-791. 度定义为用户能够使用外部输入设备完成目标操作 [3]WIJAYASEKARA D,MANIC M.Human machine interac- 的程度，具体的计算方法为完成某项活动的最少操 tion via brain activity monitoring[C]//2013 The 6th Inter- national Conference on Human System Interaction (HSI). 作数与完成某项活动的实际操作数之比，在每一组 Sopot:EEE,2013:103-109. 测试中，分子相同，用户犯的错误越多，错误修正的 [4]VOURVOPOULOS A,LIAROKAPIS F.Robot navigation u- 代价越大，实际操作数越多，相应的操作精确度就 sing brain-computer interfaces C//2012 IEEE 11th Inter- 越低。 national Conference on Trust,Security and Privacy in Com- puting and Communications (TrustCom).Liverpool:IEEE, 使用数字键盘的平均操作精确度能达到 2012:1785-1792. 95.5%。一方面说明系统设计上的直观性与人性 [5]胡瑜，陈涛.基于C-C算法的混沌吸引子的相空间重构 化，另一方面也证明了整个系统的可控性，达到了让 技术[J刀.电子测量与仪器学报.2012,26(5)：425-430
３ 模拟用户测试 在医院调研后，根据用户实际情况将测试分为 ２ 个部分，具备一定活动能力的使用本文自主研发 的触摸式数字键盘作为输入设备；丧失微弱活动能 力的使用脑电控制系统，虽然系统仅需要 １⁃Ｂｉｔ 输 入，但考虑到多电极的稳定性，本文选择使用 Ｅｍｏｔｉｖ Ｅｐｏｃ 神经头盔，该头盔便携、佩戴舒适、安全系数高 且可长时间使用的特点满足了用户日常使用需求， 同时，Ｅｍｏｔｉｖ Ｅｐｏｃ 低廉的价格也保证了该产品能被 广大用户所接受［１５］ 。 由于未签署任何测试协议，安全起见，本文通过 正常人进行模拟测试。 ２ 位测试者之前都未接触过 该交互系统，也没有经过任何“脑机接口”训练与测 试。 在正式测试开始前，２ 人首先熟悉了系统软件 的使用，并进行了为期 ３ 个星期的 Ｅｍｏｔｉｖ Ｅｐｏｃ 神经 头盔使用性训练，训练结果显示，２ 人对于该神经头 盔的正确使用率在 ９０％以上，但他们并未使用该头 盔进行交互系统的控制。 在实际测试中，２ 名测试者需要分别使用触摸 式数字键盘和 Ｅｍｏｔｉｖ Ｅｐｏｃ 头盔对交互系统进行操 作，测试步骤如下： １）选择浏览器按钮； ２）浏览一条新闻； ３）选择记事本按钮； ４）输入“你好！”并保存； ５）选择护理模块； ６）选择“身下有压物”护理提示。 本文记录下测试用户使用不同输入控制外设完 成上述步骤所用的时间、步骤数以及每一步的操作 结果［１６］用于后续的数据分析。 表 １ 测试数据 Ｔａｂｌｅ １ Ｔｅｓｔ ｄａｔａ 用户 时间／ ｓ 键盘 脑机 操作数／ 次 键盘 脑机 精确度／ ％ 键盘 脑机 Ⅰ ２５７ ５８０ ２９ ３６ ９３．１ ８６ Ⅱ ２５０ ６４９ ２７ ３９ １００ ７９ 用户测试所得数据如表 １。 在最优情况下，用 户完成上述活动的最少操作数为 ２７。 本文将精确 度定义为用户能够使用外部输入设备完成目标操作 的程度，具体的计算方法为完成某项活动的最少操 作数与完成某项活动的实际操作数之比，在每一组 测试中，分子相同，用户犯的错误越多，错误修正的 代价越大，实际操作数越多，相应的操作精确度就 越低。 使用 数 字 键 盘 的 平 均 操 作 精 确 度 能 达 到 ９５．５％。 一方面说明系统设计上的直观性与人性 化，另一方面也证明了整个系统的可控性，达到了让 用户在较短的时间内理解系统功能与交互方式的基 本要求。 使用 Ｅｍｏｔｉｖ Ｅｐｏｃ 头盔的用户测试数据来 看，“脑机接口”作为输入控制外设是可行的，软件 系统中的输入处理模块也起到应有的作用，然而 “脑机接口”的使用效率与精确度仍有待提高。 由 于“脑机接口”在实际使用效率上一定程度也受用 户个体因素的影响，有效的训练方法与系统的可控 性密不可分。 ４ 结束语 本文做出了如下几方面的工作和创新： １）根据目标用户情况复杂的特点提出了将输 入输出设备与系统交互软件分离的设计思路，扩大 了系统适用范围，降低了用户经济成本。 ２）通过调研和分析，总结出运动障碍人群交流 的需求并提出了非交互模型的 ６ 个元素，包括 ３ 个 心理元素和 ３ 个技术元素。 ３）设计完成了独立于具体任务的基础模块即 虚拟鼠标和虚拟中文键盘，用户在使用这 ２ 个模块 时不受限于任何特定环境或特定任务，满足用户交 互需求的同时大大增强了用户心理成就感。 ４）在极限条件即以 １⁃Ｂｉｔ 作为输入的情况下， 实现了人机交互系统的研制，解决了重度残疾人群 的交互问题。 然而系统现有的输入控制外设仅考虑了数字键 盘与“脑机接口”，根据用户实际情况，可以加入对 其他多种外设的引入，如蓝牙指环、肌电信号等。 另 外对于运动能力受限的人群，即健全人受到外界环 境影响导致运动能力障碍，这类情况更复杂多样，但 可将不同受限情况对应于运动能力障碍的不同程度 和该障碍所持续的不同时长来理解，因此还可就交 互模型适用于运动受限人群的非对称交流做进一步 研究。 参考文献： ［１］傅铭今． 我国电子通信技术发展概貌［Ｊ］． 中国高新技术 企业， ２０１３（９）： ６⁃７． ［ ２］ＷＯＬＰＡＷ Ｊ Ｒ， ＢＩＲＢＡＵＭＥＲ Ｎ， ＭＣＦＡＲＬＡＮＤ Ｄ Ｊ， ｅｔ ａｌ． Ｂｒａｉｎ⁃ｃｏｍｐｕｔｅｒ ｉｎｔｅｒｆａｃｅｓ ｆｏｒ ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ ｃｏｎｔｒｏｌ ［Ｊ］． Ｃｌｉｎｉｃａｌ Ｎｅｕｒｏｐｈｙｓｉｏｌｏｇｙ， ２００２， １１３（６）： ７６７⁃７９１． ［３］ ＷＩＪＡＹＡＳＥＫＡＲＡ Ｄ， ＭＡＮＩＣ Ｍ． Ｈｕｍａｎ ｍａｃｈｉｎｅ ｉｎｔｅｒａｃ⁃ ｔｉｏｎ ｖｉａ ｂｒａｉｎ ａｃｔｉｖｉｔｙ ｍｏｎｉｔｏｒｉｎｇ［Ｃ］ ／ ／ ２０１３ Ｔｈｅ ６ｔｈ Ｉｎｔｅｒ⁃ ｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ Ｓｙｓｔｅｍ Ｉｎｔｅｒａｃｔｉｏｎ （ ＨＳＩ）． Ｓｏｐｏｔ： ＩＥＥＥ， ２０１３： １０３⁃１０９． ［４］ＶＯＵＲＶＯＰＯＵＬＯＳ Ａ， ＬＩＡＲＯＫＡＰＩＳ Ｆ． Ｒｏｂｏｔ ｎａｖｉｇａｔｉｏｎ ｕ⁃ ｓｉｎｇ ｂｒａｉｎ⁃ｃｏｍｐｕｔｅｒ ｉｎｔｅｒｆａｃｅｓ［Ｃ］ ／ ／ ２０１２ ＩＥＥＥ １１ｔｈ Ｉｎｔｅｒ⁃ ｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｔｒｕｓｔ， Ｓｅｃｕｒｉｔｙ ａｎｄ Ｐｒｉｖａｃｙ ｉｎ Ｃｏｍ⁃ ｐｕｔｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ （ＴｒｕｓｔＣｏｍ）． Ｌｉｖｅｒｐｏｏｌ： ＩＥＥＥ， ２０１２： １７８５⁃１７９２． ［５］胡瑜， 陈涛． 基于 Ｃ⁃Ｃ 算法的混沌吸引子的相空间重构 技术［Ｊ］． 电子测量与仪器学报， ２０１２， ２６（５）： ４２５⁃４３０． 第 ４ 期 程煜，等：１⁃Ｂｉｔ 人机交互系统 ·５３１·
.532. 智能系统学报 第10卷 HU Yu,CHEN Tao.Phase-space reconstruction technology [13]HERSH M A,JOHNSON M A.On modelling assistive of chaotic attractor based on C-C method[J].Journal of E- technology systems-Part I:modelling framework J]. lectronic Measurement and Instrument,2012,26(5):425- Technology and Disability,2008,20:193-215. 430. [14]AL-GHAMDI N,AL-HUDHUD G,ALZAMEL M,et al. [6]李明爱，马建勇，杨金福.基于小波包和嫡准则的最优 Trials and tribulations of BCI control applications[C]/ 频段提取方法[J].仪器仪表学报，2012,33(8)：1721 2013 Science and Information Conference (SAI).London: 1728. IEEE.2013:212-217. LI Ming'ai,MA Jianyong,YANG Jinfu.Optimal frequency [15]VAN VLIET M,ROBBEN A,CHUMERIN N,et al.De- band extraction method based on wavelet packet and entropy signing a brain-computer interface controlled video-game u- criterion[J].Chinese Journal of Scientific Instrument, sing consumer grade EEG hardware [C]//2012 ISSNIP 2012,33(8):1721-1728. Biosignals and Biorobotics Conference BRC).Manaus: [7]BARRO R,MANKIW N M,SALA-I-MARTIN X.Capital IEEE,2012:1-6. mobility in neoclassical models of growth[J].The American [16]BIANCHI L.QUITADAMO L R,GARREFFA G.et al. Economic Review,1995,85(1):103-115. Performances evaluation and optimization of brain computer [8]BARRO R J.Health,human capital and economic growth interface systems in a copy spelling task[J].IEEE Trans- [R].Washington,DC:Pan American Health Organization, actions on Neural Systems and Rehabilitation Engineering, 1996. 2007,15(2):207-216 [9]徐静，彭宗勤.应用辅助沟通系统促进自闭症儿童语言 作者简介： 和沟通能力的发展[J】.中国组织工程研究与临床康复， 程煜，男，1986年生，硕士研究生 2007,11(13):2540-2543. 主要研究方向人机交互、3D图像处理。 XU Jing,PENG Zongqin.Improvement of language and communication ability in children with autism by assistant communication system[J].Journal of Clinical Rehabilitative Tissue Engineering Research,2007,11(13):2540-2543. [10]王行愚，金晶，张字，等.脑控：基于脑-机接口的人机 融合控制[J].自动化学报，2013,39(3)：208-221. 张鸣宇，女，1993年生，主要研究方 WANG Xingyu,JIN Jing,ZHANG Yu,et al.Brain con- 向为人机交互。 trol:human-computer integration control based on brain- computer interface.Acta Automatica Sinica,2013,39 (3):208-221. [11]吴边，苏煜，张剑慧，等.基于P300电位的新型BCI中 文输入虚拟键盘系统[J].电子学报，2009,37(8)： 1733-1738. 陶霖密，男，1962年生，副教授，主 WU Bian,SU Yu,ZHANG Jianhui,et al.A virtual Chi- 要研究方向为人机交互、计算机视觉与 nese keyboard BCI system based on P300 potentials[J]. 模式识别。承担的项目有国家重点基 Acta Electronica Sinica,2009,37(8):1733-1738. 金情感计算，以及与BM、INTEL、SE [12]SUNDAR S S,XU Qian,BELLUR S.Designing interactiv- MENS的国际合作基金等重要项目。 ity in media interfaces:a communications perspective [C]//Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.New York:ACM,2010: [责任编辑：王亚秋] 2247-2256
ＨＵ Ｙｕ， ＣＨＥＮ Ｔａｏ． Ｐｈａｓｅ⁃ｓｐａｃｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ｏｆ ｃｈａｏｔｉｃ ａｔｔｒａｃｔｏｒ ｂａｓｅｄ ｏｎ Ｃ⁃Ｃ ｍｅｔｈｏｄ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｅ⁃ ｌｅｃｔｒｏｎｉｃ Ｍｅａｓｕｒｅｍｅｎｔ ａｎｄ Ｉｎｓｔｒｕｍｅｎｔ， ２０１２， ２６（５）： ４２５⁃ ４３０． ［６］李明爱， 马建勇， 杨金福． 基于小波包和熵准则的最优 频段提取方法［Ｊ］． 仪器仪表学报， ２０１２， ３３（８）： １７２１⁃ １７２８． ＬＩ Ｍｉｎｇ ＇ａｉ，ＭＡ Ｊｉａｎｙｏｎｇ，ＹＡＮＧ Ｊｉｎｆｕ． Ｏｐｔｉｍａｌ ｆｒｅｑｕｅｎｃｙ ｂａｎｄ ｅｘｔｒａｃｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｗａｖｅｌｅｔ ｐａｃｋｅｔ ａｎｄ ｅｎｔｒｏｐｙ ｃｒｉｔｅｒｉｏｎ ［ Ｊ ］． Ｃｈｉｎｅｓｅ Ｊｏｕｒｎａｌ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｉｎｓｔｒｕｍｅｎｔ， ２０１２， ３３（８）： １７２１⁃１７２８． ［７］ＢＡＲＲＯ Ｒ， ＭＡＮＫＩＷ Ｎ Ｍ， ＳＡＬＡ⁃Ｉ⁃ＭＡＲＴＩＮ Ｘ． Ｃａｐｉｔａｌ ｍｏｂｉｌｉｔｙ ｉｎ ｎｅｏｃｌａｓｓｉｃａｌ ｍｏｄｅｌｓ ｏｆ ｇｒｏｗｔｈ［Ｊ］． Ｔｈｅ Ａｍｅｒｉｃａｎ Ｅｃｏｎｏｍｉｃ Ｒｅｖｉｅｗ， １９９５， ８５（１）： １０３⁃１１５． ［８］ＢＡＲＲＯ Ｒ Ｊ． Ｈｅａｌｔｈ， ｈｕｍａｎ ｃａｐｉｔａｌ ａｎｄ ｅｃｏｎｏｍｉｃ ｇｒｏｗｔｈ ［Ｒ］． Ｗａｓｈｉｎｇｔｏｎ， ＤＣ： Ｐａｎ Ａｍｅｒｉｃａｎ Ｈｅａｌｔｈ Ｏｒｇａｎｉｚａｔｉｏｎ， １９９６． ［９］徐静， 彭宗勤． 应用辅助沟通系统促进自闭症儿童语言 和沟通能力的发展［Ｊ］． 中国组织工程研究与临床康复， ２００７， １１（１３）： ２５４０⁃２５４３． ＸＵ Ｊｉｎｇ， ＰＥＮＧ Ｚｏｎｇｑｉｎ． Ｉｍｐｒｏｖｅｍｅｎｔ ｏｆ ｌａｎｇｕａｇｅ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｂｉｌｉｔｙ ｉｎ ｃｈｉｌｄｒｅｎ ｗｉｔｈ ａｕｔｉｓｍ ｂｙ ａｓｓｉｓｔａｎｔ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｃｌｉｎｉｃａｌ Ｒｅｈａｂｉｌｉｔａｔｉｖｅ Ｔｉｓｓｕｅ Ｅｎｇｉｎｅｅｒｉｎｇ Ｒｅｓｅａｒｃｈ， ２００７， １１（１３）： ２５４０⁃２５４３． ［１０］王行愚， 金晶， 张宇， 等． 脑控： 基于脑－机接口的人机 融合控制［Ｊ］． 自动化学报， ２０１３， ３９（３）： ２０８⁃２２１． ＷＡＮＧ Ｘｉｎｇｙｕ， ＪＩＮ Ｊｉｎｇ， ＺＨＡＮＧ Ｙｕ， ｅｔ ａｌ． Ｂｒａｉｎ ｃｏｎ⁃ ｔｒｏｌ： ｈｕｍａｎ⁃ｃｏｍｐｕｔｅｒ ｉｎｔｅｇｒａｔｉｏｎ ｃｏｎｔｒｏｌ ｂａｓｅｄ ｏｎ ｂｒａｉｎ⁃ ｃｏｍｐｕｔｅｒ ｉｎｔｅｒｆａｃｅ［Ｊ］． Ａｃｔａ Ａｕｔｏｍａｔｉｃａ Ｓｉｎｉｃａ， ２０１３， ３９ （３）： ２０８⁃２２１． ［１１］吴边， 苏煜， 张剑慧， 等． 基于 Ｐ３００ 电位的新型 ＢＣＩ 中 文输入虚拟键盘系统［ Ｊ］． 电子学报， ２００９， ３７ （ ８）： １７３３⁃１７３８． ＷＵ Ｂｉａｎ， ＳＵ Ｙｕ， ＺＨＡＮＧ Ｊｉａｎｈｕｉ， ｅｔ ａｌ． Ａ ｖｉｒｔｕａｌ Ｃｈｉ⁃ ｎｅｓｅ ｋｅｙｂｏａｒｄ ＢＣＩ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ Ｐ３００ ｐｏｔｅｎｔｉａｌｓ ［ Ｊ］． Ａｃｔａ Ｅｌｅｃｔｒｏｎｉｃａ Ｓｉｎｉｃａ， ２００９， ３７（８）： １７３３⁃１７３８． ［１２］ＳＵＮＤＡＲ Ｓ Ｓ， ＸＵ Ｑｉａｎ， ＢＥＬＬＵＲ Ｓ． Ｄｅｓｉｇｎｉｎｇ ｉｎｔｅｒａｃｔｉｖ⁃ ｉｔｙ ｉｎ ｍｅｄｉａ ｉｎｔｅｒｆａｃｅｓ： ａ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｐｅｒｓｐｅｃｔｉｖｅ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＳＩＧＣＨＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ Ｆａｃｔｏｒｓ ｉｎ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ． Ｎｅｗ Ｙｏｒｋ： ＡＣＭ， ２０１０： ２２４７⁃２２５６． ［１３］ ＨＥＲＳＨ Ｍ Ａ， ＪＯＨＮＳＯＮ Ｍ Ａ． Ｏｎ ｍｏｄｅｌｌｉｎｇ ａｓｓｉｓｔｉｖｅ ｔｅｃｈｎｏｌｏｇｙ ｓｙｓｔｅｍｓ⁃Ｐａｒｔ Ｉ： ｍｏｄｅｌｌｉｎｇ ｆｒａｍｅｗｏｒｋ ［ Ｊ ］． Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｄｉｓａｂｉｌｉｔｙ， ２００８， ２０： １９３⁃２１５． ［１４］ＡＬ⁃ＧＨＡＭＤＩ Ｎ， ＡＬ⁃ＨＵＤＨＵＤ Ｇ， ＡＬＺＡＭＥＬ Ｍ， ｅｔ ａｌ． Ｔｒｉａｌｓ ａｎｄ ｔｒｉｂｕｌａｔｉｏｎｓ ｏｆ ＢＣＩ ｃｏｎｔｒｏｌ ａｐｐｌｉｃａｔｉｏｎｓ ［ Ｃ］ ／ ／ ２０１３ Ｓｃｉｅｎｃｅ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ （ＳＡＩ）． Ｌｏｎｄｏｎ： ＩＥＥＥ， ２０１３： ２１２⁃２１７． ［１５］ＶＡＮ ＶＬＩＥＴ Ｍ， ＲＯＢＢＥＮ Ａ， ＣＨＵＭＥＲＩＮ Ｎ， ｅｔ ａｌ． Ｄｅ⁃ ｓｉｇｎｉｎｇ ａ ｂｒａｉｎ⁃ｃｏｍｐｕｔｅｒ ｉｎｔｅｒｆａｃｅ ｃｏｎｔｒｏｌｌｅｄ ｖｉｄｅｏ⁃ｇａｍｅ ｕ⁃ ｓｉｎｇ ｃｏｎｓｕｍｅｒ ｇｒａｄｅ ＥＥＧ ｈａｒｄｗａｒｅ ［ Ｃ］ ／ ／ ２０１２ ＩＳＳＮＩＰ Ｂｉｏｓｉｇｎａｌｓ ａｎｄ Ｂｉｏｒｏｂｏｔｉｃｓ Ｃｏｎｆｅｒｅｎｃｅ （ ＢＲＣ）． Ｍａｎａｕｓ： ＩＥＥＥ， ２０１２： １⁃６． ［１６］ＢＩＡＮＣＨＩ Ｌ， ＱＵＩＴＡＤＡＭＯ Ｌ Ｒ， ＧＡＲＲＥＦＦＡ Ｇ， ｅｔ ａｌ． Ｐｅｒｆｏｒｍａｎｃｅｓ ｅｖａｌｕａｔｉｏｎ ａｎｄ ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆ ｂｒａｉｎ ｃｏｍｐｕｔｅｒ ｉｎｔｅｒｆａｃｅ ｓｙｓｔｅｍｓ ｉｎ ａ ｃｏｐｙ ｓｐｅｌｌｉｎｇ ｔａｓｋ［ Ｊ］． ＩＥＥＥ Ｔｒａｎｓ⁃ ａｃｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ Ｓｙｓｔｅｍｓ ａｎｄ Ｒｅｈａｂｉｌｉｔａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ， ２００７， １５（２）： ２０７⁃２１６． 作者简介： 程煜，男，１９８６ 年生，硕士研究生， 主要研究方向人机交互、３Ｄ 图像处理。 张鸣宇，女，１９９３ 年生，主要研究方 向为人机交互。 陶霖密，男，１９６２ 年生，副教授，主 要研究方向为人机交互、计算机视觉与 模式识别。 承担的项目有国家重点基 金情感计算，以及与 ＩＢＭ、ＩＮＴＥＬ、ＳＩＥ⁃ ＭＥＮＳ 的国际合作基金等重要项目。 ［责任编辑：王亚秋］ ·５３２· 智 能 系 统 学 报 第 １０ 卷