第11卷第5期 智能系统学报 Vol.11 No.5 2016年10月 CAAI Transactions on Intelligent Systems 0ct.2016 D0I:10.11992/is.201511004 网络出版地址：htp:/nww.cnki.net/kcms/detail/23.1538.TP.20160824.0929.010.html 混合脑电信号及视觉信息的智能轮椅人机交互系统 张毅，尹春林，蔡军 (重庆邮电大学信息无障碍工程研发中心，重庆400065) 摘要：针对单一脑电信号人机交互系统中受试者长时间运动想象过程中精神极易产生疲乏，导致脑电信号有用信 息量不足造成系统误识别的问题，本文提出一种视觉信息辅助脑电信号的人机交互系统。该系统通过在脑电信号 实时操作中不断地识别眼睛状态，产生一种新的样本更新策略，更新的视觉信息作为系统的反馈，对人机交互闭环 控制系统起到有效的校正作用。通过在智能轮椅平台走一个“8”字形固定轨迹的实验，实验结果表明：视觉信息的 加入有效地避免了单一脑电信号控制智能轮椅由于疲乏问题造成的误识别问题，具有较好的稳定性和鲁棒性，表明 了该人机交互方法的可行性。 关键词：EEG:视觉信息；样本更新；人机交互 中图分类号：TP242.6文献标志码：A文章编号：1673-4785(2016)05-0648-07 中文引用格式：张毅，尹春林，蔡军.混合脑电信号及视觉信息的智能轮椅人机交互系统[J].智能系统学报，2016,11(5)：648-654. 英文引用格式：ZHANG Yi,YIN Chunlin,CAI Jun..On a hybrid electroencephalograph and visual information intelligent wheel- chair human-machine interactive system [J].CAAI transactions on intelligent systems,2016,11(5):648-654. On a hybrid electroencephalograph and visual information intelligent wheelchair human-machine interactive system ZHANG Yi,YIN Chunlin,CAI Jun (Information Accessibility Engineering R&D Center,Chongqing University of Posts and Telecommunications,Chongqing 400065,China) Abstract:To address error recognition problems created by mental fatigue when a human subject partakes in a sin- gle motor imager process for a long period of time,a visual information assisted EEG (electroencephalograph)hu- man-machine interactive control system was proposed.The system produces a new sample updated strategy,with the 'state'of the eyes being recognized by the improved Adaboost algorithm in real-time and the recognition result be- ing used to decide which EEG signal to update as the model parameter for human-machine interaction.An experi- ment on controlling an intelligent wheelchair off a fixed trajectory with a '8'glyph was undertaken.The results show that visual information is adopted effectively by the intelligent wheelchair users to avoid the fatique-related er- ror recognition problem with good levels of efficiency;thus proving that the interactive method is feasible. Keywords:EEG;visual information;sample updated;human-machine interaction 脑机接口(brain computer interface,BCI)是不依高他们的自主活动能力，并在残疾人康复和正常人 赖于大脑外周神经与肌肉系统，在人脑和计算机或 辅助控制领域有着广泛的应用前景[2)。虽然脑电 外部设备之间建立起来的一种通信系统山。它能 信号控制智能轮椅的种类在增多，识别率在不断地提 够为那些失去对所有身体机能控制但思维意识正常。 高，但都是单一脑电人机交互系统，由于脑电信号(e 的残障人士提供一种新型的对外信息交流手段，提 lectro encephalo gram,EEG)的非平稳性和非线性等 问题，且受试者运动想象过程中精神需要长期处于高 收稿日期：2015-11-05.网络出版日期：2016-08-24. 度集中状态，极易疲乏，则容易造成系统的误识别，降 基金项目：科技部国际合作项目(2010DFA12160):国家自然科学基金 低系统的稳定性。在混合控制方面，国内的研究的较 项目(60905066)：国家自然科学基金项目(51075420). 通信作者：尹春林.E-mail:659825946@qg.com. 少。早在20Il年，英国Essex大学的Huosheng Hu就
第 １１ 卷第 ５ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．５ ２０１６ 年 １０ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｏｃｔ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１５１１００４ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１６０８２４．０９２９．０１０．ｈｔｍｌ 混合脑电信号及视觉信息的智能轮椅人机交互系统 张毅，尹春林，蔡军 （重庆邮电大学 信息无障碍工程研发中心，重庆 ４０００６５） 摘 要：针对单一脑电信号人机交互系统中受试者长时间运动想象过程中精神极易产生疲乏，导致脑电信号有用信 息量不足造成系统误识别的问题，本文提出一种视觉信息辅助脑电信号的人机交互系统。 该系统通过在脑电信号 实时操作中不断地识别眼睛状态，产生一种新的样本更新策略，更新的视觉信息作为系统的反馈，对人机交互闭环 控制系统起到有效的校正作用。 通过在智能轮椅平台走一个“８”字形固定轨迹的实验，实验结果表明：视觉信息的 加入有效地避免了单一脑电信号控制智能轮椅由于疲乏问题造成的误识别问题，具有较好的稳定性和鲁棒性，表明 了该人机交互方法的可行性。 关键词：ＥＥＧ；视觉信息；样本更新；人机交互 中图分类号：ＴＰ２４２．６ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０５⁃０６４８⁃０７ 中文引用格式：张毅，尹春林，蔡军．混合脑电信号及视觉信息的智能轮椅人机交互系统［Ｊ］． 智能系统学报， ２０１６， １１（５）：６４８⁃６５４． 英文引用格式：ＺＨＡＮＧ Ｙｉ， ＹＩＮ Ｃｈｕｎｌｉｎ， ＣＡＩ Ｊｕｎ． Ｏｎ ａ ｈｙｂｒｉｄ ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈ ａｎｄ ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌ⁃ ｃｈａｉｒ ｈｕｍａｎ⁃ｍａｃｈｉｎｅ ｉｎｔｅｒａｃｔｉｖｅ ｓｙｓｔｅｍ ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１６，１１（５）：６４８⁃６５４． Ｏｎ ａ ｈｙｂｒｉｄ ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈ ａｎｄ ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌｃｈａｉｒ ｈｕｍａｎ⁃ｍａｃｈｉｎｅ ｉｎｔｅｒａｃｔｉｖｅ ｓｙｓｔｅｍ ＺＨＡＮＧ Ｙｉ， ＹＩＮ Ｃｈｕｎｌｉｎ， ＣＡＩ Ｊｕｎ （Ｉｎｆｏｒｍａｔｉｏｎ Ａｃｃｅｓｓｉｂｉｌｉｔｙ Ｅｎｇｉｎｅｅｒｉｎｇ Ｒ＆Ｄ Ｃｅｎｔｅｒ， Ｃｈｏｎｇｑｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ， Ｃｈｏｎｇｑｉｎｇ ４０００６５， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏ ａｄｄｒｅｓｓ ｅｒｒｏｒ ｒｅｃｏｇｎｉｔｉｏｎ ｐｒｏｂｌｅｍｓ ｃｒｅａｔｅｄ ｂｙ ｍｅｎｔａｌ ｆａｔｉｇｕｅ ｗｈｅｎ ａ ｈｕｍａｎ ｓｕｂｊｅｃｔ ｐａｒｔａｋｅｓ ｉｎ ａ ｓｉｎ⁃ ｇｌｅ ｍｏｔｏｒ ｉｍａｇｅｒ ｐｒｏｃｅｓｓ ｆｏｒ ａ ｌｏｎｇ ｐｅｒｉｏｄ ｏｆ ｔｉｍｅ， ａ ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ａｓｓｉｓｔｅｄ ＥＥＧ （ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈ） ｈｕ⁃ ｍａｎ⁃ｍａｃｈｉｎｅ ｉｎｔｅｒａｃｔｉｖｅ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ ｗａｓ ｐｒｏｐｏｓｅｄ． Ｔｈｅ ｓｙｓｔｅｍ ｐｒｏｄｕｃｅｓ ａ ｎｅｗ ｓａｍｐｌｅ ｕｐｄａｔｅｄ ｓｔｒａｔｅｇｙ， ｗｉｔｈ ｔｈｅ ‘ｓｔａｔｅ’ ｏｆ ｔｈｅ ｅｙｅｓ ｂｅｉｎｇ ｒｅｃｏｇｎｉｚｅｄ ｂｙ ｔｈｅ ｉｍｐｒｏｖｅｄ Ａｄａｂｏｏｓｔ ａｌｇｏｒｉｔｈｍ ｉｎ ｒｅａｌ⁃ｔｉｍｅ ａｎｄ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｒｅｓｕｌｔ ｂｅ⁃ ｉｎｇ ｕｓｅｄ ｔｏ ｄｅｃｉｄｅ ｗｈｉｃｈ ＥＥＧ ｓｉｇｎａｌ ｔｏ ｕｐｄａｔｅ ａｓ ｔｈｅ ｍｏｄｅｌ ｐａｒａｍｅｔｅｒ ｆｏｒ ｈｕｍａｎ⁃ｍａｃｈｉｎｅ ｉｎｔｅｒａｃｔｉｏｎ． Ａｎ ｅｘｐｅｒｉ⁃ ｍｅｎｔ ｏｎ ｃｏｎｔｒｏｌｌｉｎｇ ａｎ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌｃｈａｉｒ ｏｆｆ ａ ｆｉｘｅｄ ｔｒａｊｅｃｔｏｒｙ ｗｉｔｈ ａ ‘８’ ｇｌｙｐｈ ｗａｓ ｕｎｄｅｒｔａｋｅｎ． Ｔｈｅ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ａｄｏｐｔｅｄ ｅｆｆｅｃｔｉｖｅｌｙ ｂｙ ｔｈｅ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌｃｈａｉｒ ｕｓｅｒｓ ｔｏ ａｖｏｉｄ ｔｈｅ ｆａｔｉｑｕｅ⁃ｒｅｌａｔｅｄ ｅｒ⁃ ｒｏｒ ｒｅｃｏｇｎｉｔｉｏｎ ｐｒｏｂｌｅｍ ｗｉｔｈ ｇｏｏｄ ｌｅｖｅｌｓ ｏｆ ｅｆｆｉｃｉｅｎｃｙ； ｔｈｕｓ ｐｒｏｖｉｎｇ ｔｈａｔ ｔｈｅ ｉｎｔｅｒａｃｔｉｖｅ ｍｅｔｈｏｄ ｉｓ ｆｅａｓｉｂｌｅ． Ｋｅｙｗｏｒｄｓ：ＥＥＧ； ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ； ｓａｍｐｌｅ ｕｐｄａｔｅｄ； ｈｕｍａｎ⁃ｍａｃｈｉｎｅ ｉｎｔｅｒａｃｔｉｏｎ 收稿日期：２０１５⁃１１⁃０５． 网络出版日期：２０１６⁃０８⁃２４． 基金项目：科技部国际合作项目（２０１０ＤＦＡ１２１６０）；国家自然科学基金 项目（６０９０５０６６）；国家自然科学基金项目（５１０７５４２０）． 通信作者：尹春林． Ｅ⁃ｍａｉｌ：６５９８２５９４６＠ ｑｑ．ｃｏｍ． 脑机接口（ｂｒａｉｎ ｃｏｍｐｕｔｅｒ ｉｎｔｅｒｆａｃｅ，ＢＣＩ）是不依 赖于大脑外周神经与肌肉系统，在人脑和计算机或 外部设备之间建立起来的一种通信系统［１］ 。 它能 够为那些失去对所有身体机能控制但思维意识正常 的残障人士提供一种新型的对外信息交流手段，提 高他们的自主活动能力，并在残疾人康复和正常人 辅助控制领域有着广泛的应用前景［２⁃５］ 。 虽然脑电 信号控制智能轮椅的种类在增多，识别率在不断地提 高，但都是单一脑电人机交互系统，由于脑电信号（ｅ⁃ ｌｅｃｔｒｏ ｅｎｃｅｐｈａｌｏ ｇｒａｍ， ＥＥＧ）的非平稳性和非线性等 问题，且受试者运动想象过程中精神需要长期处于高 度集中状态，极易疲乏，则容易造成系统的误识别，降 低系统的稳定性。 在混合控制方面，国内的研究的较 少。 早在 ２０１１ 年，英国 Ｅｓｓｅｘ 大学的 Ｈｕｏｓｈｅｎｇ Ｈｕ 就
第5期 张毅，等：混合脑电信号及视觉信息的智能轮椅人机交互系统 ·649· 指出未来的人机交互应是多模态融合，通过被赋予的 图2为该控制系统框图。 多功能选择行为提高其鲁棒性和可靠性)」 放天→滤波 针对上述研究，本文提出了一种新型的视觉信 Emotiv传感器 息辅助脑电信号的人机交互系统。该系统通过对脑 视觉信息 人脸 人眼 电信号进行特征提取、特征分类的同时不断地检测 定位定位 预处理 眼睛状态，把更新的视觉信息作为系统的有效输入， 信息 人眼状 不断调节模型参数使得整个人机交互系统随着视觉 智能系统 融合 态识别 动 信息的变化做相应的调整。视觉信息与脑波信号的 信 人 统 脑电信号 特征 结合，有效降低了使用者针对传统单一脑电信号由 统 分类识别 提取 于疲乏等问题造成的误识别，使得系统不受时间、使 部分识别和控制 用者状态的影响而可以简单、自然地进行人机交互。 图2系统框图 1系统架构及疲劳状态下脑电信号的 Fig.2 The system block diagram 特征 1.2 疲劳状态下脑电信号的特征 由于EEG人机交互系统受试者需要长时间进 1.1系统架构 行单一的重复想象操作，很容易造成精神的疲 本系统主要包括对信号的预处理、特征提取、特 劳[1。图3为2种状态下与精神状态有关的AF3信 征分类以及通过无线通信系统对智能轮椅的控制几 号的波形。 个部分。脑电信号采集和预处理部分都是通过 200 Emotiv SDK Headset脑波仪和其中的信号处理软件 完成的。所用的Emotiv脑波仪如图1(a)所示，电极 100 安放位置如图1(b)所示，其采样频率为128Hz。 w7 -100 -200 10 0 4 6 10 采样点数 (a)正常状态波形 (a)Emotiv脑电采集仪 200 100 -100 -200 FC FC 4 6 采样点数 CMS DRL (b)疲劳状态波形 图32种状态下AF,信号的波形 00○ Fig.3 The AF,signal waveform in the two states (b)Emotiv电极安放位置 图3所示，不同状态下的脑电波形虽然存在着 图1 Emotiv脑电采集仪及电极安放位置 一定的差异，但是却看不出2种状态下EEG信号所 Fig.1 Emotiv EEG acquisition instrument and elec- 包含的基本节律波。为了进一步研究2种状态下脑 trode placement 波信号的特征，本文对脑波信号进行了频谱分析，得
指出未来的人机交互应是多模态融合，通过被赋予的 多功能选择行为提高其鲁棒性和可靠性［８］ 。 针对上述研究，本文提出了一种新型的视觉信 息辅助脑电信号的人机交互系统。 该系统通过对脑 电信号进行特征提取、特征分类的同时不断地检测 眼睛状态，把更新的视觉信息作为系统的有效输入， 不断调节模型参数使得整个人机交互系统随着视觉 信息的变化做相应的调整。 视觉信息与脑波信号的 结合，有效降低了使用者针对传统单一脑电信号由 于疲乏等问题造成的误识别，使得系统不受时间、使 用者状态的影响而可以简单、自然地进行人机交互。 １ 系统架构及疲劳状态下脑电信号的 特征 １．１ 系统架构 本系统主要包括对信号的预处理、特征提取、特 征分类以及通过无线通信系统对智能轮椅的控制几 个部分。 脑电信号采集和预处理部分都是通过 Ｅｍｏｔｉｖ ＳＤＫ Ｈｅａｄｓｅｔ 脑波仪和其中的信号处理软件 完成的。 所用的 Ｅｍｏｔｉｖ 脑波仪如图 １（ａ）所示，电极 安放位置如图 １ （ｂ）所示，其采样频率为 １２８ Ｈｚ。 （ａ）Ｅｍｏｔｉｖ 脑电采集仪 （ｂ） Ｅｍｏｔｉｖ 电极安放位置 图 １ Ｅｍｏｔｉｖ 脑电采集仪及电极安放位置 Ｆｉｇ． １ Ｅｍｏｔｉｖ ＥＥＧ ａｃｑｕｉｓｉｔｉｏｎ ｉｎｓｔｒｕｍｅｎｔ ａｎｄ ｅｌｅｃ⁃ ｔｒｏｄｅ ｐｌａｃｅｍｅｎｔ 图 ２ 为该控制系统框图。 图 ２ 系统框图 Ｆｉｇ．２ Ｔｈｅ ｓｙｓｔｅｍ ｂｌｏｃｋ ｄｉａｇｒａｍ １．２ 疲劳状态下脑电信号的特征 由于 ＥＥＧ 人机交互系统受试者需要长时间进 行单一 的 重 复 想 象 操 作， 很 容 易 造 成 精 神 的 疲 劳［９］ 。 图 ３ 为 ２ 种状态下与精神状态有关的 ＡＦ３ 信 号的波形。 （ａ）正常状态波形 （ｂ）疲劳状态波形 图 ３ ２ 种状态下 ＡＦ３ 信号的波形 Ｆｉｇ．３ Ｔｈｅ ＡＦ３ ｓｉｇｎａｌ ｗａｖｅｆｏｒｍ ｉｎ ｔｈｅ ｔｗｏ ｓｔａｔｅｓ 图 ３ 所示，不同状态下的脑电波形虽然存在着 一定的差异，但是却看不出 ２ 种状态下 ＥＥＧ 信号所 包含的基本节律波。 为了进一步研究 ２ 种状态下脑 波信号的特征，本文对脑波信号进行了频谱分析，得 第 ５ 期 张毅，等：混合脑电信号及视觉信息的智能轮椅人机交互系统 ·６４９·
·650 智能系统学报 第11卷 到2种状态下EEG信号的频谱图。 2.2视觉控制 图4可知当受试者处于正常状态时主要以α波 EEG是一个非线性且非平稳的信号，当使用者 (8~13Hz)B波(14~30Hz)为主；疲劳时主要以a 处于疲劳状态时，大脑产生的瞬时状态信号并非是 波和0波(4~7Hz)为主，此时8波(0.5~3Hz)增 使用者本身的思想意识，这种非意识动作往往引起 多，而B波越来越少（几乎为零），波段的变化使得 人机交互系统的不稳定。所以视觉信息的有效监测 脑电信号特征值稳定性低、特征向量区分度差，严重 在引导控制信号正确运动中起着至关重要的作用。 影响了BCI系统的性能。随着时间的增长和脑电 在眼晴状态检测中，本文采用改进Adaboost算 疲劳的加剧，脑电信号的识别率更低。 法。即在特征选择时，在传统的算法中引入了特征 140 相关度的方式，这样尽量将被选出特征之间的冗余 120 信息减少到最低。设下一个待选出的特征为x,将 100 其用R(x)=max(xf),i=1,2,…,m来计算其与已 80 选出特征的相关度R(x)。这里提前设定一个合适 的阈值δ，如果R(x)>6时，表示x与已选出的特征 40 有过大的相关度，产生不了新的信息，这时x不能选 20 入将其作为特征：反之，表示x与已选特征相关度不 大，新信息能够产生足够多，则x为此时的可选特 20 40 60 80 频率/Hz 征。图5为改进前后的正负误差对比，其中， (a)正常状态频谱图 81=0.5,82=1.5。 ×10 2.5 一改进后 “改进前 1.5 0 203040 60 20 40 60 80 川练弱分类器数 频案H2 图5改进前后正负误差对比 (b)疲劳状态频谱图 Fig.5 The positive and negative error comparison be- 图42种状态下的脑波频谱图 Fig.4 The EEG spectrum in the two states fore and after improvement 由图5可见，在正负误差比方面改进后的Ada 2控制方案设计 boost不会出现太大的波动，避免了权重分配不均造 成的过适应，改进的Adaboost算法亦可用较少的特 2.1脑电信号控制 征得到较高的准确率，在图像检测速度方面得到了 脑电信号是该控制系统的基础。通过对Emotiv 很大的提升。眼晴状态检测具体步骤为：用上述改 脑电信号采集仪的各通道脑电信号的分析，发现O, 进的Adaboost算法先定位人脸，然后将人脸的上半 通道对睁闭眼脑电信号反应最明显，FC,和FC6通 部分的左右两边分别切割开，在此基础上再用一次 道对左右手运动想象脑电信号反应最明显，闭眼放 改进Adaboost算法精确定位出人眼图片，如图6。 松与左右手相比很容易被区分出来，这里不是本文 这种眼睛定位方法速度很快，2次用同样的改 重点，而左右手的区分是特征分类的难点，因此本文 进Adaboost算法，避免了第2次分类器的重构，节省 选择F,、F4、FC5、FC6、T,和Tg通道的脑电信号来提 了时间。训练目标分类器时，需要构造正负样本图 取左右手运动想象脑电信号的特征。选用一种改进 像集，本文实验中采集了50个人的左右眼状态图， 的CSSD算法作为其特征提取方法[o]提取脑电信号 图像分类器的正样本采用了左右眼各400张人眼图 特征，经过实验验证，该特征提取算法能使左右手运 像，图像分辨率归一化为40×20的灰度图像，然后 动想象脑电信号的在线平均识别率高达95.01%。 对图像的分类器进行训练。负样本为除眼晴外的人
到 ２ 种状态下 ＥＥＧ 信号的频谱图。 图 ４ 可知当受试者处于正常状态时主要以 α 波 （８～１３ Ｈｚ）、β 波（１４～３０ Ｈｚ）为主；疲劳时主要以 α 波和 θ 波（４ ～ ７ Ｈｚ） 为主，此时 δ 波（０．５ ～ ３ Ｈｚ） 增 多，而 β 波越来越少（几乎为零），波段的变化使得 脑电信号特征值稳定性低、特征向量区分度差，严重 影响了 ＢＣＩ 系统的性能。 随着时间的增长和脑电 疲劳的加剧，脑电信号的识别率更低。 （ａ）正常状态频谱图 （ｂ）疲劳状态频谱图 图 ４ ２ 种状态下的脑波频谱图 Ｆｉｇ．４ Ｔｈｅ ＥＥＧ ｓｐｅｃｔｒｕｍ ｉｎ ｔｈｅ ｔｗｏ ｓｔａｔｅｓ ２ 控制方案设计 ２．１ 脑电信号控制 脑电信号是该控制系统的基础。 通过对 Ｅｍｏｔｉｖ 脑电信号采集仪的各通道脑电信号的分析，发现 Ｏ１ 通道对睁闭眼脑电信号反应最明显，ＦＣ５ 和 ＦＣ６ 通 道对左右手运动想象脑电信号反应最明显，闭眼放 松与左右手相比很容易被区分出来，这里不是本文 重点，而左右手的区分是特征分类的难点，因此本文 选择 Ｆ３ 、Ｆ４ 、ＦＣ５ 、ＦＣ６ 、Ｔ７ 和 Ｔ８ 通道的脑电信号来提 取左右手运动想象脑电信号的特征。 选用一种改进 的 ＣＳＳＤ 算法作为其特征提取方法［１０］ 提取脑电信号 特征，经过实验验证，该特征提取算法能使左右手运 动想象脑电信号的在线平均识别率高达９５．０１％。 ２．２ 视觉控制 ＥＥＧ 是一个非线性且非平稳的信号，当使用者 处于疲劳状态时，大脑产生的瞬时状态信号并非是 使用者本身的思想意识，这种非意识动作往往引起 人机交互系统的不稳定。 所以视觉信息的有效监测 在引导控制信号正确运动中起着至关重要的作用。 在眼睛状态检测中，本文采用改进 Ａｄａｂｏｏｓｔ 算 法。 即在特征选择时，在传统的算法中引入了特征 相关度的方式，这样尽量将被选出特征之间的冗余 信息减少到最低。 设下一个待选出的特征为 ｘ，将 其用 Ｒ（ｘ）＝ ｍａｘ ｉ （ｘ，ｆ ｉ），ｉ ＝ １，２，…，ｍ 来计算其与已 选出特征的相关度 Ｒ（ｘ）。 这里提前设定一个合适 的阈值 δ，如果 Ｒ（ｘ） ＞δ 时，表示 ｘ 与已选出的特征 有过大的相关度，产生不了新的信息，这时 ｘ 不能选 入将其作为特征；反之，表示 ｘ 与已选特征相关度不 大，新信息能够产生足够多，则 ｘ 为此时的可选特 征。 图 ５ 为 改 进 前 后 的 正 负 误 差 对 比， 其 中， δ１ ＝ ０．５，δ２ ＝ １．５。 图 ５ 改进前后正负误差对比 Ｆｉｇ．５ Ｔｈｅ ｐｏｓｉｔｉｖｅ ａｎｄ ｎｅｇａｔｉｖｅ ｅｒｒｏｒ ｃｏｍｐａｒｉｓｏｎ ｂｅ⁃ ｆｏｒｅ ａｎｄ ａｆｔｅｒ ｉｍｐｒｏｖｅｍｅｎｔ 由图 ５ 可见，在正负误差比方面改进后的 Ａｄａ⁃ ｂｏｏｓｔ 不会出现太大的波动，避免了权重分配不均造 成的过适应，改进的 Ａｄａｂｏｏｓｔ 算法亦可用较少的特 征得到较高的准确率，在图像检测速度方面得到了 很大的提升。 眼睛状态检测具体步骤为：用上述改 进的 Ａｄａｂｏｏｓｔ 算法先定位人脸，然后将人脸的上半 部分的左右两边分别切割开，在此基础上再用一次 改进 Ａｄａｂｏｏｓｔ 算法精确定位出人眼图片［１４］ ，如图 ６。 这种眼睛定位方法速度很快，２ 次用同样的改 进 Ａｄａｂｏｏｓｔ 算法，避免了第 ２ 次分类器的重构，节省 了时间。 训练目标分类器时，需要构造正负样本图 像集，本文实验中采集了 ５０ 个人的左右眼状态图， 图像分类器的正样本釆用了左右眼各 ４００ 张人眼图 像，图像分辨率归一化为 ４０×２０ 的灰度图像，然后 对图像的分类器进行训练。 负样本为除眼睛外的人 ·６５０· 智 能 系 统 学 报 第 １１ 卷
第5期 张毅，等：混合脑电信号及视觉信息的智能轮椅人机交互系统 .651· 脸其他区域、风景以及室内环境等任意图片800张， Adaboost对睁眼样本的识别率最高达98.7%，闭眼 将负样本统一转换为灰度图像。图7为不同光照、 识别率最高达98.2%，不管人眼样本还是非人眼样 不同姿态、不同距离下的部分人眼和非人眼样本。 本，平均识别率均在97%以上。采用此分类器可以 图7（©）为3位受试者眼晴状态的识别效果实例。 较好地识别人眼样本，为脑电信号的正确控制提供 可以看到复杂背景下迎光、背光、侧光3种光照条 可靠的校正信息。 件，大小和形状不同的眼晴状态都可以被检测到，从 表1眼睛状态识别率 而满足系统要求。 Table 1 The recognition rate of eye state % 状态分类 1 平均识别率 睁眼 98.7 97.5 97.9 96.4 97.6 闭眼 97.896.798.2 96.7 97.4 (a)定位人脸 b)分割 由于系统是对受试者的疲劳状态进行识别，所 以必须有较高的实时性。为了进一步验证系统的实 时性，本文用摄像头拍摄3段视频，分辨率为 640×480,在ntel(R)Core(TM)2 Duo CPU E7500, (c)定位人眼 2.93GHz,1.99G硬件环境，VS2010实验平台下对3 图6眼睛定位步骤 段视频进行测试，系统达到22帧/s的速度。与文 Fig.6 The steps of Eves location 献[15]中单独使用睁闭眼分类器92ms和传统Ad aboost算法49ms的检测时间相比，本文改进Ada- boost算法的检测时间达到30ms,满足实时要求。 23视觉信息辅助脑电信号样本更新策略 在智能轮椅硬件平台和VS2010软件平台和 Emotiv人机交互闭环控制过程中，眼睛状态的实时 (a)人眼样本 监测作为一种重要的反馈信息，对系统稳定性有着 重要的影响。在对眼睛状态的识别中眨眼动作是影 响系统安全的一个重要因素。本文采取2s内per clos准则设定，如果perclos:>40%,则认为受试者处 于疲劳状态，不进行任何的动作；如果perclos≤40% 则要进行眨眼频率的比较，如果每次眨眼时间为0.3~ b)非人眼样本 0.4s,或者在2次运动想象内至少检测到一次眨眼则按 照受试者的想象运动执行相应的动作。否则认为没有 进行任何运动，不对轮椅发出指令。视觉信息辅助脑 电信号人机交互系统流程图如图8。 具体步骤为： 1)人机交互系统启动，同时启动眼睛状态实时 监测程序和EEG信号采集程序。 2)运动想象脑电信号分类识别，同时监测规定 时间内眼睛状态。 (C)识别结果 3)若检测到眼睛状态则利用改进的Adaboost 图7部分人眼样本和非人眼样本及识别结果 识别并进一步判定是否符合perclos准则，若没有检 Fig.7 A part of human samples and non eye samples 测到眼晴状态则返回步骤1)。若眼晴状态与per and the recognition results clos准则匹配则将EEG信号作为更新样本，进行在 随机选取4位受试者对训练好的分类器进行测 线训练，同时向智能轮椅发送控制指令，执行前进或 试，结果如表1所示。由表1可以看出，采用改进的 者左、右转运动中的一种：若不匹配则返回步骤1)
脸其他区域、风景以及室内环境等任意图片 ８００ 张， 将负样本统一转换为灰度图像。 图 ７ 为不同光照、 不同姿态、不同距离下的部分人眼和非人眼样本。 图 ７（ｃ）为 ３ 位受试者眼睛状态的识别效果实例。 可以看到复杂背景下迎光、背光、侧光 ３ 种光照条 件，大小和形状不同的眼睛状态都可以被检测到，从 而满足系统要求。 图 ６ 眼睛定位步骤 Ｆｉｇ．６ Ｔｈｅ ｓｔｅｐｓ ｏｆ Ｅｙｅｓ ｌｏｃａｔｉｏｎ 图 ７ 部分人眼样本和非人眼样本及识别结果 Ｆｉｇ．７ Ａ ｐａｒｔ ｏｆ ｈｕｍａｎ ｓａｍｐｌｅｓ ａｎｄ ｎｏｎ ｅｙｅ ｓａｍｐｌｅｓ ａｎｄ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｒｅｓｕｌｔｓ 随机选取 ４ 位受试者对训练好的分类器进行测 试，结果如表 １ 所示。 由表 １ 可以看出，采用改进的 Ａｄａｂｏｏｓｔ 对睁眼样本的识别率最高达 ９８．７％，闭眼 识别率最高达 ９８．２％，不管人眼样本还是非人眼样 本，平均识别率均在 ９７％以上。 采用此分类器可以 较好地识别人眼样本，为脑电信号的正确控制提供 可靠的校正信息。 表 １ 眼睛状态识别率 Ｔａｂｌｅ １ Ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅ ｏｆ ｅｙｅ ｓｔａｔｅ ％ 状态分类 １ ２ ３ ４ 平均识别率 睁眼 ９８．７ ９７．５ ９７．９ ９６．４ ９７．６ 闭眼 ９７．８ ９６．７ ９８．２ ９６．７ ９７．４ 由于系统是对受试者的疲劳状态进行识别，所 以必须有较高的实时性。 为了进一步验证系统的实 时性， 本 文 用 摄 像 头 拍 摄 ３ 段 视 频， 分 辨 率 为 ６４０×４８０，在 Ｉｎｔｅｌ（Ｒ） Ｃｏｒｅ（ＴＭ）２ Ｄｕｏ ＣＰＵ Ｅ７５００， ２．９３ ＧＨｚ，１．９９ Ｇ 硬件环境，ＶＳ２０１０ 实验平台下对 ３ 段视频进行测试，系统达到 ２２ 帧／ ｓ 的速度。 与文 献［１５］中单独使用睁闭眼分类器 ９２ ｍｓ 和传统 Ａｄ⁃ ａｂｏｏｓｔ 算法 ４９ ｍｓ 的检测时间相比，本文改进 Ａｄａ⁃ ｂｏｏｓｔ 算法的检测时间达到 ３０ ｍｓ，满足实时要求。 ２．３ 视觉信息辅助脑电信号样本更新策略 在智能轮椅硬件平台和 ＶＳ２０１０ 软件平台和 Ｅｍｏｔｉｖ 人机交互闭环控制过程中，眼睛状态的实时 监测作为一种重要的反馈信息，对系统稳定性有着 重要的影响。 在对眼睛状态的识别中眨眼动作是影 响系统安全的一个重要因素。 本文采取 ２ ｓ 内 ｐｅｒ⁃ ｃｌｏｓ 准则设定，如果 ｐｅｒｃｌｏｓ＞４０％，则认为受试者处 于疲劳状态，不进行任何的动作；如果 ｐｅｒｃｌｏｓ≤４０％， 则要进行眨眼频率的比较，如果每次眨眼时间为 ０．３～ ０．４ ｓ，或者在２ 次运动想象内至少检测到一次眨眼则按 照受试者的想象运动执行相应的动作。 否则认为没有 进行任何运动，不对轮椅发出指令。 视觉信息辅助脑 电信号人机交互系统流程图如图 ８。 具体步骤为： １）人机交互系统启动，同时启动眼睛状态实时 监测程序和 ＥＥＧ 信号采集程序。 ２）运动想象脑电信号分类识别，同时监测规定 时间内眼睛状态。 ３）若检测到眼睛状态则利用改进的 Ａｄａｂｏｏｓｔ 识别并进一步判定是否符合 ｐｅｒｃｌｏｓ 准则，若没有检 测到眼睛状态则返回步骤 １）。 若眼睛状态与 ｐｅｒ⁃ ｃｌｏｓ 准则匹配则将 ＥＥＧ 信号作为更新样本，进行在 线训练，同时向智能轮椅发送控制指令，执行前进或 者左、右转运动中的一种；若不匹配则返回步骤 １）。 第 ５ 期 张毅，等：混合脑电信号及视觉信息的智能轮椅人机交互系统 ·６５１·
·652. 智能系统学报 第11卷 开始 ×10 30-40 启动眼睛状 3 2030 态实时监测 前进 右 01020 想象运动 ×10 -2 0 EEG样 SVM在 在线SV 本存储 线训练 分类判断 x/mm Y (a)利用单一EEG人机交互系统 设定的 PERCLOS 返回 是否检测 4 30-40 20-30 、准则判断 N 、到眼睛 Y 女时Adaboost 识别判断 -4 -3-2 -101234 图8混合人机交互系统流程图 x/mm (b)利用混合EEG人机交互系统 Fig.8 The hybrid human-machine interaction system flow chart 图10 Emotiv脑电采集仪及电极安放位置 Fig.10 The Wheelchair track of two kinds of human 3实验结果及分析 computer interaction system 3.1系统性能验证 400 为了验证设计的混合EEG人机交互系统的性 能，通过让4位受试者使用引入视觉信息的EEG人 300 机交互系统和单一的EEG人机交互系统在智能轮 200 椅平台进行重复性实验，完成如图9所指定的路线。 本文设定的轮椅控制方式为：左右手运动想象脑电 100 信号控制智能轮椅左转和右转，闭眼放松脑电信号 控制智能轮椅前进。在轮椅运动方向与自己期望运 0-1010-2020-3030-40 动方向不一致或轮椅运动到自己期望的位置时，受 t/min (a)单一EEG完成指定路线所用时间 试者就可通过咬牙使得F,通道产生的高幅度脉冲 信号控制智能轮椅停止。通过分析，发现4位受试 200 者在相同状态下采用2种控制方式操作智能轮椅完 成该路线在不同时间段的轨迹基本一致。图10为 100 其中1位受试者利用2种控制方式操作智能轮椅完 成该路线时在不同时间段的轨迹。图11(a)为4位 0-1010-2020-3030-40 Wmin 受试者在不同时间段利用单一EEG人机交互系统 (b)混合EEG人机交互系统所用时间 完成指定路线的时间。图11(b)为4位受试者利用 图11 4位受试者在不同时间段利用两种控制方式完成 混合EEG人机交互系统完成指定路线的时间。 指定路线的时间 终点 Fig.11 The time for 4 subjects completed the specified routes at different time by using two kinds of control mode 隆碍 障碍物 图11中4个柱状条分别为4位受试者在规定 起点 的受训时间：0~10min,10~20min,20~30min,30~ 40min内完成指定路线所用的时间。由图10(b)和 图9实验路径 图11(b)可知混合EEG人机交互系统在不同时间 Fig.9 The experimental route
图 ８ 混合人机交互系统流程图 Ｆｉｇ． ８ Ｔｈｅ ｈｙｂｒｉｄ ｈｕｍａｎ⁃ｍａｃｈｉｎｅ ｉｎｔｅｒａｃｔｉｏｎ ｓｙｓｔｅｍ ｆｌｏｗ ｃｈａｒｔ ３ 实验结果及分析 ３．１ 系统性能验证 为了验证设计的混合 ＥＥＧ 人机交互系统的性 能，通过让 ４ 位受试者使用引入视觉信息的 ＥＥＧ 人 机交互系统和单一的 ＥＥＧ 人机交互系统在智能轮 椅平台进行重复性实验，完成如图 ９ 所指定的路线。 本文设定的轮椅控制方式为：左右手运动想象脑电 信号控制智能轮椅左转和右转，闭眼放松脑电信号 控制智能轮椅前进。 在轮椅运动方向与自己期望运 动方向不一致或轮椅运动到自己期望的位置时，受 试者就可通过咬牙使得 Ｆ７通道产生的高幅度脉冲 信号控制智能轮椅停止。 通过分析，发现 ４ 位受试 者在相同状态下采用 ２ 种控制方式操作智能轮椅完 成该路线在不同时间段的轨迹基本一致。 图 １０ 为 其中 １ 位受试者利用 ２ 种控制方式操作智能轮椅完 成该路线时在不同时间段的轨迹。 图 １１（ａ）为 ４ 位 受试者在不同时间段利用单一 ＥＥＧ 人机交互系统 完成指定路线的时间。 图 １１（ｂ）为 ４ 位受试者利用 混合 ＥＥＧ 人机交互系统完成指定路线的时间。 图 ９ 实验路径 Ｆｉｇ．９ Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｏｕｔｅ 图 １０ Ｅｍｏｔｉｖ 脑电采集仪及电极安放位置 Ｆｉｇ．１０ Ｔｈｅ Ｗｈｅｅｌｃｈａｉｒ ｔｒａｃｋ ｏｆ ｔｗｏ ｋｉｎｄｓ ｏｆ ｈｕｍａｎ ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ ｓｙｓｔｅｍ 图 １１ ４ 位受试者在不同时间段利用两种控制方式完成 指定路线的时间 Ｆｉｇ．１１ Ｔｈｅ ｔｉｍｅ ｆｏｒ ４ ｓｕｂｊｅｃｔｓ ｃｏｍｐｌｅｔｅｄ ｔｈｅ ｓｐｅｃｉｆｉｅｄ ｒｏｕｔｅｓ ａｔ ｄｉｆｆｅｒｅｎｔ ｔｉｍｅ ｂｙ ｕｓｉｎｇ ｔｗｏ ｋｉｎｄｓ ｏｆ ｃｏｎｔｒｏｌ ｍｏｄｅ 图 １１ 中 ４ 个柱状条分别为 ４ 位受试者在规定 的受训时间：０～１０ ｍｉｎ，１０～２０ ｍｉｎ，２０～３０ ｍｉｎ，３０～ ４０ ｍｉｎ 内完成指定路线所用的时间。 由图 １０（ｂ）和 图 １１（ｂ）可知混合 ＥＥＧ 人机交互系统在不同时间 ·６５２· 智 能 系 统 学 报 第 １１ 卷
第5期 张毅，等：混合脑电信号及视觉信息的智能轮椅人机交互系统 .653. 段都能够安全平滑地完成指定路线，完成指定路线 4结束语 所用时间也将大大减少，并且随着受训时间的延长， 消耗时间也只增加10s左右。图10(a)和图11(a) 本文提出了一种混合脑电信号及视觉信号的智 中虽然单一的EEG系统也能完成指定路线，但当受 能轮椅人机交互系统。该人机交互系统通过改进 训时间为30~40min轨迹曲线开始出现较大的波动 Adaboost算法不断地检测眼睛状态，视觉信息的加 且不光滑，轮椅开始原地打转、向非意识方向运动， 入大大避免了受试者利用单一EEG人机交互系统 这是因为脑电采集系统本身或者受试者运动想象过 时由于疲乏问题造成的有用信息缺失导致的系统误 程中精神需要长期处于高度集中状态，极易产生疲 识别问题。通过“8”字形轨迹的固定实验，验证了 乏，使得脑电信号特征值发生变化6]，稳定性降 该智能轮椅人机交互方案是可行的。 低，产生很多误识别动作，进而完成指定路线的时间 参考文献： 也随着延长约100s。 3.2算法识别率验证 [1]涂建成.脑电信号控制智能轮椅的研究[D].杭州：杭州 为了验证改进的CSSD算法的性能，4个受试者 电子科技大学，2011. TU Jiancheng.The research for control intelligent wheelchair 分别控制智能轮椅左转、右转各40次，然后从中各 based on EEG[D].Hangzhou:Hangzhou Dianzi Universi- 随机抽取20次作为训练样本，其余作为测试样本， y,2011」 将上述所得的特征向量分别输入支持向量机分类器 [2]REBSAMEN B,GUAN Cuntai,ZHANG Haihong,et al.A 进行分类，经交叉验证得到几位受试者在不同的特 brain controlled wheelchair to navigate in familiar environ- 征提取下左右手的正确识别率如表2、表3所示。 ments[J].IEEE transactions on neural systems and rehabil- 表2采用传统CSSD特征提取的正确识别率 itation engineering,2010,18(6):590-598 Table 2 The correct recognition rate of the traditional [3]HOW T V,WANG R H,MIHAILIDIS A.Evaluation of an CSSD feature extraction % intelligent wheelchair system for older adults with cognitive impairments[].Journal of neuroengineering and rehabilita- 受试者 左手 右手 平均识别率 tion,2013,10(1):90. 75.80 77.50 75.15 [4]JI Y,HWANG J,KIM E Y.An intelligent wheelchair using situation awareness and obstacle detection].Procedia-so- 2 82.90 80.50 81.70 cial and behavioral sciences,2013,97:620-628. 80.40 75.30 77.85 [5]ORTNER R,ALLISON B Z,KORISEK G,et al.An SS. 87.50 88.13 87.82 VEP BCI to control a hand orthosis for persons with tetraple- gia[].IEEE transactions on neural systems and rehabilita- 表3采用改进CSSD特征提取的正确识别率 tion engineering,2011,19(1):1-5. Table 3 The correct recognition rate of the improvement [6]何海洋.基于多类意识任务识别的电动轮椅脑电控制方 CSSD feature extraction % 法研究[D].杭州：杭州电子科技大学，2012. 受试者 左手 右手 平均识别率 HE Haiyang.The research of EEG control methods of power wheelchair based on muti-class mental tasks recognition 90.40 87.46 88.93 [D].Hangzhou:Hangzhou Dianzi University,2012. 2 87.60 88.00 87.80 [7]李恋.结合E0G和EEG的人机交互系统的研究与实现 [D].合肥：安徽大学，2012. 90.20 93.70 91.95 LI Lian.The research and implementation of the human- 95.20 94.82 95.01 computer interaction system based on the combination of EOG and EEG[D].Hefei:Anhui University,2012 由表2、3可知，使用改进CSSD特征提取算法 [8]WEI Lai,HU Huosheng.A multi-modal human machine in- 得到的左右手平均正确识别率均在87%以上，最高 terface for controlling an intelligent wheelchair using face 平均正确识别率为95.01%，最低值为87.80%，较传 movements[C]//Proceedings of IEEE International Confer- 统CSSD算法有效提高了脑电信号的正确识别率。 ence on Robotics and Biomimetics.Karon Beach,Phuket:
段都能够安全平滑地完成指定路线，完成指定路线 所用时间也将大大减少，并且随着受训时间的延长， 消耗时间也只增加 １０ ｓ 左右。 图 １０（ａ）和图 １１（ａ） 中虽然单一的 ＥＥＧ 系统也能完成指定路线，但当受 训时间为 ３０～４０ ｍｉｎ 轨迹曲线开始出现较大的波动 且不光滑，轮椅开始原地打转、向非意识方向运动， 这是因为脑电采集系统本身或者受试者运动想象过 程中精神需要长期处于高度集中状态，极易产生疲 乏，使得脑电信号特征值发生变化［１６⁃１７］ ，稳定性降 低，产生很多误识别动作，进而完成指定路线的时间 也随着延长约 １００ ｓ。 ３．２ 算法识别率验证 为了验证改进的 ＣＳＳＤ 算法的性能，４ 个受试者 分别控制智能轮椅左转、右转各 ４０ 次，然后从中各 随机抽取 ２０ 次作为训练样本，其余作为测试样本， 将上述所得的特征向量分别输入支持向量机分类器 进行分类，经交叉验证得到几位受试者在不同的特 征提取下左右手的正确识别率如表 ２、表 ３ 所示。 表 ２ 采用传统 ＣＳＳＤ 特征提取的正确识别率 Ｔａｂｌｅ ２ Ｔｈｅ ｃｏｒｒｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅ ｏｆ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ＣＳＳＤ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ％ 受试者 左手 右手 平均识别率 １ ７５．８０ ７７．５０ ７５．１５ ２ ８２．９０ ８０．５０ ８１．７０ ３ ８０．４０ ７５．３０ ７７．８５ ４ ８７．５０ ８８．１３ ８７．８２ 表 ３ 采用改进 ＣＳＳＤ 特征提取的正确识别率 Ｔａｂｌｅ ３ Ｔｈｅ ｃｏｒｒｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅ ｏｆ ｔｈｅ ｉｍｐｒｏｖｅｍｅｎｔ ＣＳＳＤ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ％ 受试者 左手 右手 平均识别率 １ ９０．４０ ８７．４６ ８８．９３ ２ ８７．６０ ８８．００ ８７．８０ ３ ９０．２０ ９３．７０ ９１．９５ ４ ９５．２０ ９４．８２ ９５．０１ 由表 ２、３ 可知，使用改进 ＣＳＳＤ 特征提取算法 得到的左右手平均正确识别率均在 ８７％以上，最高 平均正确识别率为 ９５．０１％，最低值为 ８７．８０％，较传 统 ＣＳＳＤ 算法有效提高了脑电信号的正确识别率。 ４ 结束语 本文提出了一种混合脑电信号及视觉信号的智 能轮椅人机交互系统。 该人机交互系统通过改进 Ａｄａｂｏｏｓｔ 算法不断地检测眼睛状态，视觉信息的加 入大大避免了受试者利用单一 ＥＥＧ 人机交互系统 时由于疲乏问题造成的有用信息缺失导致的系统误 识别问题。 通过“８”字形轨迹的固定实验，验证了 该智能轮椅人机交互方案是可行的。 参考文献： ［１］涂建成． 脑电信号控制智能轮椅的研究［Ｄ］． 杭州： 杭州 电子科技大学， ２０１１． ＴＵ Ｊｉａｎｃｈｅｎｇ． Ｔｈｅ ｒｅｓｅａｒｃｈ ｆｏｒ ｃｏｎｔｒｏｌ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌｃｈａｉｒ ｂａｓｅｄ ｏｎ ＥＥＧ［Ｄ］． Ｈａｎｇｚｈｏｕ： Ｈａｎｇｚｈｏｕ Ｄｉａｎｚｉ Ｕｎｉｖｅｒｓｉ⁃ ｔｙ， ２０１１． ［２］ＲＥＢＳＡＭＥＮ Ｂ， ＧＵＡＮ Ｃｕｎｔａｉ， ＺＨＡＮＧ Ｈａｉｈｏｎｇ， ｅｔ ａｌ． Ａ ｂｒａｉｎ ｃｏｎｔｒｏｌｌｅｄ ｗｈｅｅｌｃｈａｉｒ ｔｏ ｎａｖｉｇａｔｅ ｉｎ ｆａｍｉｌｉａｒ ｅｎｖｉｒｏｎ⁃ ｍｅｎｔｓ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｓｙｓｔｅｍｓ ａｎｄ ｒｅｈａｂｉｌ⁃ ｉｔａｔｉｏｎ ｅｎｇｉｎｅｅｒｉｎｇ， ２０１０， １８（６）： ５９０⁃５９８． ［３］ＨＯＷ Ｔ Ｖ， ＷＡＮＧ Ｒ Ｈ， ＭＩＨＡＩＬＩＤＩＳ Ａ． Ｅｖａｌｕａｔｉｏｎ ｏｆ ａｎ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌｃｈａｉｒ ｓｙｓｔｅｍ ｆｏｒ ｏｌｄｅｒ ａｄｕｌｔｓ ｗｉｔｈ ｃｏｇｎｉｔｉｖｅ ｉｍｐａｉｒｍｅｎｔｓ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｎｅｕｒｏｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ ｒｅｈａｂｉｌｉｔａ⁃ ｔｉｏｎ， ２０１３， １０（１）： ９０． ［４］ＪＩ Ｙ， ＨＷＡＮＧ Ｊ， ＫＩＭ Ｅ Ｙ． Ａｎ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌｃｈａｉｒ ｕｓｉｎｇ ｓｉｔｕａｔｉｏｎ ａｗａｒｅｎｅｓｓ ａｎｄ ｏｂｓｔａｃｌｅ ｄｅｔｅｃｔｉｏｎ［Ｊ］． Ｐｒｏｃｅｄｉａ⁃ｓｏ⁃ ｃｉａｌ ａｎｄ ｂｅｈａｖｉｏｒａｌ ｓｃｉｅｎｃｅｓ， ２０１３， ９７： ６２０⁃６２８． ［５］ＯＲＴＮＥＲ Ｒ， ＡＬＬＩＳＯＮ Ｂ Ｚ， ＫＯＲＩＳＥＫ Ｇ， ｅｔ ａｌ． Ａｎ ＳＳ⁃ ＶＥＰ ＢＣＩ ｔｏ ｃｏｎｔｒｏｌ ａ ｈａｎｄ ｏｒｔｈｏｓｉｓ ｆｏｒ ｐｅｒｓｏｎｓ ｗｉｔｈ ｔｅｔｒａｐｌｅ⁃ ｇｉａ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｓｙｓｔｅｍｓ ａｎｄ ｒｅｈａｂｉｌｉｔａ⁃ ｔｉｏｎ ｅｎｇｉｎｅｅｒｉｎｇ， ２０１１， １９（１）： １⁃５． ［６］何海洋． 基于多类意识任务识别的电动轮椅脑电控制方 法研究［Ｄ］．杭州：杭州电子科技大学， ２０１２． ＨＥ Ｈａｉｙａｎｇ． Ｔｈｅ ｒｅｓｅａｒｃｈ ｏｆ ＥＥＧ ｃｏｎｔｒｏｌ ｍｅｔｈｏｄｓ ｏｆ ｐｏｗｅｒ ｗｈｅｅｌｃｈａｉｒ ｂａｓｅｄ ｏｎ ｍｕｔｉ⁃ｃｌａｓｓ ｍｅｎｔａｌ ｔａｓｋｓ ｒｅｃｏｇｎｉｔｉｏｎ ［Ｄ］． Ｈａｎｇｚｈｏｕ： Ｈａｎｇｚｈｏｕ Ｄｉａｎｚｉ Ｕｎｉｖｅｒｓｉｔｙ， ２０１２． ［７］李恋． 结合 ＥＯＧ 和 ＥＥＧ 的人机交互系统的研究与实现 ［Ｄ］． 合肥： 安徽大学， ２０１２． ＬＩ Ｌｉａｎ． Ｔｈｅ ｒｅｓｅａｒｃｈ ａｎｄ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ｈｕｍａｎ⁃ ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｔｈｅ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ ＥＯＧ ａｎｄ ＥＥＧ［Ｄ］． Ｈｅｆｅｉ： Ａｎｈｕｉ Ｕｎｉｖｅｒｓｉｔｙ， ２０１２． ［８］ＷＥＩ Ｌａｉ， ＨＵ Ｈｕｏｓｈｅｎｇ． Ａ ｍｕｌｔｉ⁃ｍｏｄａｌ ｈｕｍａｎ ｍａｃｈｉｎｅ ｉｎ⁃ ｔｅｒｆａｃｅ ｆｏｒ ｃｏｎｔｒｏｌｌｉｎｇ ａｎ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌｃｈａｉｒ ｕｓｉｎｇ ｆａｃｅ ｍｏｖｅｍｅｎｔｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒ⁃ ｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ｂｉｏｍｉｍｅｔｉｃｓ． Ｋａｒｏｎ Ｂｅａｃｈ， Ｐｈｕｋｅｔ： 第 ５ 期 张毅，等：混合脑电信号及视觉信息的智能轮椅人机交互系统 ·６５３·
·654. 智能系统学报 第11卷 IEEE,2011:2850-2855 WANG Yizhi,ZHOU Lingxiao,KONG Wanzeng.Eye [9]ROY R N,BONNET S,CHARBONNIER S,et al.Mental blinking detecting in driving fatigue based on Adaboost[ fatigue and working memory load estimation:interaction and Journal of Hangzhou dianzi university,2013,33(4): implications for EEG-based passive BCI[C]//Proceedings 35-38. of the 2013 35th Annual International Conference of the [16]YOO J,YAN Long,EL-DAMAK D,et al.An 8-Channel IEEE Engineering in Medicine and Biology Society.Osaka: scalable EEG acquisition SoC with patient-specific seizure IEEE.2013:6607-6610. classification and recording processor[J].IEEE journal of [10]张毅，梅彦玲，罗元.基于改进CS$D的运动想象脑电 solid-state circuits,2013,48(1):214-228 信号特征提取[J刀].青岛科技大学学报：自然科学版， [17]NEU D,MAIRESSE O,VERBANCK P,et al.Non-REM 2015,36(1):94-101 sleep EEG power distribution in fatigue and sleepiness[J]. ZHANG Yi,MEI Yanling,LUO Yuan.Feature extraction Journal of psychosomatic research,2014,76(4):286- of motor imagery in EEG based on improved CSSD[J]. 291. Journal of Qingdao university of science and technology: 作者简介： natural science edition,2015,36(1):94-101 张毅，男，1966年生，教授，博士生 11]SHI Jianjun,YUAN Qingwu,ZHOU Lawu,et al.Melan- 导师，主要研究方向为机器人及应用、 cholia EEG classification based on CSSD and SVM[C]// 数据融合、信息无障碍技术。 Proceedings of SPIE 8285,2010 International Conference on Graphic and Image Processing.Cairo,Egypt:SPIE, 2011:14-18. [12]SHIBANOKI T,SHIMA K,TSUJI T,et al.A Quasi-Opti- mal channel selection method for bioelectric signal classifi- 尹春林，男，1990年生，硕士研究 cation using a partial Kullback-Leibler information measure 生，主要研究方向为多模人机交互。 [J].IEEE transactions on biomedical engineering,2013, 60(3):853-861 [13]PERDUCA V,NUEL G.Measuring the influence of obser- vations in HMMs through the Kullback-Leibler distance [J].IEEE signal processing letters,2013,20(2):145- 148. 蔡军，男，1977年生，副教授，主要 [14]熊池亮.基于AdaBoost算法的驾驶员疲劳驾驶检测 研究方向为机器人技术及应用、生物信 [D].成都：电子科技大学，2013. 号处理及应用、模式识别。 XIONG Chiliang.Detection of driver's fatigue driving based on Adaboost algorithm[D].Chengdu:University of Elec- tronic Science and Technology of China,2013. [15]王奕直，周凌霄，孔万增.基于Adaboost的疲劳驾驶眨 眼检测[J].杭州电子科技大学学报，2013,33(4)： 35-38
ＩＥＥＥ， ２０１１： ２８５０⁃２８５５． ［９］ＲＯＹ Ｒ Ｎ， ＢＯＮＮＥＴ Ｓ， ＣＨＡＲＢＯＮＮＩＥＲ Ｓ， ｅｔ ａｌ． Ｍｅｎｔａｌ ｆａｔｉｇｕｅ ａｎｄ ｗｏｒｋｉｎｇ ｍｅｍｏｒｙ ｌｏａｄ ｅｓｔｉｍａｔｉｏｎ： ｉｎｔｅｒａｃｔｉｏｎ ａｎｄ ｉｍｐｌｉｃａｔｉｏｎｓ ｆｏｒ ＥＥＧ⁃ｂａｓｅｄ ｐａｓｓｉｖｅ ＢＣＩ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１３ ３５ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩＥＥＥ Ｅｎｇｉｎｅｅｒｉｎｇ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｌｏｇｙ Ｓｏｃｉｅｔｙ． Ｏｓａｋａ： ＩＥＥＥ， ２０１３： ６６０７⁃６６１０． ［１０］张毅， 梅彦玲， 罗元． 基于改进 ＣＳＳＤ 的运动想象脑电 信号特征提取［ Ｊ］． 青岛科技大学学报： 自然科学版， ２０１５， ３６（１）： ９４⁃１０１． ＺＨＡＮＧ Ｙｉ， ＭＥＩ Ｙａｎｌｉｎｇ， ＬＵＯ Ｙｕａｎ． Ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｏｆ ｍｏｔｏｒ ｉｍａｇｅｒｙ ｉｎ ＥＥＧ ｂａｓｅｄ ｏｎ ｉｍｐｒｏｖｅｄ ＣＳＳＤ ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｑｉｎｇｄａｏ ｕｎｉｖｅｒｓｉｔｙ ｏｆ ｓｃｉｅｎｃｅ ａｎｄ ｔｅｃｈｎｏｌｏｇｙ： ｎａｔｕｒａｌ ｓｃｉｅｎｃｅ ｅｄｉｔｉｏｎ， ２０１５， ３６（１）： ９４⁃１０１． ［１１］ＳＨＩ Ｊｉａｎｊｕｎ， ＹＵＡＮ Ｑｉｎｇｗｕ， ＺＨＯＵ Ｌａｗｕ， ｅｔ ａｌ． Ｍｅｌａｎ⁃ ｃｈｏｌｉａ ＥＥＧ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ＣＳＳＤ ａｎｄ ＳＶＭ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ ８２８５， ２０１０ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｇｒａｐｈｉｃ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｃａｉｒｏ， Ｅｇｙｐｔ： ＳＰＩＥ， ２０１１： １４⁃１８． ［１２］ＳＨＩＢＡＮＯＫＩ Ｔ， ＳＨＩＭＡ Ｋ， ＴＳＵＪＩ Ｔ， ｅｔ ａｌ． Ａ Ｑｕａｓｉ⁃Ｏｐｔｉ⁃ ｍａｌ ｃｈａｎｎｅｌ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ｂｉｏｅｌｅｃｔｒｉｃ ｓｉｇｎａｌ ｃｌａｓｓｉｆｉ⁃ ｃａｔｉｏｎ ｕｓｉｎｇ ａ ｐａｒｔｉａｌ Ｋｕｌｌｂａｃｋ⁃Ｌｅｉｂｌｅｒ ｉｎｆｏｒｍａｔｉｏｎ ｍｅａｓｕｒｅ ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｂｉｏｍｅｄｉｃａｌ ｅｎｇｉｎｅｅｒｉｎｇ， ２０１３， ６０（３）： ８５３⁃８６１． ［１３］ＰＥＲＤＵＣＡ Ｖ， ＮＵＥＬ Ｇ． Ｍｅａｓｕｒｉｎｇ ｔｈｅ ｉｎｆｌｕｅｎｃｅ ｏｆ ｏｂｓｅｒ⁃ ｖａｔｉｏｎｓ ｉｎ ＨＭＭｓ ｔｈｒｏｕｇｈ ｔｈｅ Ｋｕｌｌｂａｃｋ⁃Ｌｅｉｂｌｅｒ ｄｉｓｔａｎｃｅ ［Ｊ］． ＩＥＥＥ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｌｅｔｔｅｒｓ， ２０１３， ２０（ ２）： １４５⁃ １４８． ［１４］熊池亮． 基于 ＡｄａＢｏｏｓｔ 算法的驾驶员疲劳驾驶检测 ［Ｄ］． 成都： 电子科技大学， ２０１３． ＸＩＯＮＧ Ｃｈｉｌｉａｎｇ． Ｄｅｔｅｃｔｉｏｎ ｏｆ ｄｒｉｖｅｒｓ ｆａｔｉｇｕｅ ｄｒｉｖｉｎｇ ｂａｓｅｄ ｏｎ Ａｄａｂｏｏｓｔ ａｌｇｏｒｉｔｈｍ［Ｄ］． Ｃｈｅｎｇｄｕ： Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｅｌｅｃ⁃ ｔｒｏｎｉｃ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ ｏｆ Ｃｈｉｎａ， ２０１３． ［１５］王奕直， 周凌霄， 孔万增． 基于 Ａｄａｂｏｏｓｔ 的疲劳驾驶眨 眼检测［Ｊ］． 杭州电子科技大学学报， ２０１３， ３３ （ ４）： ３５⁃３８． ＷＡＮＧ Ｙｉｚｈｉ， ＺＨＯＵ Ｌｉｎｇｘｉａｏ， ＫＯＮＧ Ｗａｎｚｅｎｇ． Ｅｙｅ ｂｌｉｎｋｉｎｇ ｄｅｔｅｃｔｉｎｇ ｉｎ ｄｒｉｖｉｎｇ ｆａｔｉｇｕｅ ｂａｓｅｄ ｏｎ Ａｄａｂｏｏｓｔ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｈａｎｇｚｈｏｕ ｄｉａｎｚｉ ｕｎｉｖｅｒｓｉｔｙ， ２０１３， ３３ （ ４ ）： ３５⁃３８． ［１６］ＹＯＯ Ｊ， ＹＡＮ Ｌｏｎｇ， ＥＬ⁃ＤＡＭＡＫ Ｄ， ｅｔ ａｌ． Ａｎ ８⁃Ｃｈａｎｎｅｌ ｓｃａｌａｂｌｅ ＥＥＧ ａｃｑｕｉｓｉｔｉｏｎ ＳｏＣ ｗｉｔｈ ｐａｔｉｅｎｔ⁃ｓｐｅｃｉｆｉｃ ｓｅｉｚｕｒｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｒｅｃｏｒｄｉｎｇ ｐｒｏｃｅｓｓｏｒ［ Ｊ］． ＩＥＥＥ ｊｏｕｒｎａｌ ｏｆ ｓｏｌｉｄ⁃ｓｔａｔｅ ｃｉｒｃｕｉｔｓ， ２０１３， ４８（１）： ２１４⁃２２８． ［１７］ＮＥＵ Ｄ， ＭＡＩＲＥＳＳＥ Ｏ， ＶＥＲＢＡＮＣＫ Ｐ， ｅｔ ａｌ． Ｎｏｎ⁃ＲＥＭ ｓｌｅｅｐ ＥＥＧ ｐｏｗｅｒ ｄｉｓｔｒｉｂｕｔｉｏｎ ｉｎ ｆａｔｉｇｕｅ ａｎｄ ｓｌｅｅｐｉｎｅｓｓ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｐｓｙｃｈｏｓｏｍａｔｉｃ ｒｅｓｅａｒｃｈ， ２０１４， ７６ （ ４）： ２８６⁃ ２９１． 作者简介： 张毅，男，１９６６ 年生，教授，博士生 导师，主要研究方向为机器人及应用、 数据融合、信息无障碍技术。 尹春林，男，１９９０ 年生，硕士研究 生，主要研究方向为多模人机交互。 蔡军，男，１９７７ 年生，副教授，主要 研究方向为机器人技术及应用、生物信 号处理及应用、模式识别。 ·６５４· 智 能 系 统 学 报 第 １１ 卷