第11卷第5期 智能系统学报 Vol.11 No.5 2016年10月 CAAI Transactions on Intelligent Systems 0ct.2016 D0I:10.11992/is.201511004 网络出版地址：htp:/nww.cnki.net/kcms/detail/23.1538.TP.20160824.0929.010.html 混合脑电信号及视觉信息的智能轮椅人机交互系统 张毅，尹春林，蔡军 (重庆邮电大学信息无障碍工程研发中心，重庆400065) 摘要：针对单一脑电信号人机交互系统中受试者长时间运动想象过程中精神极易产生疲乏，导致脑电信号有用信 息量不足造成系统误识别的问题，本文提出一种视觉信息辅助脑电信号的人机交互系统。该系统通过在脑电信号 实时操作中不断地识别眼睛状态，产生一种新的样本更新策略，更新的视觉信息作为系统的反馈，对人机交互闭环 控制系统起到有效的校正作用。通过在智能轮椅平台走一个“8”字形固定轨迹的实验，实验结果表明：视觉信息的 加入有效地避免了单一脑电信号控制智能轮椅由于疲乏问题造成的误识别问题，具有较好的稳定性和鲁棒性，表明 了该人机交互方法的可行性。 关键词：EEG:视觉信息；样本更新；人机交互 中图分类号：TP242.6文献标志码：A文章编号：1673-4785(2016)05-0648-07 中文引用格式：张毅，尹春林，蔡军.混合脑电信号及视觉信息的智能轮椅人机交互系统[J].智能系统学报，2016,11(5)：648-654. 英文引用格式：ZHANG Yi,YIN Chunlin,CAI Jun..On a hybrid electroencephalograph and visual information intelligent wheel- chair human-machine interactive system [J].CAAI transactions on intelligent systems,2016,11(5):648-654. On a hybrid electroencephalograph and visual information intelligent wheelchair human-machine interactive system ZHANG Yi,YIN Chunlin,CAI Jun (Information Accessibility Engineering R&D Center,Chongqing University of Posts and Telecommunications,Chongqing 400065,China) Abstract:To address error recognition problems created by mental fatigue when a human subject partakes in a sin- gle motor imager process for a long period of time,a visual information assisted EEG (electroencephalograph)hu- man-machine interactive control system was proposed.The system produces a new sample updated strategy,with the 'state'of the eyes being recognized by the improved Adaboost algorithm in real-time and the recognition result be- ing used to decide which EEG signal to update as the model parameter for human-machine interaction.An experi- ment on controlling an intelligent wheelchair off a fixed trajectory with a '8'glyph was undertaken.The results show that visual information is adopted effectively by the intelligent wheelchair users to avoid the fatique-related er- ror recognition problem with good levels of efficiency;thus proving that the interactive method is feasible. Keywords:EEG;visual information;sample updated;human-machine interaction 脑机接口(brain computer interface,BCI)是不依高他们的自主活动能力，并在残疾人康复和正常人 赖于大脑外周神经与肌肉系统，在人脑和计算机或 辅助控制领域有着广泛的应用前景[2)。虽然脑电 外部设备之间建立起来的一种通信系统山。它能 信号控制智能轮椅的种类在增多，识别率在不断地提 够为那些失去对所有身体机能控制但思维意识正常。 高，但都是单一脑电人机交互系统，由于脑电信号(e 的残障人士提供一种新型的对外信息交流手段，提 lectro encephalo gram,EEG)的非平稳性和非线性等 问题，且受试者运动想象过程中精神需要长期处于高 收稿日期：2015-11-05.网络出版日期：2016-08-24. 度集中状态，极易疲乏，则容易造成系统的误识别，降 基金项目：科技部国际合作项目(2010DFA12160):国家自然科学基金 低系统的稳定性。在混合控制方面，国内的研究的较 项目(60905066)：国家自然科学基金项目(51075420). 通信作者：尹春林.E-mail:659825946@qg.com. 少。早在20Il年，英国Essex大学的Huosheng Hu就第 １１ 卷第 ５ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．５ ２０１６ 年 １０ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｏｃｔ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１５１１００４ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１６０８２４．０９２９．０１０．ｈｔｍｌ 混合脑电信号及视觉信息的智能轮椅人机交互系统 张毅，尹春林，蔡军 （重庆邮电大学 信息无障碍工程研发中心，重庆 ４０００６５） 摘 要：针对单一脑电信号人机交互系统中受试者长时间运动想象过程中精神极易产生疲乏，导致脑电信号有用信 息量不足造成系统误识别的问题，本文提出一种视觉信息辅助脑电信号的人机交互系统。 该系统通过在脑电信号 实时操作中不断地识别眼睛状态，产生一种新的样本更新策略，更新的视觉信息作为系统的反馈，对人机交互闭环 控制系统起到有效的校正作用。 通过在智能轮椅平台走一个“８”字形固定轨迹的实验，实验结果表明：视觉信息的 加入有效地避免了单一脑电信号控制智能轮椅由于疲乏问题造成的误识别问题，具有较好的稳定性和鲁棒性，表明 了该人机交互方法的可行性。 关键词：ＥＥＧ；视觉信息；样本更新；人机交互 中图分类号：ＴＰ２４２．６ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０５⁃０６４８⁃０７ 中文引用格式：张毅，尹春林，蔡军．混合脑电信号及视觉信息的智能轮椅人机交互系统［Ｊ］． 智能系统学报， ２０１６， １１（５）：６４８⁃６５４． 英文引用格式：ＺＨＡＮＧ Ｙｉ， ＹＩＮ Ｃｈｕｎｌｉｎ， ＣＡＩ Ｊｕｎ． Ｏｎ ａ ｈｙｂｒｉｄ ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈ ａｎｄ ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌ⁃ ｃｈａｉｒ ｈｕｍａｎ⁃ｍａｃｈｉｎｅ ｉｎｔｅｒａｃｔｉｖｅ ｓｙｓｔｅｍ ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１６，１１（５）：６４８⁃６５４． Ｏｎ ａ ｈｙｂｒｉｄ ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈ ａｎｄ ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌｃｈａｉｒ ｈｕｍａｎ⁃ｍａｃｈｉｎｅ ｉｎｔｅｒａｃｔｉｖｅ ｓｙｓｔｅｍ ＺＨＡＮＧ Ｙｉ， ＹＩＮ Ｃｈｕｎｌｉｎ， ＣＡＩ Ｊｕｎ （Ｉｎｆｏｒｍａｔｉｏｎ Ａｃｃｅｓｓｉｂｉｌｉｔｙ Ｅｎｇｉｎｅｅｒｉｎｇ Ｒ＆Ｄ Ｃｅｎｔｅｒ， Ｃｈｏｎｇｑｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ， Ｃｈｏｎｇｑｉｎｇ ４０００６５， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏ ａｄｄｒｅｓｓ ｅｒｒｏｒ ｒｅｃｏｇｎｉｔｉｏｎ ｐｒｏｂｌｅｍｓ ｃｒｅａｔｅｄ ｂｙ ｍｅｎｔａｌ ｆａｔｉｇｕｅ ｗｈｅｎ ａ ｈｕｍａｎ ｓｕｂｊｅｃｔ ｐａｒｔａｋｅｓ ｉｎ ａ ｓｉｎ⁃ ｇｌｅ ｍｏｔｏｒ ｉｍａｇｅｒ ｐｒｏｃｅｓｓ ｆｏｒ ａ ｌｏｎｇ ｐｅｒｉｏｄ ｏｆ ｔｉｍｅ， ａ ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ａｓｓｉｓｔｅｄ ＥＥＧ （ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈ） ｈｕ⁃ ｍａｎ⁃ｍａｃｈｉｎｅ ｉｎｔｅｒａｃｔｉｖｅ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ ｗａｓ ｐｒｏｐｏｓｅｄ． Ｔｈｅ ｓｙｓｔｅｍ ｐｒｏｄｕｃｅｓ ａ ｎｅｗ ｓａｍｐｌｅ ｕｐｄａｔｅｄ ｓｔｒａｔｅｇｙ， ｗｉｔｈ ｔｈｅ ‘ｓｔａｔｅ’ ｏｆ ｔｈｅ ｅｙｅｓ ｂｅｉｎｇ ｒｅｃｏｇｎｉｚｅｄ ｂｙ ｔｈｅ ｉｍｐｒｏｖｅｄ Ａｄａｂｏｏｓｔ ａｌｇｏｒｉｔｈｍ ｉｎ ｒｅａｌ⁃ｔｉｍｅ ａｎｄ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｒｅｓｕｌｔ ｂｅ⁃ ｉｎｇ ｕｓｅｄ ｔｏ ｄｅｃｉｄｅ ｗｈｉｃｈ ＥＥＧ ｓｉｇｎａｌ ｔｏ ｕｐｄａｔｅ ａｓ ｔｈｅ ｍｏｄｅｌ ｐａｒａｍｅｔｅｒ ｆｏｒ ｈｕｍａｎ⁃ｍａｃｈｉｎｅ ｉｎｔｅｒａｃｔｉｏｎ． Ａｎ ｅｘｐｅｒｉ⁃ ｍｅｎｔ ｏｎ ｃｏｎｔｒｏｌｌｉｎｇ ａｎ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌｃｈａｉｒ ｏｆｆ ａ ｆｉｘｅｄ ｔｒａｊｅｃｔｏｒｙ ｗｉｔｈ ａ ‘８’ ｇｌｙｐｈ ｗａｓ ｕｎｄｅｒｔａｋｅｎ． Ｔｈｅ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ａｄｏｐｔｅｄ ｅｆｆｅｃｔｉｖｅｌｙ ｂｙ ｔｈｅ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌｃｈａｉｒ ｕｓｅｒｓ ｔｏ ａｖｏｉｄ ｔｈｅ ｆａｔｉｑｕｅ⁃ｒｅｌａｔｅｄ ｅｒ⁃ ｒｏｒ ｒｅｃｏｇｎｉｔｉｏｎ ｐｒｏｂｌｅｍ ｗｉｔｈ ｇｏｏｄ ｌｅｖｅｌｓ ｏｆ ｅｆｆｉｃｉｅｎｃｙ； ｔｈｕｓ ｐｒｏｖｉｎｇ ｔｈａｔ ｔｈｅ ｉｎｔｅｒａｃｔｉｖｅ ｍｅｔｈｏｄ ｉｓ ｆｅａｓｉｂｌｅ． Ｋｅｙｗｏｒｄｓ：ＥＥＧ； ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ； ｓａｍｐｌｅ ｕｐｄａｔｅｄ； ｈｕｍａｎ⁃ｍａｃｈｉｎｅ ｉｎｔｅｒａｃｔｉｏｎ 收稿日期：２０１５⁃１１⁃０５． 网络出版日期：２０１６⁃０８⁃２４． 基金项目：科技部国际合作项目（２０１０ＤＦＡ１２１６０）；国家自然科学基金 项目（６０９０５０６６）；国家自然科学基金项目（５１０７５４２０）． 通信作者：尹春林． Ｅ⁃ｍａｉｌ：６５９８２５９４６＠ ｑｑ．ｃｏｍ． 脑机接口（ｂｒａｉｎ ｃｏｍｐｕｔｅｒ ｉｎｔｅｒｆａｃｅ，ＢＣＩ）是不依 赖于大脑外周神经与肌肉系统，在人脑和计算机或 外部设备之间建立起来的一种通信系统［１］ 。 它能 够为那些失去对所有身体机能控制但思维意识正常 的残障人士提供一种新型的对外信息交流手段，提 高他们的自主活动能力，并在残疾人康复和正常人 辅助控制领域有着广泛的应用前景［２⁃５］ 。 虽然脑电 信号控制智能轮椅的种类在增多，识别率在不断地提 高，但都是单一脑电人机交互系统，由于脑电信号（ｅ⁃ ｌｅｃｔｒｏ ｅｎｃｅｐｈａｌｏ ｇｒａｍ， ＥＥＧ）的非平稳性和非线性等 问题，且受试者运动想象过程中精神需要长期处于高 度集中状态，极易疲乏，则容易造成系统的误识别，降 低系统的稳定性。 在混合控制方面，国内的研究的较 少。 早在 ２０１１ 年，英国 Ｅｓｓｅｘ 大学的 Ｈｕｏｓｈｅｎｇ Ｈｕ 就