第5期 张毅，等：混合脑电信号及视觉信息的智能轮椅人机交互系统 .653. 段都能够安全平滑地完成指定路线，完成指定路线 4结束语 所用时间也将大大减少，并且随着受训时间的延长， 消耗时间也只增加10s左右。图10(a)和图11(a) 本文提出了一种混合脑电信号及视觉信号的智 中虽然单一的EEG系统也能完成指定路线，但当受 能轮椅人机交互系统。该人机交互系统通过改进 训时间为30~40min轨迹曲线开始出现较大的波动 Adaboost算法不断地检测眼睛状态，视觉信息的加 且不光滑，轮椅开始原地打转、向非意识方向运动， 入大大避免了受试者利用单一EEG人机交互系统 这是因为脑电采集系统本身或者受试者运动想象过 时由于疲乏问题造成的有用信息缺失导致的系统误 程中精神需要长期处于高度集中状态，极易产生疲 识别问题。通过“8”字形轨迹的固定实验，验证了 乏，使得脑电信号特征值发生变化6]，稳定性降 该智能轮椅人机交互方案是可行的。 低，产生很多误识别动作，进而完成指定路线的时间 参考文献： 也随着延长约100s。 3.2算法识别率验证 [1]涂建成.脑电信号控制智能轮椅的研究[D].杭州：杭州 为了验证改进的CSSD算法的性能，4个受试者 电子科技大学，2011. TU Jiancheng.The research for control intelligent wheelchair 分别控制智能轮椅左转、右转各40次，然后从中各 based on EEG[D].Hangzhou:Hangzhou Dianzi Universi- 随机抽取20次作为训练样本，其余作为测试样本， y,2011」 将上述所得的特征向量分别输入支持向量机分类器 [2]REBSAMEN B,GUAN Cuntai,ZHANG Haihong,et al.A 进行分类，经交叉验证得到几位受试者在不同的特 brain controlled wheelchair to navigate in familiar environ- 征提取下左右手的正确识别率如表2、表3所示。 ments[J].IEEE transactions on neural systems and rehabil- 表2采用传统CSSD特征提取的正确识别率 itation engineering,2010,18(6):590-598 Table 2 The correct recognition rate of the traditional [3]HOW T V,WANG R H,MIHAILIDIS A.Evaluation of an CSSD feature extraction % intelligent wheelchair system for older adults with cognitive impairments[].Journal of neuroengineering and rehabilita- 受试者 左手 右手 平均识别率 tion,2013,10(1):90. 75.80 77.50 75.15 [4]JI Y,HWANG J,KIM E Y.An intelligent wheelchair using situation awareness and obstacle detection].Procedia-so- 2 82.90 80.50 81.70 cial and behavioral sciences,2013,97:620-628. 80.40 75.30 77.85 [5]ORTNER R,ALLISON B Z,KORISEK G,et al.An SS. 87.50 88.13 87.82 VEP BCI to control a hand orthosis for persons with tetraple- gia[].IEEE transactions on neural systems and rehabilita- 表3采用改进CSSD特征提取的正确识别率 tion engineering,2011,19(1):1-5. Table 3 The correct recognition rate of the improvement [6]何海洋.基于多类意识任务识别的电动轮椅脑电控制方 CSSD feature extraction % 法研究[D].杭州：杭州电子科技大学，2012. 受试者 左手 右手 平均识别率 HE Haiyang.The research of EEG control methods of power wheelchair based on muti-class mental tasks recognition 90.40 87.46 88.93 [D].Hangzhou:Hangzhou Dianzi University,2012. 2 87.60 88.00 87.80 [7]李恋.结合E0G和EEG的人机交互系统的研究与实现 [D].合肥：安徽大学，2012. 90.20 93.70 91.95 LI Lian.The research and implementation of the human- 95.20 94.82 95.01 computer interaction system based on the combination of EOG and EEG[D].Hefei:Anhui University,2012 由表2、3可知，使用改进CSSD特征提取算法 [8]WEI Lai,HU Huosheng.A multi-modal human machine in- 得到的左右手平均正确识别率均在87%以上，最高 terface for controlling an intelligent wheelchair using face 平均正确识别率为95.01%，最低值为87.80%，较传 movements[C]//Proceedings of IEEE International Confer- 统CSSD算法有效提高了脑电信号的正确识别率。 ence on Robotics and Biomimetics.Karon Beach,Phuket:段都能够安全平滑地完成指定路线，完成指定路线 所用时间也将大大减少，并且随着受训时间的延长， 消耗时间也只增加 １０ ｓ 左右。 图 １０（ａ）和图 １１（ａ） 中虽然单一的 ＥＥＧ 系统也能完成指定路线，但当受 训时间为 ３０～４０ ｍｉｎ 轨迹曲线开始出现较大的波动 且不光滑，轮椅开始原地打转、向非意识方向运动， 这是因为脑电采集系统本身或者受试者运动想象过 程中精神需要长期处于高度集中状态，极易产生疲 乏，使得脑电信号特征值发生变化［１６⁃１７］ ，稳定性降 低，产生很多误识别动作，进而完成指定路线的时间 也随着延长约 １００ ｓ。 ３．２ 算法识别率验证 为了验证改进的 ＣＳＳＤ 算法的性能，４ 个受试者 分别控制智能轮椅左转、右转各 ４０ 次，然后从中各 随机抽取 ２０ 次作为训练样本，其余作为测试样本， 将上述所得的特征向量分别输入支持向量机分类器 进行分类，经交叉验证得到几位受试者在不同的特 征提取下左右手的正确识别率如表 ２、表 ３ 所示。 表 ２ 采用传统 ＣＳＳＤ 特征提取的正确识别率 Ｔａｂｌｅ ２ Ｔｈｅ ｃｏｒｒｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅ ｏｆ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ＣＳＳＤ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ％ 受试者 左手 右手 平均识别率 １ ７５．８０ ７７．５０ ７５．１５ ２ ８２．９０ ８０．５０ ８１．７０ ３ ８０．４０ ７５．３０ ７７．８５ ４ ８７．５０ ８８．１３ ８７．８２ 表 ３ 采用改进 ＣＳＳＤ 特征提取的正确识别率 Ｔａｂｌｅ ３ Ｔｈｅ ｃｏｒｒｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅ ｏｆ ｔｈｅ ｉｍｐｒｏｖｅｍｅｎｔ ＣＳＳＤ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ％ 受试者 左手 右手 平均识别率 １ ９０．４０ ８７．４６ ８８．９３ ２ ８７．６０ ８８．００ ８７．８０ ３ ９０．２０ ９３．７０ ９１．９５ ４ ９５．２０ ９４．８２ ９５．０１ 由表 ２、３ 可知，使用改进 ＣＳＳＤ 特征提取算法 得到的左右手平均正确识别率均在 ８７％以上，最高 平均正确识别率为 ９５．０１％，最低值为 ８７．８０％，较传 统 ＣＳＳＤ 算法有效提高了脑电信号的正确识别率。 ４ 结束语 本文提出了一种混合脑电信号及视觉信号的智 能轮椅人机交互系统。 该人机交互系统通过改进 Ａｄａｂｏｏｓｔ 算法不断地检测眼睛状态，视觉信息的加 入大大避免了受试者利用单一 ＥＥＧ 人机交互系统 时由于疲乏问题造成的有用信息缺失导致的系统误 识别问题。 通过“８”字形轨迹的固定实验，验证了 该智能轮椅人机交互方案是可行的。 参考文献： ［１］涂建成． 脑电信号控制智能轮椅的研究［Ｄ］． 杭州： 杭州 电子科技大学， ２０１１． ＴＵ Ｊｉａｎｃｈｅｎｇ． Ｔｈｅ ｒｅｓｅａｒｃｈ ｆｏｒ ｃｏｎｔｒｏｌ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌｃｈａｉｒ ｂａｓｅｄ ｏｎ ＥＥＧ［Ｄ］． Ｈａｎｇｚｈｏｕ： Ｈａｎｇｚｈｏｕ Ｄｉａｎｚｉ Ｕｎｉｖｅｒｓｉ⁃ ｔｙ， ２０１１． ［２］ＲＥＢＳＡＭＥＮ Ｂ， ＧＵＡＮ Ｃｕｎｔａｉ， ＺＨＡＮＧ Ｈａｉｈｏｎｇ， ｅｔ ａｌ． Ａ ｂｒａｉｎ ｃｏｎｔｒｏｌｌｅｄ ｗｈｅｅｌｃｈａｉｒ ｔｏ ｎａｖｉｇａｔｅ ｉｎ ｆａｍｉｌｉａｒ ｅｎｖｉｒｏｎ⁃ ｍｅｎｔｓ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｓｙｓｔｅｍｓ ａｎｄ ｒｅｈａｂｉｌ⁃ ｉｔａｔｉｏｎ ｅｎｇｉｎｅｅｒｉｎｇ， ２０１０， １８（６）： ５９０⁃５９８． ［３］ＨＯＷ Ｔ Ｖ， ＷＡＮＧ Ｒ Ｈ， ＭＩＨＡＩＬＩＤＩＳ Ａ． Ｅｖａｌｕａｔｉｏｎ ｏｆ ａｎ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌｃｈａｉｒ ｓｙｓｔｅｍ ｆｏｒ ｏｌｄｅｒ ａｄｕｌｔｓ ｗｉｔｈ ｃｏｇｎｉｔｉｖｅ ｉｍｐａｉｒｍｅｎｔｓ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｎｅｕｒｏｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ ｒｅｈａｂｉｌｉｔａ⁃ ｔｉｏｎ， ２０１３， １０（１）： ９０． ［４］ＪＩ Ｙ， ＨＷＡＮＧ Ｊ， ＫＩＭ Ｅ Ｙ． Ａｎ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌｃｈａｉｒ ｕｓｉｎｇ ｓｉｔｕａｔｉｏｎ ａｗａｒｅｎｅｓｓ ａｎｄ ｏｂｓｔａｃｌｅ ｄｅｔｅｃｔｉｏｎ［Ｊ］． Ｐｒｏｃｅｄｉａ⁃ｓｏ⁃ ｃｉａｌ ａｎｄ ｂｅｈａｖｉｏｒａｌ ｓｃｉｅｎｃｅｓ， ２０１３， ９７： ６２０⁃６２８． ［５］ＯＲＴＮＥＲ Ｒ， ＡＬＬＩＳＯＮ Ｂ Ｚ， ＫＯＲＩＳＥＫ Ｇ， ｅｔ ａｌ． Ａｎ ＳＳ⁃ ＶＥＰ ＢＣＩ ｔｏ ｃｏｎｔｒｏｌ ａ ｈａｎｄ ｏｒｔｈｏｓｉｓ ｆｏｒ ｐｅｒｓｏｎｓ ｗｉｔｈ ｔｅｔｒａｐｌｅ⁃ ｇｉａ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｓｙｓｔｅｍｓ ａｎｄ ｒｅｈａｂｉｌｉｔａ⁃ ｔｉｏｎ ｅｎｇｉｎｅｅｒｉｎｇ， ２０１１， １９（１）： １⁃５． ［６］何海洋． 基于多类意识任务识别的电动轮椅脑电控制方 法研究［Ｄ］．杭州：杭州电子科技大学， ２０１２． ＨＥ Ｈａｉｙａｎｇ． Ｔｈｅ ｒｅｓｅａｒｃｈ ｏｆ ＥＥＧ ｃｏｎｔｒｏｌ ｍｅｔｈｏｄｓ ｏｆ ｐｏｗｅｒ ｗｈｅｅｌｃｈａｉｒ ｂａｓｅｄ ｏｎ ｍｕｔｉ⁃ｃｌａｓｓ ｍｅｎｔａｌ ｔａｓｋｓ ｒｅｃｏｇｎｉｔｉｏｎ ［Ｄ］． Ｈａｎｇｚｈｏｕ： Ｈａｎｇｚｈｏｕ Ｄｉａｎｚｉ Ｕｎｉｖｅｒｓｉｔｙ， ２０１２． ［７］李恋． 结合 ＥＯＧ 和 ＥＥＧ 的人机交互系统的研究与实现 ［Ｄ］． 合肥： 安徽大学， ２０１２． ＬＩ Ｌｉａｎ． Ｔｈｅ ｒｅｓｅａｒｃｈ ａｎｄ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ｈｕｍａｎ⁃ ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｔｈｅ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ ＥＯＧ ａｎｄ ＥＥＧ［Ｄ］． Ｈｅｆｅｉ： Ａｎｈｕｉ Ｕｎｉｖｅｒｓｉｔｙ， ２０１２． ［８］ＷＥＩ Ｌａｉ， ＨＵ Ｈｕｏｓｈｅｎｇ． Ａ ｍｕｌｔｉ⁃ｍｏｄａｌ ｈｕｍａｎ ｍａｃｈｉｎｅ ｉｎ⁃ ｔｅｒｆａｃｅ ｆｏｒ ｃｏｎｔｒｏｌｌｉｎｇ ａｎ ｉｎｔｅｌｌｉｇｅｎｔ ｗｈｅｅｌｃｈａｉｒ ｕｓｉｎｇ ｆａｃｅ ｍｏｖｅｍｅｎｔｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒ⁃ ｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ｂｉｏｍｉｍｅｔｉｃｓ． Ｋａｒｏｎ Ｂｅａｃｈ， Ｐｈｕｋｅｔ： 第 ５ 期 张毅，等：混合脑电信号及视觉信息的智能轮椅人机交互系统 ·６５３·