第6卷第3期 智能系统学报 Vol.6 No.3 2011年6月 CAAI Transactions on Intelligent Systems Jun.2011 doi:10.3969/i.i8gn.1673-4785.2011.03.001 脑-机接口研究进展 王斐12，张育中，宁廷会，闻时光 (1.东北大学流程工业综合自动化国家重点实验室，过宁沈阳110819；2.哈尔滨工业大学机器人技术与系统国家 重点实验室，黑龙江哈尔滨150001) 摘要：作为当前神经工程领域中最活跃的研究方向之一，脑机接口在生物医学、神经康复和智能机器人等领域具 有重要的研究意义和巨大的应用潜力.近10年来，脑机接口技术得到了长足的进步和飞速的发展，应用领域也在逐 渐扩大.在已有相关工作的基础上，介绍脑机接口系统的主要组成部分，对各组成部分常涉及到的相关基本理论和 技术作了总结和介绍，主要包括脑信号获取、脑信号预处理、特征提取、变换算法等相关技术和理论，最后对脑机接 口未来的研究方向进行了展望. 关键词：脑机接口：脑电信号：预处理：特征提取：变换算法 中图分类号：TP391.4文献标识码：A文章编号：16734785(2011)030189-11 Research progress in a brain-computer interface WANG Fei2,ZHANG Yuzhong',NING Tinghui',WEN Shiguang' (1.State Key Laboratory of Synthetical Automation for Process Industries,Northeastern University,Shenyang 110819,China;2.State Key Laboratory of Robotics and System,Harbin Institute of Technology,Harbin 150001,China) Abstract:As one of the most active research fields in neural engineering,brain-computer interface (BCI)has im- portant research significance and great potential applications in many fields including biomedicine,neurological re- habilitation,and intelligent robotics.In the last decade,BCI has made great progress and rapid development,and its application field is also gradually expanding.In this study,based on related work,the main components consis- ting of the BCI system were detailed,then related basic theories and techniques involved in these components were summarized and described including brain signal acquisition,signal preprocessing,feature extraction,and transfor- mation algorithms.Finally,an overview of the trend of future BCI development was discussed. Keywords:brain-computer interface;brain signal;pre-processing;feature extraction;transformation algorithm 脑-机接口(brain-computer interface,BCI)是基 。 环境交流难的问题，为残疾人带来了福音. 于脑神经活动与外界交流的一种全新交流方式，它 最近10年来，随着电子技术、计算机技术等学 绕开了人类神经末梢和肌肉等通常的信息通道，直 科的发展，BCI得到了快速的发展，BCI系统已逐渐 接和大脑进行沟通，通过分析脑信号将用户的运动 从实验室走进人们的实际生活中来.然而由于BCI 等意图转换为语言、设备的控制输入量等，使用户直 是个多学科交叉的研究方向，涉及到的内容较多，对 接通过脑信号与外面的环境进行实时的交互，在一 于初次进入BCI研究领域的工作者来说通常很难 定程度上解决了神经末梢、肌肉受损等患者与外界 在短时间里找到正确的研究思路，为了方便这些研 究者们快速地找到正确的研究思路，已有相关文献 收稿日期：20100803. 对BCI做了一些相关综述，但这些文献主要是就 基金项目：国家自然科学基金资助项目(60705031)：数育部博士学科 点科研基金资助项目(20070145105)；机器人技术与系统 BCI研究领域中某一个方面的研究现状做了大致的 国家重点实验室开放课题基金资助项目(SLRS2010-ZD 介绍，而且也很少涉及到BCI研究中具体的一些技 03);中央高校基本科研业务费专项资金资助项目 (N090404007). 术和理论. 通信作者：王斐.E-mail:wangfei(@ise,neu.edu.cm. 本文在前人文献的基础上系统详尽地介绍了
·190 智能系统学报 第6卷 BCI的各主要组成部分及其涉及到的一些关键技术 的命令并为人类提供更好的服务 和理论，文章首先介绍了BCI的研究意义及发展现 1.2研究现状 状；然后介绍了BCI系统的各组成部分，并详细地 BCI的研究最早可以追溯到20世纪30年代， 描述和总结了BCI各组成部分所涉及到的具体理 1929年Hans Berger发明了一种可以记录脑信号的 论和技术，主要包括到脑信号获取、脑信号预处理技 仪器，即现在的EEG,随后人们就有了利用EEG采 术、特征提取以及变换算法等几大部分，最后对BCI 集脑信号来控制设备的想法，但是由于当时条件有 未来的研究方向进行了总结 限，并没有开发出一个完整实用的系统.40年后， Jacques Vida首次提出BCI这一术语)，当时提出 1 BCI的研究意义及发展现状 的BCI概念是指基于计算机开发的能产生类似脑 1.1研究意义 功能相关信息的系统，可见当时的BCI概念所指的 BCI研究具有重要的理论意义和实际应用价 范围十分广泛，但当时Jacques Vida等人开发的系 值.在理论上，由于BCI系统本身的复杂性，如外界 统就已经属于现在被广泛认同的BCI范畴，该系统 噪音数学模型的复杂性、人类本身特性与时间关系 通过记录视觉皮质层区域的视觉诱导电位并结合一 数学模型的复杂性等，因此BCI系统对目前模式识 定的信号处理手段来辨别受试者眼睛所凝视的方 别中常用的一些特征提取算法和分类算法都是一种 向，从而来决定用户想将屏幕上光标移动的所在位 挑战，必将会促使特征提取算法和分类算法朝着更 置.正是在Jacques Vida等人这一开创性的工作基 智能化的方向发展，促进模式识别理论的发展；另外 础上及BCI具有极大实际应用价值的推动下，BCI BCI将为大脑开拓某种新的信息输出渠道，大大增 得到越来越多人的注意. 强人们对外界控制和交流信息的能力，同时其信息 Sutter等人[2利用视觉诱导电位信号成功地将 传递和控制模式的研究开发将极大丰富脑认知科学 用户选择某种符号的意图识别出来了，这种方法为 和神经信息学内容，增加对人类意识的进一步理解， 那些无法进行正常交流的患者提供了另外一种交流 使人类更进一步地了解自己. 方法，患者利用该套系统每分钟可以交流10~12个 BCI研究在工程上的意义更是重大，虽然目前 词，虽然速度与正常人还是相差很大，但对改善患者 人机接口(human-computer interface,HCI)在一定的 的生活还是有一定的作用.Wolpaw等人成功地利用 条件下可以帮助人类解决一些问题，给用户带来了 4和B节律的幅度来控制光标在一维和二维的空间 方便，但HCI在某些特殊的情况下并不能完成预定 内移动].此外，他们还针对BCI研究领域广泛认 的任务，特别是针对肢体残疾或运动受损这类患者， 为的只有侵入性BCI系统才能精确地控制机器手 其通常的信息输出通道—神经末梢和肌肉受到了 臂、假肢等设备进行复杂运动这一观点，利用头皮层 一定的损害，并不能通过这些输出通道来给机器发 上的脑电图信号（非侵入BCI系统）实时地控制光 送命令，给患者的生活带来了极大的不便，并且这类 标在二维空间进行复杂的运动，并在运动时间、准确 患者在世界上的数量是十分巨大的，每年给这些患 度等性能上和侵入性的BCI系统进行了对比，得出 者提供的大量的物力和人力，无形中也为社会增加 非侵人性的BCI系统在性能上并不低于侵人性BCI 了许多压力，如果开发一套BCI系统来辅助这类患 系统[4].这一观点表明运动功能受损、截肢等患者 者的生活，将会大大减轻社会的负担，同时也为患者 可以借助非侵入性的BCI系统利用脑信号直接来 本人的生活带来方便， 控制机器手臂、假肢等设备进行日常生活所必需的 对在特殊环境下工作的人员，例如飞行员、宇航 运动，而不需要将电极植人大脑内来进行控制，这样 员或潜水员来说，可利用BCI技术为他们增加一些 排除了患者将电极植人脑内的一定风险，同时改善 特殊的操作和控制专用设备的技能.即使对一些肢 了肢体瘫痪等患者的生活质量， 体健康的普通人们来说，BCI技术未来也将逐渐影 利用BCI控制机器手等肢体方面的研究这几 响到这些人的生活，如将BC技术引入到游戏等娱 年也取得了一定的成绩.Richard等人[S1利用脑皮层 乐行业，可以为人们提供一种全新的交互界面，从而 信号成功地操纵了机器手抓紧物体这一动作.Hoch- 让人们尽享游戏带来的欢乐，此外，将BCI技术引 berg等人I1开发了一个BCI系统，一个四肢瘫痪的 人到机器人学科中来，并将其作为人类与机器人的 病人利用该系统经过9个月的学习，可以利用脑信 一种交流方式，可以让机器人更智能化地执行人类 号在计算机屏幕的二维空间移动光标，并且可以通
第3期 王斐，等：脑机接口研究进展 ·191· 过脑信号来控制机器手的张开和握紧，抓住指定的 小.本部分主要介绍当前脑信号采集的各种手段以 物体然后移动到其他地方等一些动作. 及脑信号的常见的几种分类方法。 经过几十年的发展，世界范围研究BCI的机构 3.1脑信号采集手段 已由几个发展到数以百计的专门研究机构以及大量 目前，脑信号可以通过许多技术手段来进行测 的高校.国内外研究BCI比较著名的机构主要有 量，包括脑电场或脑磁场的记录、功能性磁振造影、 Wadsworth研究中心、NSF、GSU脑实验研究室、Graz- 正电子放射层扫描术、功能性近红外成像，但目前脑 BCI研究机构、清华大学高上凯BCI课题研究组.据 磁描记法、功能性磁振造影和正电子放射层扫描术 报道国内研究BCI的高校还有国防科技大学、中南 等由于复杂的技术要求、成本高以及有限的实时性 民族大学、北京师范大学等。 能等因素限制还不能在实际中得到广泛的应用.只 BCI研究机构在壮大的同时，国际学术交流活 有脑电场记录和功能性近红外成像这2种技术在实 动也变得日益频繁，先后召开了2次以BCI为主题 际中有一定的应用，其中记录脑电场信号应用最为 的国际性学术会议8]，EEE医学生物工程学会举 广泛 办的首届神经工程国际会议讨论的主题一半以上也 根据电极放的位置不同，脑电场记录方法又分 均是与BCI相关，在武汉举办的神经接口与控制国 为3大类，如图2所示.第1类是将电极放在头皮层 际会议上提交的大多数论文也就脑-机接口系统的 来记录脑电场信号，称为EEG;第2类是将电极放 控制信号采集、分析和处理等方面进行了重要的研 人脑皮层，称为ECoG;第3类是将电极植人大脑更 究.除此之外，在国际一些脑机接口研究机构的组 深的地方，在硬脑膜下，主要用来测量局部场势和神 织下，已成功地举办了4次国际性的BCI竞赛.这些 经元的动作电位等.第1种方法比较安全，是一种非 活动都极大地促进了脑机接口研究的发展。 侵入的测量方法，容易实现，但是只有有限的分辨率 和频率范围.第2类具有较高的分辨率和较宽的频 2BCI的基本系统组成 率范围，但是需要将电极植入脑皮层，具有一定的危 BCI基本组成如图1所示，主要是由信号获取 险性，信号长时期的稳定性也不能保证.第3类方法 模块、信号处理模块、输出设备模块等部分组成.其 具有最高的分辨率和最宽的频率范围，但同第2类 中信号处理模块包括特征产生和变换算法2个子模 一样，都是属于侵入性的测量方法，具有一定的危险 块，特征产生主要是针对神经元活动信号选取更能 性，不易实现.具体采用哪种方法是根据实际需要而 反映用户意图那些特征，特征产生模块在一定程度 定，侵入的测量方法并不绝对比非侵人的测量方法 上决定了系统的整体性能，变换算法模块主要是将 在性能上好，在某些情况下，非侵入的测量方法也能 提取得到的特征映射为用户实际所需的输出， 取得很好的性能，甚至比侵入的测量方法更好 EEG: 信号获取 特征产生 变换算法 设备超 制量等 头皮层 简单、安全 只有有限的 软组织 分辨率和频带 头骨 -ECoG: 高分辨率但危险 且需要考虑长时 硬脑膜 间检测所得到信 号的可靠性 图1BCI基本组成部分 脑皮层 …动作电位和局部场势 Fig.1 The fundamental component of BCI 高分辨率但危险，且 需要考虑长时间检测 mm 3 脑信号获取 所得到信号的可靠性 图2脑电场记录所用的3种方法 脑信号获取是BCI技术首要解决的技术之一， Fig.2 Three recording methods in the brain's 脑信号由于其信号微弱故容易受到各种与目标信号 electric field 无关的其他信号的污染，如头皮层的肌电信号、眼球 在实际中，由于安全因素，除了一部分应用在动 转动的信号所带来的噪声，这部分的噪声可以采用 物身上的BCI系统以外，其余的BCI系统都是基于 在后面部分介绍的信号预处理手段将噪声减为最
·192 智能系统学报 第6卷 EEG的.EEG信号一般通过金属电极和导体从头皮 以这个横断面的边界为中心线，分别平行和垂直这 表面固定的位置进行记录.国际脑电图学会制定了 个中心线将大脑曲面以10%和20%的间隔进行切 统一的1020国际脑电记录系统，如图3所示，此外 分，电极沿着这些交汇点等距离放置9.在具体测 的64导或128导电极帽也是根据10-20系统扩展 量时，可以采用单电极或双电极2种测量方式，单电 而成的.在此系统中，在头皮表面放置21个电极，电 极测量的最终结果是每个电极与中心电极或与其他 极的位置由下列方式确定：参考点为鼻根（鼻子的 电极的平均值的差值，而双电极测量的是2个电极 最上部，与眼睛平齐)和枕骨隆突（脑后枕骨外的突 间的电压差 出部分)，以这2个点和头顶中央构成一个横断面， 鼻根 10% 20% 头顶 20% 20% 20% 20% 20% 20% 10% 枕骨隆突 20% 枕骨隆突 10 图310-20脑电图记录系统电极分布 Fig.3 The diagram of electrode distribution in the 10-20 EEG recording system 3.2脑信号常见几种分类方法 中应用还比较少. 正常人们的脑信号是一种节律性活动，波形极不 根据是否受外界环境刺激或思想意识等行为影 规则，振幅范围在几百微伏之内，频率主要集中在低 响，还可将脑信号分为自发脑电位和诱发电位.自发 频段，范围大概分布在0.2~50Hz之间，并且这些节 脑电位是指在没有特定外加刺激的情况下大脑皮层 律性活动受思想意识和行为等影响.通常按频率段所 自发产生的具有持续的、节律性的电位，诱发电位是 处位置可将脑信号划分为delta波(0.2~3.99Hz)、 指受到外界刺激及思想意识、运动等行为影响下在 theta波(4~7.99Hz)、mu波(8~12Hz)、alpha波 大脑皮层的局部区域产生的局部性脑电位.自发脑 (8~12.99Hz)、beta波(13~29.99Hz)、gamma波 电位和诱发电位有很大的不同，大脑皮层无时无刻 (30~50Hz).每个频率段的信号都有自己的特征. 都会产生自发脑电位，而诱发电位只存在于一定的 delta波波幅为20~200uV,出现在大脑处于无梦深 条件下，且具有稳定的潜伏期；另外，自发脑电位遍 睡状态，在生理性慢波睡眠状态和病理性昏迷状态也 布于整个大脑皮层，而诱发电位只存在于大脑皮层 能见到，也是婴儿大脑的基本波形；theta波波幅为 的局部区域. 20~100山V,出现在身体全身放松状态，是学龄前儿 除了上述2种分类方法外，在BCI研究中，根据 童的基本波形，在成年人处于瞌睡的状态下也能看 脑信号产生所依赖的神经机制，有些脑信号有专门的 到；mu波和alpha波频率分布基本上一致，但二者是 术语来描述，这些信号主要有事件相关去同步化(。 有区别的，mu波产生于大脑感觉运动皮层，而alpha vent related desynchronization,ERD)、事件相关同步 波在顶、枕区活动最为明显，alpha波出现在人安静闭 化(event related synchronization,ERS)脑信号、运动 目状态下，当眼睛睁开时会被阻断，而mu波主要是 相关电位(movement related potentials,MRPs)、皮层 与肢体运动有关，可以被肢体的主动运动或被动运动 慢电位(slow cortical potentials,.SCPs)、P3O0等.ERD 阻断，且在睡眠状态下消失；beta波波幅为5~25uV, 是指某些脑信号能量会在运动前夕（大概在2前）发 主要分布在额、颢、中央区；gamma波目前在BCI接口 生衰减的现象，并符合对侧优势这一原则；ERS是指
第3期 王斐，等：脑机接口研究进展 ·193· 在运动后某些脑信号能量会增加这一现象，并在运动 后的电压可通过式(1)来简化计算： 后600s内达到最大值，也符合对侧优势这一原则. P=R-∑g, 这些信号主要有，频率段的脑信号和B频率段中的 低频信号，另外，y信号也会出现ERS这一现象， 1/dg 8g= ∑1/dg (1) MRPs是出现于运动前（大概在1.5s前）的低频信号， jest 频率范围大概为0~7z,准备电位(BP)就是一种典 式中：是指第i处电极原始的电压值（通过EEG测 型的运动相关电位，会在运动前呈下降趋势.SCPs是 量得到的初始值)；是经过拉普拉斯变换后第i处 一种慢速变化与运动无关的脑信号，可以特续300m 电极的电压值；S:是第i处电极周围电极的集合；d是 至几秒之间，在正常的脑功能中，负的SCPs常伴随着 第i处电极和第j处电极的距离。与周围电极间的距离 脑皮层网络的去极化，正的SCPs常反映脑皮层处于 直接决定着SL的空间滤波特性，当距离增加时，SL变 去促酌状态，经过大量的训练后，人们可以控制SCPs 得对较高的空间频率敏感，而对较低的空间频率变得 的正负性，从而可以用来做一些简单的控制任务 不敏感.目前常采用的SL有2种，一种是小拉普拉斯 P300是指受到一些意识中注意事物的刺激后，并在 变换方法，另一种是大拉普拉斯变换方法.小拉普拉斯 刺激后的300ms内产生一个正峰值的电位.这些信 变换方法是指周围电极取得的就是该电极周边最近的 号目前被广泛用在BCI系统中，根据BCI系统实现的 邻近电极，而大拉普拉斯变换方法周围电极取得的是 目标不同来选择不同的信号作为系统的输入信号，如 该电极周边下一个邻近电极.一般情况下，如果所需的 若开发的系统是为了帮助残疾人行走，则可能会选择 脑信号分布具有较高的局部性及一定的稳定性，常采 MRPs等信号，若开发的系统是为了与外界进行语言 用小拉普拉斯变换方法；反之，常采用大拉普拉斯变换 交流，则可能会选择P300作为系统的输入信号，当然 方法 在实际应用中为了系统的可靠性，一个系统可能会采 ICA方法是通过一定的数学手段将脑信号X分解 用多种依赖不同神经机制的脑信号作为系统的输入 为一定数目且相互独立成分的组合，分解式见式(2)： 信号 X=WS. (2) 4特征产生 式中：W为混合矩阵；S代表的就是脑信号X中的 各个独立成分.ICA是从一个全新的角度对脑信号 特征产生模块是BCI整个系统的核心模块之 进行分析处理，将分解得到的独立成分看成是大脑 一，该模块的主要作用就是通过一定的信号处理手 中若干个“等效源”，这些等效源的输出经脑容体传 段来提高脑信号的信噪比，以及通过一定的特征提 播到不同的头皮电极位置上，形成了所测得的多导 取手段和特征降维方法来提取脑信号中有用的特 脑信号.大量的研究表明ICA可以从多导脑信号中 征.该模块按照功能可以划分为信号预处理、特征提 分离出来自人体其他器官的生物电信号以及其他的 取、特征降维3个子模块.下面将对这3个模块进行 干扰成分，同时ICA还可以将脑电信号中的基本节 详细的介绍， 律分布集中在不同的独立成分中，从而通过ICA方 4.1信号预处理 法能够有效地去除人体器官的生物电信号以及其他 由于脑信号本身的微弱性以及容易受到其他信 干扰成分，从而得到高信噪比的脑信号。 号的污染，通过EEG记录所得的脑信号的信噪比是 CSP是基于多导脑电位协方差的一种脑信号预 很小的，在进行特征提取前必须先通过一定的信号 处理方法，是一种有监督的空间滤波方法，其思想是 预处理手段来提高信噪比.目前研究者们提出了多 使2类信号经过滤波后的空间成分在能量上差异最 种信号预处理技术，其中应用最为广泛的主要有表 大，也就是找到使其中一类方差最大同时另一类方 面拉普拉斯变换(SL)031、独立成分分析 差最小的投影方向.其计算的基本步骤如下， (ICA)[3)、共同空间模式(CSP)[28,7,0、共同平 1)计算每类样本正规化的协方差矩阵R。、R, 均参考(CAR)5,26,289,等算法。 见式(3)，其中X、x分别代表a类和b类第i个 SL是针对每个电极位置计算其瞬时空间电压 脑电位样本矩阵，阶数为都N×T,N为通道数，T为 分布的二阶导数，相当于一个高通的空间频率滤波 采样数 器，可以通过在头皮层上覆盖多个电极来获得高的 2)计算复合协方差矩阵R=R。+R6,并将R通 空间分辨率.通过有限次差分法，经过拉普拉斯变换 过式(4)进行奇异值分解，则可得其白化变换P如
·194· 智能系统学报 第6卷 式(5). 但丢失了相位等一些高阶信息，而这些信息对脑信 3)将P作用于R.、R.,见式(6). 号分析有时显得很有意义，因此在脑信号分析中又 4)再对S。、S6进行奇异值分解，得式(7). 引入了双谱分析手段.双谱分析其优越之处在于针 5)最终可得到投影，见式(8). 对一些不同生理状态下的脑信号，有些功率谱很相 R=1分 Xx(oT 似，双谱结构却出现明显差异：但双谱分析也有其缺 n台tr(XX) (3) 陷性，其要求信号至少三阶平稳，只对短数据脑信号 R.=1 XX(OT 才有意义.在脑电信号分析中，除上述2种频域手段 台tr(Xg9X) 外，还有一种频域手段是自回归参数模型谱估计，由 R UoAcUo; (4) 于其模型中的系数较易求解，且对数据处理能得到 P=AdU; (5) 高分辨率的谱分析结果，特别是对脑信号作动态特 [S.=PR PT, 性分析更显优越，因此在脑信号分析自回归参数模 (6) LS=PRiPT; 型谱估计技术得到了广泛的应用.在自回归模型谱 [S.=Up U, 估计技术中常用的准则有信息论准则、最终预测误 (7) 差准则等，求取系数常用的算法有最小二乘法等， LS =UgU'; 4.2.2时域分析方法 W=UP. (8) 时域特征提取主要是提取脑电信号的一些波形 CAR也相当于是一个高通的空间滤波器，每个 特征，提取到的特征物理意义明确、直观性强，主要 电极处的电压值是该电极处的原始电压值减去所有 有幅值检测、方差分析、均值分析、过零截点分析、相 电极电压值的均值，具体表达式见式(9)，其中n为 关分析、直方图分析等手段， 电极总数.当电极均匀地分布在整个头皮层上且假 4.2.3时频域分析方法 设头皮层上产生的电压是出自于一个点源的话，那 脑信号是一种时变、非平稳信号，单纯的时、频 么通过CAR处理后，将会得到均值为O的空间电压 分析方法由于时域和频域分辨率的不确定性原理， 分布 不可能在时域和频域同时获得较高的分辨率，只有 4=-1∑ (9) n 将时间和频率结合起来进行处理才能取得更好的结 除了上述一些常用的信号预处理技术，另外还 果.目前时频域手段应用最为成功的有维格纳分布 有判别式空间滤波(DSP)9]、奇异值分解 和小波变换等.维格纳分布是一种时/频混合的信号 (SVD)o、局部平均技术61、CSSP(common spatio- 表示方法，能同时进行时域和频域分析，并把两者结 spatial pattems)CSSD(common spatial subspace 合起来，其各阶矩具有明确的物理意义.通过对脑信 decomposition)s2]等.有关这些方法的详细论述可参 号进行维格纳分析，不但可以求出信号在时间、频率 考文后相应的参考文献， 两域上的分布图，还可以求出信号的频率变化情况， 4.2特征提取 从而能更好地对脑信号进行分类和判别.但由于维 特征提取是从信号预处理模块得到的脑信号中 格纳分布不是线性的，会产生一个多余的交叉项，这 提取出少量的有用的信息表示为特征向量，作为后 个多余成分对信号处理的有用成分造成了难以克服 续分类器的输入.自1932年Dietch首先用傅里叶变 的干扰，若将时频两轴做卷积平滑与模糊函数法相 换进行脑电图分析后，相继引入了频 结合，将脑信号中维格纳分布的信号项与交叉项分 域0,23,5,0,51门、时域3031,5]、时频域m,59]等多 离，然后滤除交叉项，留下信号项，则可以获得较好 种特征提取方法， 的效果[@].小波变换是一种多尺度的信号分析方 4.2.1频域分析方法 法，具有良好的时频局部化特征，非常适合分析非平 频域中特征提取的方法主要有功率谱估计、双 稳信号的瞬时特性和时变特性，不同的生理状态下 谱分析、自回归参数模型谱估计等.功率谱估计是频 的脑信号在不同的时间表现出明显的节律变化差 域分析的主要手段之一，它主要是从频率的角度直 异.小波变换可以克服传统脑信号谱分析的不足，有 观地观察脑电节律的分布与变换情况；但其方差特 效地提取脑信号不同节律的时变信息，通过小波变 性不好，且数据较长时，估计值沿频率值的起伏比较 换可以有效提取时间定为良好的不同节律脑信号， 剧烈.另外功率谱分析虽然反映了信号的二阶信息， 并由此构造动态脑电地形图，为脑信号的动态分析
第3期 王斐，等：脑机接口研究进展 ·195· 与分类提供新的依据[61] 自适应调整，这些自发产生的改变主要是指用户一些 4.3特征降维 周期性的生理变化和用户状态的变化，而特征向量的 对一些BCI系统，经过特征提取后所得到的特 改变主要是由于系统的一些噪声所带来的，包括中枢 征向量维数可能仍然会很高，然而根据模式识别理 神经系统和非中枢神经系统的噪声等 论，当训练样本数一定时，分类器的泛化能力与训练 目前模式识别领域几乎所有的算法都在BCI 所用的特征数成反比，而脑信号数据训练样本集一 系统中有所应用，研究中使用最多的还是线性分类 般都是极其有限的，所以在设计BCI系统的变换算 器.有关研究也指出当对EEG数据的认识还有限 法时，降维是需要重点考虑的一个方面.一般情况下 时，应该本着最简单的就是最好的原则而尽量使用 进行特征降维处理后的BCI系统的识别率会有所 线性分类器，但对于复杂的大型EEG数据，非线性 提高].目前，在BCI系统中，主成分分析 分类器相对线性分类器一般会给出更好的分类结 (PCA)[6,9]和遗传算法(GA)[6@被广泛应用于特 果.线性分类器中较为典型的线性判别式分析 征降维。 (LDA)在BCI中应用广泛[6]，但LDA对于一些复 PCA的基本思想是在特征空间寻找一些方向， 杂的非线性脑信号数据还是不能给出令人满意的结 使得在新的方向上表示数据的误差平方和最小，同 果.非线性分类器中，支持向量机由于其很好的泛化 时又能有效地降低维数.通过分析样本数据的协方 能力和核函数技术，在BCI领域应用中也取得了许 差矩阵的特征值大小，最终取贡献较大的几个特征 多成功0.此外，还有神经网络分类器，其中又以 值所对应的特征向量作为主成分来映射原始数据， 多层感知器分类器应用最为广泛12].除了上述一 达到降维目的，重新获取的特征在彼此互不相关的 些典型的分类器以外，应用于BCI还有贝叶斯分类 前提下尽可能多地反映原始所有特征所包含的信 器、隐马尔可夫模型分类器、多种分类器联合 息.GA不同于PCA,GA是在整个问题空间进行试 等26，B-4].另外值得关注的是近几年研究比较活跃 探性的搜寻，最终得到问题的最优解，具体实现是首 的过程神经网络，虽然目前在BCI领域还没有应 先用串对特征进行编码，串的长度为特征向量的维 用，但是它较传统的神经网络增加了时间上的累积 数，0代表不包含该位置的特征，1代表包含该位置 效应，更好地模拟了人类实际神经网络的功能，并且 上的特征，然后是定义一个合适的适应度函数，通常 输入输出均可以为多变量函数空间；所以，如果利用 可以取分类的准确率或是表示分类器泛化能力的相 过程神经网络作为BCI系统的变换算法时，可以不 关表达式，最后通过遗传操作算子产生最优的后代 考虑特征提取，且并不会带来维数灾难等高计算复 从而解决问题 杂度问题. 在BCI领域中，除了上述2种典型的特征降维 大部分的BCI系统在进行变换算法模块处理 方法外，还有搜索法[64]、线性判别式分析[61、减除 后，还有个后处理模块尽可能地减小系统的识别错 法「6)、循环特征排除法「5]等.有关这些方法的详细 误率.后处理模块一般根据BCI系统具体要求来设 论述可参考文后相应的参考文献， 计，如若BCI系统是用来识别受试者想要说的单 词，当BCI系统识别出单词中的首字母后，可以根 5变换算法 据单词库来考虑单词中下一个字母出现的概率，结 简单地说，BCI系统核心其实就是一个模式识别 合这个概率和BCI的识别结果来决定BCI系统的 系统，因为BCI系统也是由特征提取和变换算法这两 最终输出.另外当BCI给出了错误的识别结果后， 大核心模块组成的.变换算法的主要任务就是将提取 受试者一般都会产生一种脑电位，通常称为“错误 到的特征向量映射为用户大脑目前正在活动的模式； 电位”，可以通过监测“错误电位”的出现来判断 或将特征向量映射为具体的物理量，直接决定当前的 BCI系统识别结果的正确性。 活动模式；或将特征向量分为指定的若干类，间接地 6结束语 来指出当前活动的模式.这一环节将直接决定着BCI 系统性能的好坏，所以BCI系统对变换算法这一块的 经过30年的发展，BCI系统在理论和技术上已 要求是非常严格的.变换算法不仅仅在离线情况下要 经日趋成熟，尤其最近10年来，随着神经学、认知 进行大量的学习，而且在在线情况下，对于系统自发 科学和计算机科学的飞速发展，BCI理论技术取得 产生的改变以及特征向量的改变也需要进行不断的 了长足的进步，应用领域也逐步扩大，在各领域中展
·196 智能系统学报 第6卷 现的巨大成就显示了其无限的应用潜力 ples and applications of bioelectric and biomagnetic fields 本文从脑信号获取、特征产生、变换算法三大模 [M].New York,USA:Oxford University Press,1995: 块系统地介绍了BCI,并对各部分涉及到的常用方 329-338. 法给出了较为详细的介绍，并附上了一些主要的参 [10]BABILONI F,CINCOTTI F,BIANCHI L,et al.Recogni- tion of imagined hand movements with low resolution sur- 考文献，便于查阅.然而目前BCI技术还在快速发展 face Laplacian and linear classifiers J].Medical Engi- 阶段，其涉及到的各项技术都在日新月异地发展，相 neering&Physics,.2001,23(5):323-328. 信在神经学科、心理学科、电子学科、计算机学科、控 [11]BABILONI F,CINCOTTI F,LAZZARINI L,et al.Linear 制学科等各个学科的研究者们的共同努力下，在不久 classification of low-resolution EEG patterns produced by i- 的未来BCI技术将日趋成熟，并最终造福于人类. magined hand movements[J].IEEE Transactions on Re- 目前BCI研究的重点还仅集中在脑电信号处 habilitation Engineering,2000,8(2):186-188. 理与识别方面，随着各项技术的不断成熟，未来该领 [12]CINCOTTI F,BIANCHI L,DEL R MILLAN J,et al. 域的研究热点将集中在智能感知系统、脑机接口系 Brain computer interface:the use of low resolution surface 统框架以及基于低带宽脑电信号驱动智能设备的实 Laplacian and linear classifiers for the recognition of imag- 时鲁棒控制等方面！ ined hand movements[C]//Proceedings of the 23rd Annu- al International Conference of the IEEE Engineering in 参考文献： Medicine and Biology Society.Istanbul,Turkey,2001: 655-658. [1]WOLPAW J R,BIRBAUMER N,MCFARLAND D J,et [13]CINCOTTI F,MATTIA D,BABILONI C,et al.The use al.Brain-computer interfaces for communication and control of EEG modifications due to motor imagery for brain-com- [J].Clinical Neurophysiology,2002,113(6):767-791. puter interfaces[J].IEEE Transactions on Neural Systems [2]SUTTER EE.The brain response interface:communication and Rehabilitation Engineering,2003,11(2):131-133. through visually guided electrical brain responses[J].Jour- [14]DORNHEGE G,BLANKERTZ B,CURIO G,et al.Boos- nal of Microcomputer Applications,1992,15(1):31-45. ting bit rates in noninvasive EEG single-trial classifications [3]WOLPAW J R,MCFARLAND D J,VAUGHAN T M. by feature combination and multiclass paradigms [J]. Brain-computer interface research at the Wadsworth Center IEEE Transactions on Biomedical Engineering,2004,51 [J].IEEE Transactions on Rehabilitation Engineering, (6):993-1002. 2000,8(2):222-226. [15]FABIANI G E,MCFARLAND D J,WOLPAW J R,et al. [4]WOLPAW J R,MCFARLAND D J.Control of a two-dimen- Conversion of EEG activity into cursor movement by a sional movement signal by a noninvasive brain-computer in- brain-computer interface (BCI)[J].IEEE Transactions on terface in humans[J].Proceedings of the National Academy Neural Systems and Rehabilitation Engineering,2004,12 of Sciences,2004,101(51):17849-17854. (3):331-338. [5]LAUER R T,PECKHAM P H,KILGORE K L,et al.Ap- [16]GYSELS E,CELKA P.Phase synchronization for the rec- plications of cortical signals to neuroprosthetic control:a ognition of mental tasks in a brain-computer interface[J. critical review[J].IEEE Transactions on Rehabilitation En- IEEE Transactions on Neural Systems and Rehabilitation gineering,2000,8(2):205-208. Engineering,2004,12(4):406415. [6]HOCHBERG L R,SERRUYA M D,FRIEHS G M,et al. [17]MCFARLAND D J,MCCANE L M,WOLPAW J R.EEG- Neuronal ensemble control of prosthetic devices by a human based communication and control:short-term role of feed- with tetraplegia[J].Nature,2006,442(13):164-171. back[J].IEEE Transactions on Rehabilitation Engineer- [7]WOLPAW J R,BIRBAUMER N,HEETDERKS W J,et ig,1998,6(1):7-11. al.Brain-computer interface technology:a review of the [18]MCFARLAND D J,MCCANE L M,DAVID S V,et al. first international meeting[J].IEEE Transactions on Reha- Spatial filter selection for EEG-based communication[J]. bilitation Engineering,2000,8(2):164-173. Electroencephalography Clinical Neurophysiology, [8]VAUGHAN T M,HEETDERKS W J,TREJO L J,et al. 1997,103(3):386-394. Brain-computer interface technology:a review of the second [19]MCFARLAND D J,SARNACKI W A,VAUGHAN T M, interational meeting[J].IEEE Transactions on Neural Sys- et al.Brain-computer interface (BCI)operation:signal tem and Rehabilitation Engineering,2003,11 (2):94- and noise during early training sessions[J].Clinical Neu- 109 rophysiology,2005,116(1):5662. 9]MALMIVUO J,PLONSEY R.Bioelectromagnetism:princi- [20]MCFARLAND D J,SARNACKI W A,WOLPAW J R
第3期 王斐，等：脑机接口研究进展 ·197· Brain-computer interface (BCI)operation:optimizing in- the IEEE Engineering in Medicine and Biology Society. formation transfer rates[]Biological Psychology,2003, San Francisco,USA,2004:4359-4362. 63(3):237-251 [32]BAYLISS J D,BALLARD D H.A virtual reality testbed [21]MARCIANI M G,BABILONI F,TOPANI F,et al.Adap- for brain-computer interface research[J].IEEE Transac- tive brain interfaces for physically-disabled people[C] tions on Rehabilitation Engineering,2000,8(2):188- Proceedings of the 20th Annual International Conference of 190. the IEEE Engineering in Medicine and Biology Society. [33 ]ERFANIAN A,ERFANI A.ICA-based classification scheme Hong Kong,China,1998:2008-2011. for EEG-based brain-computer interface:the role of mental [22]DEL R MILLAN J,MOURINO J,BABILONI F,et al. practice and concentration skills[C]//Proceedings of the 26th Local neural classifier for EEG-based recognition of mental Annual Intemational Conference of the IEEE Engineering in tasks[C]//Proceedings of the IEEE-INNS-ENNS Interna- Medicine and Biology Society.San Francisco,USA,2004: tional Joint Conference on Neural Networks.Como,Italy, 235-238. 2000:632636. [34]GAO X,XU N,HONG B,et al.Optimal selection of in- 23]DEL R MILLAN J,MOURINO J,FRANZEM,et al.A dependent components for event-related brain electrical po- local neural classifier for the recognition of EEG patterns tential enhancement[C]//Proceedings of IEEE Interna- associated to mental tasks[J].IEEE Transactions on Neu- tional Workshop on Biomedical Circuits and Systems.Sin- ral Networks,2002,13(3):678686. gap0re,2004:S3/5/NV-S3/5/1-4. [24]DEL R MILLAN J,RENKENS F,MOURINO J,et al. [35 ]WU R C,LIANG S F,LIN C T,et al.Applications of e- Noninvasive brain-actuated control of a mobile robot by hu- vent-related-potential-based brain computer interface to in- man EEG[J].IEEE Transactions on Biomedical Engineer- telligent transportation systems C]//Proceedings of the ing,2004,51(6):1026-1033. 2004 IEEE Interational Conference on Networking,Sens- [25]DEL R MILLAN J,MOURINO J.Asynchronous BCI and ing and Control.Taipei,China,2004:813-818. local neural classifiers:an overview of the adaptive brain [36]SERBY H,YOM-TOV E,INBAR G F.An improved interface project[J].IEEE Transactions on Neural Systems P300-based brain-computer interface[J].IEEE Transac- and Rehabilitation Engineering,2003,11(2):159-161. tions on Neural Systems and Rehabilitation Engineering, 26]PETERS B O,PFURTSCHELLER G,FLYVBJERG H. 2005,13(1):89-98. Automatic differentiation of multichannel EEG signals[J]. [37]XU Neng,GAO Xiaorong,HONG Bo,et al.BCI competi- IEEE Transactions on Biomedical Engineering,2001,48 tion 2003-data set IIb:enhancing P300 wave detection u- (1):111-116 sing ICA-based subspace projections for BCI applications [27]QIN L,DENG J,DING L,et al.Motor imagery classifica- [J].IEEE Transactions on Biomedical Engineering, tion by means of source analysis methods C]//Proceed- 2004,51(6):1067-1072. ings of 26th Annual International Conference of the IEEE [38]WANG Yijun,ZHANG Zhiguang,GAO Xiaorong,et al. Engineering in Medicine and Biology Society.San Francis- Lead selection for SSVEP-based brain-computer interface c0,USA,2004:43564358. [C]//Proceedings of the 26th Annual Intemational Con- [28]RAMOSER H,MULLER-GERKING J,PFURTSCHELLER ference of the IEEE Engineering in Medicine and Biology G.Optimal spatial filtering of single trial EEG during imag- Society.San Francisco,USA,2004:4507-4510. ined hand movement[J].IEEE Transactions on Rehabilita- [39]LI Yuanqing,CICHOCKI A,GUAN Cuntai,et al.Sparse tion Engineering,2000,8(4):441-446. factorization preprocessing-based offline analysis for a cur- 29]SCHALK G,WOLPAW J R,MCFARLAND D J,et al. sor control experiment[C]//Proceedings of 2004 IEEE In- EEG-based communication:presence of an error potential ternational Workshop on Biomedical Circuits and Systems [J].Clinical Neurophysiology,2000,111(12):2138- Singapore,2004:S3/5/INV-S3/5/5-8. 2144. [40]BLANCHARD G,BLANKERTZ B.BCI competition [30]WANG T,DENG J,HE B.Classifying EEG-based motor 2003-data set Ia:spatial patterns of self-controlled imagery tasks by means of time-frequency synthesized spa- brain rhythm modulations[J].IEEE Transactions on Bio- tial patters [J].Clinical Neurophysiology,2004,115 medical Engineering,2004,51(6):1062-1066. (12):2744-2753. [41]DORNHEGE G,BLANKERTZ B,CURIO G.Speeding up [31]WANG T,DENG J,HE B.Classification of motor imagery classification of multi-channel brain-computer interfaces: EEG patters and their topographic representation[C]/ common spatial patterns for slow cortical potentials[C]// Proceedings of the 26th Annual Interational Conference of Proceedings of the First International IEEE EMBS Confer-
·198· 智能系统学报 第6卷 ence on Neural Engineering.Arlington,USA,2003:595- al mechanisms and clinical outcome[J].IEEE Transac- 598. tions on Neural Systems and Rehabilitation Engineering, [42]DORNHEGE G,BLANKERTZ B,CURIO G,et al.The 2003,11(2):120-123. Berlin brain-computer interface:machine leamning based [54]HINTERBERGER T,WILHELM B,MELLINGER J,et detection of user specific brain states[J].Joumal of Uni- al.A device for the detection of cognitive brain functions versal Computer Science,2006,12(6):581-607. in completely paralyzed or unresponsive patients [J]. 43]GUGER C,RAMOSER H,PFURTSCHELLER G.Real- IEEE Transactions on Biomedical Engineering,2005,52 time EEG analysis with subject-specific spatial patterns for (2):211-220. a brain-computer interface(BCI)[J].IEEE Transactions [55 ]HINTERBERGER T,WEISKOPF N,VEIT R,et al.An on Rehabilitation Engineering,2000,8(4):447-456. EEG-driven brain-computer interface combined with func- 44]KRAULEDAT M,DORNHEGE G,BLANKERTZ B,et tional magnetic resonance imaging (fMRI)[J].IEEE al.Improving speed and accuracy of brain-computer inter- Transactions on Biomedical Engineering,2004,51(6): faces using readiness potential features[C]//Proceedings 971-974. of the 26th Annual International Conference of the IEEE [56]BASHASHATI A,WARD R K,BIRCH G E.A new de- Engineering in Medicine and Biology Society.San Francis- sign of the asynchronous brain computer interface using the c0,USA,2004:45114515. knowledge of the path of features[C]//Proceedings of the [45]PFURTSCHELLER G,NEUPER C,GUGER C,et al. 2nd International IEEE EMBS Conference on Neural Engi- Current trends in Graz brain-computer interface (BCI)re- neering.Arlington,USA,2005:101-104. search[J].IEEE Transactions on Rehabilitation Engineer- [57 BIRCH G E,MASON S G,BORISOFF J F.Current ing,2000,8(2):216-219. trends in brain-computer interface research at the Neil [46]PFURTSCHELLER G,NEUPER C.Motor imagery and di- Squire foundation[J].IEEE Transactions on Neural Sys- rect brain-computer communication[J].Proceedings of the tems and Rehabilitation Engineering,2003,11(2):123- EEE,2001,89(7):1123-1134. 126. [47]XU W J,GUAN C T,SIONG C E,et al.High accuracy [58]FATOURECHI M,BASHASHATI A,BORISOFF J F,et classification of EEG signal[C]//Proceedings of the 17th al.Improving the performance of the LF-ASD brain com- International Conference on Pattern Recognition.Cam- puter interface by means of genetic algorithm C]//Pro- bridge,USA,2004:391-394. ceedings of the Fourth IEEE Interational Symposium on [48 CHENG Ming,JIA Wenyan,GAO Xiaorong,et al.Mu Signal Processing and Information Technology.Roma,Ita- rhythm-based cursor control:an offline analysis[J].Clin 1y,2004:3841. ical Neurophysiology,2004,115(4):745-751. [59]FATOURECHI M,BASHASHATI A,WARD R K,et al. [49]LIAO Xiang,YAO Dezhong,WU Dan,et al.Combining A hybrid genetic algorithm approach for improving the per- spatial filters for the classification of single-trial EEG in a formance of the LF-ASD brain computer interface[C]// finger movement task[J].IEEE Transactions on Biomedic- Proceedings of IEEE International Conference on Acous- al Engineering,2007,54(5):821-831. tics,Speech,and Signal Processing.Philadelphia,USA, [50]TREJO L J,WHEELER K R,JORGENSEN CC,et al. 2005:345-348. Multimodal neuroelectric interface development[J].IEEE [60]GDMUNDUR S,JOHANNES R S,JON A B.Wavelet- Transactions on Neural Systems and Rehabilitation Engi- package transformation as a preprocessor of EEG wave- neering,2003,11(2):199-203. forms for classification[C]//Proceedings of the 19th Inter- [51]LEMM S,BLANKERTZ B,CURIO G,et al.Spatio-spec- national Conference IEEE/EMBS.Chicago,USA,1997: tral filters for improving the classification of single trial 1305-1308. EEG[J].IEEE Transactions on Biomedical Engineering, [61]TERESA L D,GLENN T L.Wavelet-based feature extrac- 2005,52(9):1541-1548. tion for EEG classification[C]//Proceedings of the 18th [52]LIU Hesheng,GAO Xiaorong,YANG Fusheng,et al. Annual International Conference of the IEEE Engineering Imagined hand movement identification based on spatio- in Medicine and Biology Society.Amsterdam,The Nether- temporal pattern recognition of EEG[C]//Proceedings of lands,1996:1003-1004. the First International IEEE EMBS Conference on Neural [62]FLOTZINGER D,PREGENZER M,PFURTSCHELLER Engineering.Capri Island,Italy,2003:599602. G.Feature selection with distinction sensitive learning 53]BIRBAUMER N,HINTERBERGER T,KUBLER A,et vector quantisation and genetic algorithms[C]//IEEE In- al.The thought-translation device (TTD):neurobehavior- ternational Conference on Neural Networks.Orlando