第17卷第5期 智能系统学报 Vol.17 No.5 2022年9月 CAAI Transactions on Intelligent Systems Sep.2022 D0:10.11992/tis.202111059 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.tp.20220617.1323.004html 面向跨被试RSVP的多特征低维子 空间嵌入的ERP检测 章杭奎2，刘栋军2，孔万增2 (1.杭州电子科技大学计算机学院，浙江杭州310018；2.浙江省脑机协同智能重点实验室，浙江杭州 310018) 摘要：基于快速序列视觉呈现(rapid serial visual presentation,RSVP)范式的目标图像检索借助于人脑在看到目 标图像时产生的事件相关电位(event-related potentials,.ERP)来完成复杂目标图像检索。在应用RSVP范式进行 复杂目标图像检索时存在跨时段甚至跨被试的问题。对此，本文提出了一种面向跨被试RSVP的多特征低维 子空间嵌入的EP检测方法，首先采用迁移学习方法中的欧式空间对齐对不同被试的数据进行对齐，其次将 来自不同空间的特征分别进行有监督降维、重构。最终采用留一被试法作为检验方法、平衡准确率作为评价 指标，在PhysioNetRSVP数据集以及清华RSVP数据集下共计14个长度分段中，有12个长度分段达到最优分 类结果。结果表明本文提出的多特征低维子空间嵌入方法能够有效提升EP检测时的稳定性。 关键词：快速序列视觉呈现；事件相关电位：欧式空间对齐：跨被试：多特征；低维子空间嵌入；留一被试法 中图分类号：TP18文献标志码：A文章编号：1673-4785(2022)05-1054-08 中文引用格式：章杭奎，刘栋军，孔万增.面向跨被试RSVP的多特征低维子空间嵌入的ERP检测.智能系统学报，2022， 17(5):1054-1061 英文引用格式：ZHANG Hangkui,LIU Dongjun,KONG Wanzeng.ERP detection of multi--feature embedding in the low-dimen- sional subspace for cross-subject RSVP[JI.CAAI transactions on intelligent systems,2022,17(5):1054-1061. ERP detection of multi-feature embedding in the low-dimensional subspace for cross-subject RSVP ZHANG Hangkui,LIU Dongjun'2,KONG Wanzeng'2 (1.College of Computer Science and Technology,Hangzhou Dianzi University,Hangzhou 310018,China;2.Key Laboratory of Brain Machine Collaborative Intelligence of Zhejiang Province,Hangzhou 310018,China) Abstract:The rapid serial visual presentation(RSVP)-based target image retrieval method finishes complex target im- age retrieval by relying on the event-related potentials(ERP)generated by the human brain when noticing a target im- age.When applying the RSVP paradigm to complex target image retrieval,the problems of cross-period and even cross- subjects often arise.To solve these problems,this paper proposes an ERP detection method of multi-feature embedding in a low-dimensional subspace for cross-subject RSVP.First,the Euclidean space data alignment in the transfer learning method is used to align the EEG data.Then,supervised dimensionality reduction and reconstruction are conducted on features from different spaces,respectively.Finally,the leave-one-subject-out method is used as the test method and the balanced classification accuracy rate as the evaluation indicator.Consequently,out of 14 length segments under the PhysioNetRSVP dataset and the Tsinghua RSVP dataset,12 length segments achieve optimal classification results.Ex- perimental results show that multi-feature embedding in the low-dimensional subspace proposed in this paper can effect- ively improve the stability of ERP detection. Keywords:rapid serial visual presentation;event-related potential;Euclidean space data alignment,cross-subject;mul- tiple features;low-dimensional subspace embedding:leave-one-subject-out 基于计算机视觉的目标图像检索应用广泛，征抽象难导致它对这类复杂目标难以准确识别。 然而有些目标具有伪装、遮挡、环境变化以及不 而基于快速序列视觉呈现(rapid serial visual 确定等特性，机器识别由于场景泛化能力弱、本 presentation,,RSVP)的目标图像检索借助于人脑 收稿日期：2021-11-30.网络出版日期：2022-06-20 在看到目标图像时产生的ERP来完成目标图像 基金项目：国家重点研发计划项目(2017YFE0116800):国家自 检索。RSVP实验范式是通过快速呈现给被试一 然科学基金项目(U20B2074.U1909202). 通信作者：孔万增.E-mail:kongwanzeng(@hdu.edu.cn 系列图像，使得被试在发现目标图像后脑电信号
DOI: 10.11992/tis.202111059 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.tp.20220617.1323.004.html 面向跨被试 RSVP 的多特征低维子 空间嵌入的 ERP 检测 章杭奎1,2，刘栋军1,2，孔万增1,2 （1. 杭州电子科技大学 计算机学院，浙江 杭州 310018; 2. 浙江省脑机协同智能重点实验室，浙江 杭州 310018） 摘 要：基于快速序列视觉呈现（rapid serial visual presentation, RSVP）范式的目标图像检索借助于人脑在看到目 标图像时产生的事件相关电位（event-related potentials, ERP）来完成复杂目标图像检索。在应用 RSVP 范式进行 复杂目标图像检索时存在跨时段甚至跨被试的问题。对此，本文提出了一种面向跨被试 RSVP 的多特征低维 子空间嵌入的 ERP 检测方法，首先采用迁移学习方法中的欧式空间对齐对不同被试的数据进行对齐，其次将 来自不同空间的特征分别进行有监督降维、重构。最终采用留一被试法作为检验方法、平衡准确率作为评价 指标，在 PhysioNetRSVP 数据集以及清华 RSVP 数据集下共计 14 个长度分段中，有 12 个长度分段达到最优分 类结果。结果表明本文提出的多特征低维子空间嵌入方法能够有效提升 ERP 检测时的稳定性。 关键词：快速序列视觉呈现；事件相关电位；欧式空间对齐；跨被试；多特征；低维子空间嵌入；留一被试法 中图分类号：TP18 文献标志码：A 文章编号：1673−4785(2022)05−1054−08 中文引用格式：章杭奎, 刘栋军, 孔万增. 面向跨被试 RSVP 的多特征低维子空间嵌入的 ERP 检测 [J]. 智能系统学报, 2022, 17(5): 1054–1061. 英文引用格式：ZHANG Hangkui, LIU Dongjun, KONG Wanzeng. ERP detection of multi-feature embedding in the low-dimensional subspace for cross-subject RSVP[J]. CAAI transactions on intelligent systems, 2022, 17(5): 1054–1061. ERP detection of multi-feature embedding in the low-dimensional subspace for cross-subject RSVP ZHANG Hangkui1,2 ，LIU Dongjun1,2 ，KONG Wanzeng1,2 (1. College of Computer Science and Technology, Hangzhou Dianzi University, Hangzhou 310018, China; 2. Key Laboratory of Brain Machine Collaborative Intelligence of Zhejiang Province, Hangzhou 310018, China) Abstract: The rapid serial visual presentation (RSVP)-based target image retrieval method finishes complex target image retrieval by relying on the event-related potentials (ERP) generated by the human brain when noticing a target image. When applying the RSVP paradigm to complex target image retrieval, the problems of cross-period and even crosssubjects often arise. To solve these problems, this paper proposes an ERP detection method of multi-feature embedding in a low-dimensional subspace for cross-subject RSVP. First, the Euclidean space data alignment in the transfer learning method is used to align the EEG data. Then, supervised dimensionality reduction and reconstruction are conducted on features from different spaces, respectively. Finally, the leave-one-subject-out method is used as the test method and the balanced classification accuracy rate as the evaluation indicator. Consequently, out of 14 length segments under the PhysioNetRSVP dataset and the Tsinghua RSVP dataset, 12 length segments achieve optimal classification results. Experimental results show that multi-feature embedding in the low-dimensional subspace proposed in this paper can effectively improve the stability of ERP detection. Keywords: rapid serial visual presentation; event-related potential; Euclidean space data alignment; cross-subject; multiple features; low-dimensional subspace embedding; leave-one-subject-out 基于计算机视觉的目标图像检索应用广泛， 然而有些目标具有伪装、遮挡、环境变化以及不 确定等特性，机器识别由于场景泛化能力弱、本 征抽象难导致它对这类复杂目标难以准确识别[1-3]。 而基于快速序列视觉呈现（ rapid serial visual presentation, RSVP）的目标图像检索借助于人脑 在看到目标图像时产生的 ERP 来完成目标图像 检索。RSVP 实验范式是通过快速呈现给被试一 系列图像，使得被试在发现目标图像后脑电信号 收稿日期：2021−11−30. 网络出版日期：2022−06−20. 基金项目：国家重点研发计划项目（2017YFE0116800）；国家自 然科学基金项目（U20B2074，U1909202）. 通信作者：孔万增. E-mail：kongwanzeng@hdu.edu.cn. 第 17 卷第 5 期 智 能 系 统 学 报 Vol.17 No.5 2022 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2022
·1055· 章杭奎，等：面向跨被试RSVP的多特征低维子空间嵌入的ERP检测 第5期 中产生事件相关电位(event-related potentials, 网络模型架构EGNt,为EEG数据的模式识别 ERP)。通过检测ERP来判断当前被试是否发现 提供了一个优秀的神经网络模型基线。然而这些 目标图像。得益于人脑强大的泛化能力，其能够 模型都没有对跨被试情况下的模式识别进行专门 对存在伪装、遮挡的复杂目标图像进行识别。 的优化设计。 ERP是脑电图(electroencephalogram,EEG)中的一 为了增强模型的跨被试性能，迁移学习被引 个诱发电位，其包含P300、N170、N200等成分，可 入到EEG数据的模式识别当中，其思路是利用源 以通过听觉或者视觉等刺激来进行诱发。 域的信息来提高目标域的学习性能。Zanini等u 值得注意的是，在经典的RSVP范式中ERP 提出了一种迁移学习方法，称为RA-MDRM,通过 是基于单试次的，相比于基于多试次叠加检测ERP 利用来自其他被试的辅助数据来提高MDRM分 的拼写器范式，存在较大的难度。此外，在应用 类器的准确率。值得注意的是，该方法还需要用 RSVP范式进行在线的目标图像检测时往往存在 到来自新被试的少量有标签的EEG数据。何赫等回 跨时段甚至跨被试的问题。跨时段检测会受到被 提出了一种欧式空间EEG数据对齐的方法，通过 试个人精神状态变化、脑电帽电极位置偏移、外 将每个试次EEG数据的平均协方差矩阵映射到 部环境变化等因素的干扰，跨被试检测还会受到 单位矩阵上来达到数据对齐的目的，这个方法无 被试间个体差异的影响的。 需用到来自新被试的标签。但是这些方法只使用 为了寻求更好的方法来提高单试次ERP检 了单一特征来进行分类，可以考虑使用多特征方 测的准确率。Solis-Escalante等提出了基于经验 法来整合它们，从而进一步提高模型稳定性。 模态分解的单试次检测方法，从P300的训练集中 本文在以往研究者对RSVP、ERP检测以及 分解平均事件响应，在事件响应分解上提供了一 跨被试研究的基础上，提出了一种面向跨被试RSVP 个很好的方向；Krusienski等使用逐步线性判别 的多特征低维子空间嵌入的ERP检测方法。 (stepwise linear discriminant analysis,SWLDA) 1 欧式空间对齐的多特征低维子空 来对P300进行判别，在判别器层面提供了一个改 进方向；Rivet等⑧.提出了一种通过构造一个空 间嵌入方法 间滤波器来提高EEG数据信噪比的xDAWN算 图1给出了使用本文多特征低维子空间嵌入 法，在EEG数据信噪比提升的方法改善上做出了 方法这一特征联合方法对脑电信号数据处理的整 贡献；Lawhern等uo提出了一个紧凑的卷积神经 个流程。 脑电信号 协方差矩阵 高信噪比脑电 ●●● xDAWN 协方差计算 欧式空间对齐 切线空间投影 降采样+xDAWN 信比 分类器 ●●●● 线空间 ●●●●●● 电 特征一维化 用于分类 特征一维化 特征空间重构 特征空间重构 一维特征空间 联合特征空间 一维特征空间 图1脑电信号处理流程图 Fig.1 Flowchart of EEG signal processing
中产生事件相关电位（event-related potentials, ERP）。通过检测 ERP 来判断当前被试是否发现 目标图像。得益于人脑强大的泛化能力，其能够 对存在伪装、遮挡的复杂目标图像进行识别。 ERP 是脑电图 (electroencephalogram, EEG) 中的一 个诱发电位，其包含 P300、N170、N200 等成分，可 以通过听觉或者视觉等刺激来进行诱发[4]。 值得注意的是，在经典的 RSVP 范式中 ERP 是基于单试次的，相比于基于多试次叠加检测 ERP 的拼写器范式，存在较大的难度。此外，在应用 RSVP 范式进行在线的目标图像检测时往往存在 跨时段甚至跨被试的问题。跨时段检测会受到被 试个人精神状态变化、脑电帽电极位置偏移、外 部环境变化等因素的干扰，跨被试检测还会受到 被试间个体差异的影响[5]。 为了寻求更好的方法来提高单试次 ERP 检 测的准确率。Solis-Escalante 等 [6] 提出了基于经验 模态分解的单试次检测方法，从 P300 的训练集中 分解平均事件响应，在事件响应分解上提供了一 个很好的方向；Krusienski 等 [7] 使用逐步线性判别 分析 (stepwise linear discriminant analysis, SWLDA) 来对 P300 进行判别，在判别器层面提供了一个改 进方向；Rivet 等 [8-9] 提出了一种通过构造一个空 间滤波器来提高 EEG 数据信噪比的 xDAWN 算 法，在 EEG 数据信噪比提升的方法改善上做出了 贡献；Lawhern 等 [10] 提出了一个紧凑的卷积神经 网络模型架构 EEGNet，为 EEG 数据的模式识别 提供了一个优秀的神经网络模型基线。然而这些 模型都没有对跨被试情况下的模式识别进行专门 的优化设计。 为了增强模型的跨被试性能，迁移学习被引 入到 EEG 数据的模式识别当中,其思路是利用源 域的信息来提高目标域的学习性能。Zanini 等 [11] 提出了一种迁移学习方法，称为 RA-MDRM，通过 利用来自其他被试的辅助数据来提高 MDRM 分 类器的准确率。值得注意的是，该方法还需要用 到来自新被试的少量有标签的 EEG 数据。何赫等[12] 提出了一种欧式空间 EEG 数据对齐的方法，通过 将每个试次 EEG 数据的平均协方差矩阵映射到 单位矩阵上来达到数据对齐的目的，这个方法无 需用到来自新被试的标签。但是这些方法只使用 了单一特征来进行分类，可以考虑使用多特征方 法来整合它们，从而进一步提高模型稳定性[13]。 本文在以往研究者对 RSVP、ERP 检测以及 跨被试研究的基础上，提出了一种面向跨被试 RSVP 的多特征低维子空间嵌入的 ERP 检测方法。 1 欧式空间对齐的多特征低维子空 间嵌入方法 图 1 给出了使用本文多特征低维子空间嵌入 方法这一特征联合方法对脑电信号数据处理的整 个流程。 欧式空间对齐 欧式空间对齐 高信噪比脑电 协方差矩阵 切 线 空 间 一维特征空间 分类器 N 高 P 信 噪 比 脑 电 一维特征空间 联合特征空间 特征空间重构 特征空间重构 特征一维化 用于分类 特征一维化 xDAWN 切线空间投影 协方差计算 脑电信号 降采样+xDAWN Si=Logc(Ci) Ci=Expc(Si) C Si Ci 图 1 脑电信号处理流程图 Fig. 1 Flowchart of EEG signal processing ·1055· 章杭奎，等：面向跨被试 RSVP 的多特征低维子空间嵌入的 ERP 检测 第 5 期
第17卷 智能系统学报 ·1056· 首先需要对脑电信号进行欧式空间对齐，将 续活动及伪影。 不同被试的脑电信号都对齐到同一个欧式空间， 1.2.2脑电信号深层特征提取 使得数据层面上各被试的数据表征更接近。 第二路，负责提取脑电信号中深层的特征。 11欧式空间对齐 由于被试间存在一定的个体差异，本文对由信号 欧式空间对齐(euclidean space data alignment, 得到的特征多次使用标签进行检验，以此让特征 EA)是一种迁移学习方法。其可以在不需要任何 中包含更多跨被试且ERP相关的信息。首先使 来源于新被试的EEG数据标签的情况下，使得来 用xDAWN空域滤波器提高信号信噪比；其次计 自不同被试的EEG数据分布更加接近，即在欧式 算信号的协方差矩阵作为特征，减少跨被试时电 空间内对齐被试的EEG数据。目的在于通过 极位置偏移的影响：最后将信号投影到切线空 这种方法来使得在原数据集上训练的分类器，在 间，获取其深层信息。 新的被试上同样具有较优表现。 切线空间投影能够将一组协方差矩阵投影到 假设一个被试有n个试次的EEG数据，其中第 它们的切线空间，该操作可以看成一个核操作4均。 i个试次的EEG数据为X,可以通过这n个试次计 切线空间投影可以看成是一个局部近似的流形学 算参考矩阵F。 习，在转换样本协方差矩阵的同时保留了流形的 R=2xx 内部结构。 (1) 首先得到样本的协方差矩阵C,=1 -(值 参考矩阵反的实际意义是当前被试每个试次 得注意的是，样本协方差矩阵对于异常值很敏 协方差矩阵的平均矩阵。计算出参考矩阵R后就 感，可以使用协方差矩阵估计或正则化技术来进 可以使用式(2)来对齐样本。 行优化。其次需要计算出参考矩阵C,其计 元=RX (2) 算公式为 其中，表示对齐后的样本X。 Crer =argmin (Cret,Ci) (4) 12基于双路并行构建多特征 接下来分为两路对脑电信号进行处理，以此 式中：6表示协方差矩阵在黎曼空间距离的度量， 构建脑电信号的多特征，防止单一特征在跨被试 可以采用梯度下降的方法求解出Cto 时对脑电信号的评价存在偏见。 下一步计算出C,在切线空间的投影 1.2.1脑电信号表层特征提取 S,=upper(Clogc (C)C) (5) 第一路，负责提取脑电信号中人类能够识别 其中，upper表示取矩阵的上三角矩阵，并将其向 的表层特征，即其信号幅值。ERP在原始的时域 量化。在向量化的过程中，对主对角线的元素保 上形成的波形具备一定的辨识度，因此对其信号 持不变，非主对角线的元素乘V2。 幅值的观察中会包含一些重要信息。由于直接使 1.3特征一维化 用信号幅值作为特征，易出现对训练集被试过拟 在采用不同的特征提取方法获得特征集 合的问题。为了防止对训练集被试过度拟合，本 F=f,f,…,f后，本文借用线性判别分析的思想 文在此路中对信号进行了降采样操作，并且采用 来对数据进行有监督降维，其主要目的是使得类 XDAWN空域滤波器来提升ERP响应的信噪比。 内离散度尽可能低，类间离散度尽可能高。 xDAWN是一种空域滤波的方法，旨在提高 首先借助标签将特征集分成两个集合F,F2, ERP响应的信噪比。xDAWN最初是为P300诱 分别表示0类和1类的特征集合。接着在原特征 发电位设计的，通过参照非目标响应来增强目标 空间内计算两个集合的均值向量： 响应，后来被推广到ERP的检测中。 1∑fi=1,2 (6) xDAWN依据诱发电位的特点揭示了一个响 应模式 计算这两类的类内离散度矩阵： S=DA+N (3) M,=∑-4G-4),i=1,2 (7) 式中：S∈Rw表示脑电信号，其中N,表示采样点 feF 个数，N,表示通道个数；DE RNXN.是一个托普利兹 总类内离散度矩阵： 矩阵(Toeplitz matrix),当存在刺激时其第一列的 S=M+M2 (8 值被固定为1，A∈RNxN表示目标刺激的同步响 类间离散度矩阵定义是 应，N表示包含ERP的样本数量；N表示大脑的持 S6=(41-42)041-42)I (9)
首先需要对脑电信号进行欧式空间对齐，将 不同被试的脑电信号都对齐到同一个欧式空间， 使得数据层面上各被试的数据表征更接近。 1.1 欧式空间对齐 欧式空间对齐 (euclidean space data alignment, EA) 是一种迁移学习方法。其可以在不需要任何 来源于新被试的 EEG 数据标签的情况下，使得来 自不同被试的 EEG 数据分布更加接近，即在欧式 空间内对齐被试的 EEG 数据[12]。目的在于通过 这种方法来使得在原数据集上训练的分类器，在 新的被试上同样具有较优表现。 n i Xi n R 假设一个被试有 个试次的 EEG 数据,其中第 个试次的 EEG 数据为 ，可以通过这 个试次计 算参考矩阵 。 R = 1 n ∑n i=1 XiX T i (1) R R 参考矩阵 的实际意义是当前被试每个试次 协方差矩阵的平均矩阵。计算出参考矩阵 后就 可以使用式 (2) 来对齐样本。 X˜ i = R − 1 2 Xi (2) X˜ 其中 i表示对齐后的样本 Xi。 1.2 基于双路并行构建多特征 接下来分为两路对脑电信号进行处理，以此 构建脑电信号的多特征，防止单一特征在跨被试 时对脑电信号的评价存在偏见。 1.2.1 脑电信号表层特征提取 第一路，负责提取脑电信号中人类能够识别 的表层特征，即其信号幅值。ERP 在原始的时域 上形成的波形具备一定的辨识度，因此对其信号 幅值的观察中会包含一些重要信息。由于直接使 用信号幅值作为特征，易出现对训练集被试过拟 合的问题。为了防止对训练集被试过度拟合，本 文在此路中对信号进行了降采样操作，并且采用 xDAWN 空域滤波器来提升 ERP 响应的信噪比。 xDAWN 是一种空域滤波的方法，旨在提高 ERP 响应的信噪比。xDAWN 最初是为 P300 诱 发电位设计的，通过参照非目标响应来增强目标 响应，后来被推广到 ERP 的检测中。 xDAWN 依据诱发电位的特点揭示了一个响 应模式 S = DA+ N (3) S ∈ R Nt×Ns Nt Ns D ∈ R Nt×Ne A ∈ R Ne×Ns Ne N 式中： 表示脑电信号，其中 表示采样点 个数， 表示通道个数； 是一个托普利兹 矩阵 (Toeplitz matrix)，当存在刺激时其第一列的 值被固定为 1, 表示目标刺激的同步响 应， 表示包含 ERP 的样本数量； 表示大脑的持 续活动及伪影。 1.2.2 脑电信号深层特征提取 第二路，负责提取脑电信号中深层的特征。 由于被试间存在一定的个体差异，本文对由信号 得到的特征多次使用标签进行检验，以此让特征 中包含更多跨被试且 ERP 相关的信息。首先使 用 xDAWN 空域滤波器提高信号信噪比；其次计 算信号的协方差矩阵作为特征，减少跨被试时电 极位置偏移的影响；最后将信号投影到切线空 间，获取其深层信息。 切线空间投影能够将一组协方差矩阵投影到 它们的切线空间，该操作可以看成一个核操作[14-15]。 切线空间投影可以看成是一个局部近似的流形学 习，在转换样本协方差矩阵的同时保留了流形的 内部结构。 Ci = 1 n−1 XiX T i Cref 首先得到样本的协方差矩阵 (值 得注意的是，样本协方差矩阵对于异常值很敏 感，可以使用协方差矩阵估计或正则化技术来进 行优化[16] )。其次需要计算出参考矩阵 ，其计 算公式为 Cref = argmin ∑n i=1 δ 2 R (Cref,Ci) (4) δR Cref 式中： 表示协方差矩阵在黎曼空间距离的度量， 可以采用梯度下降的方法求解出 。 下一步计算出 Ci在切线空间的投影 Si = upper( C −1/2 ref logCref (Ci)C −1/2 ref ) (5) √ 2 其中，upper 表示取矩阵的上三角矩阵，并将其向 量化。在向量化的过程中，对主对角线的元素保 持不变，非主对角线的元素乘 。 1.3 特征一维化 F = {f1, f2,··· , fn} 在采用不同的特征提取方法获得特征集 后,本文借用线性判别分析的思想 来对数据进行有监督降维，其主要目的是使得类 内离散度尽可能低，类间离散度尽可能高[17]。 首先借助标签将特征集分成两个集合 F1,F2， 分别表示 0 类和 1 类的特征集合。接着在原特征 空间内计算两个集合的均值向量： µi = 1 ni ∑ fj∈Fi fj ,i = 1,2 (6) 计算这两类的类内离散度矩阵： Mi = ∑ fj∈Fi (fj −µi)(fj −µi) T ,i = 1,2 (7) 总类内离散度矩阵： Sw = M1 + M2 (8) 类间离散度矩阵定义是 Sb = (µ1 −µ2)(µ1 −µ2) T (9) 第 17 卷 智 能 系 统 学 报 ·1056·
·1057· 章杭奎，等：面向跨被试RSVP的多特征低维子空间嵌入的ERP检测 第5期 接着计算SS。最大特征值对应的特征向量 再将两个一维特征空间的特征合并看成两个维 ω，该特征向量即为特征一维化的投影方向。 度，重构出二维的联合特征空间，每一维的特征 最终得到一维化后的特征 都是对先前提取的特征的高度凝练，不同的特征 f=wf (10) 位于不同的维度，互不干扰。 其中f表示第个样本对应的特征。 设来源于两个特征空间的特征集分别为F。∈ 1.4基于多特征构建的联合特征空间 Rm和Fb∈R,通过特征一维化技术计算得到的 由于两路特征采用不一样的提取方法，位于 两个特征空间的投影方向分别为w。∈R1和w,∈ 不同的特征空间，如何将其联合是一个关键点。 Rx,则转换后的特征： 传统方法中，直接将处于不同特征空间的特 「wdFa Fc= (11) 征合并到一个高维的混合的特征空间。其特征既 I F 存在相同部分（来源于一个特征空间的特征），也 得到转换后的特征集F:∈R位于新构建的 存在差异部分（来源于两个特征空间的特征），而 联合特征空间。 分类器本身不知道当前特征来源于哪一个特征空 间，这会对分类器的分类任务增加困难，信息量 2数据集 的增加反而可能导致识别精度下降。 在PhysioNetRSVP数据集和清华RSVP数据 本文提出的方法是先将两路得到的特征进行 集下进行测试。数据集均为RSVP范式下的数据 有监督的降维，分别投影到两个一维特征空间， 集，RSVP实验过程如图2所示。 标签传递 注视图片 EEG记录 000O0 EEG和标签 00000 被试 Synamps2系统 数据处理与保存 刺激程序 图2RSVP实验范式图 Fig.2 RSVP experiment diagram 2.1 PhysioNetRSVP数据集 被要求坐在屏幕前接受快速序列视觉呈现，刺激 该数据集来自PhysioNet,.包含来自I1个健康 频率为10Hz(1s10张图像)。刺激图片从麻省理 被试的EEG数据1)。每个被试都被要求坐在屏 工大学计算机科学与人工智能图书馆下载。刺激 幕前接受快速序列视觉呈现，视觉呈现的频率分别 图像是两类街景图像：包含人类的目标图像和没 为5、6和10Hz。用于刺激呈现的图像是来自谷 有人类的非目标图像。以1000Hz频率记录的 歌地图的卫星影像，可以分为包含飞机的目标图 64通道的脑电信号，通道分布遵循10-20国际标 像和没有飞机的非目标图像两类。以2048Hz频 准导联系统，最终采用记录的脑电信号来识别图 率记录的8通道的脑电信号。通道分布遵循10-20 像是否为目标图像。 国际标准导联系统(PO8,PO7,PO3,PO4,P7,P8 本文选取了其中前10位被试的EEG数据来 O1和O2),最终采用记录的脑电信号来识别图像 检验模型，EEG数据已降采样到250Hz,并且经 是否为目标图像。 过[2,30]Hz滤波，根据数据集原文建议删除了第 本文选取了其中视觉呈现频率为5Hz(1s 33个、第43个信号较差的通道，其中目标和非 5张图像)版本的脑电信号，经过[0.15,28]Hz滤 目标的比例约为1：49。 波，并将来源于该数据集的脑电信号降采样到 3实验与结果 256Hz,其中目标和非目标的比例为1：9。 2.2清华RSVP数据集 3.1评价方法 该数据集来自清华脑机接口研究组，其包含 本文采用留一被试法来对结果进行交叉验 来自64个健康被试的EEG数据。每个被试同样 证，即每次选定一个被试的脑电数据作为测试
S −1 w Sb ω 接着计算 最大特征值对应的特征向量 ，该特征向量即为特征一维化的投影方向。 最终得到一维化后的特征 f ′ i = ω T fi (10) fi 其中 表示第 i 个样本对应的特征。 1.4 基于多特征构建的联合特征空间 由于两路特征采用不一样的提取方法，位于 不同的特征空间，如何将其联合是一个关键点。 传统方法中，直接将处于不同特征空间的特 征合并到一个高维的混合的特征空间。其特征既 存在相同部分（来源于一个特征空间的特征），也 存在差异部分（来源于两个特征空间的特征），而 分类器本身不知道当前特征来源于哪一个特征空 间，这会对分类器的分类任务增加困难，信息量 的增加反而可能导致识别精度下降。 本文提出的方法是先将两路得到的特征进行 有监督的降维，分别投影到两个一维特征空间， 再将两个一维特征空间的特征合并看成两个维 度，重构出二维的联合特征空间，每一维的特征 都是对先前提取的特征的高度凝练，不同的特征 位于不同的维度，互不干扰。 Fa ∈ R ta×n Fb ∈ R tb×n ωa ∈ R ta×1 ωb ∈ R tb×1 设来源于两个特征空间的特征集分别为 和 ，通过特征一维化技术计算得到的 两个特征空间的投影方向分别为 和 ，则转换后的特征： Fc = ωT a Fa ωT b Fb (11) Fc ∈ R 得到转换后的特征集 2×n位于新构建的 联合特征空间。 2 数据集 在 PhysioNetRSVP 数据集和清华 RSVP 数据 集下进行测试。数据集均为 RSVP 范式下的数据 集，RSVP 实验过程如图 2 所示。 被试 刺激程序 Synamps2 系统 注视图片 EEG 记录 标签传递 EEG 和标签 数据处理与保存 图 2 RSVP 实验范式图 Fig. 2 RSVP experiment diagram 2.1 PhysioNetRSVP 数据集 该数据集来自 PhysioNet，包含来自 11 个健康 被试的 EEG 数据[18]。每个被试都被要求坐在屏 幕前接受快速序列视觉呈现，视觉呈现的频率分别 为 5、6 和 10 Hz。用于刺激呈现的图像是来自谷 歌地图的卫星影像，可以分为包含飞机的目标图 像和没有飞机的非目标图像两类。以 2 048 Hz 频 率记录的 8 通道的脑电信号。通道分布遵循 10-20 国际标准导联系统 (PO8, PO7, PO3, PO4, P7, P8, O1 和 O2)，最终采用记录的脑电信号来识别图像 是否为目标图像。 本文选取了其中视觉呈现频率为 5 Hz （1 s 5 张图像）版本的脑电信号，经过 [0.15,28] Hz 滤 波，并将来源于该数据集的脑电信号降采样到 256 Hz，其中目标和非目标的比例为 1∶9。 2.2 清华 RSVP 数据集 该数据集来自清华脑机接口研究组，其包含 来自 64 个健康被试的 EEG 数据。每个被试同样 被要求坐在屏幕前接受快速序列视觉呈现，刺激 频率为 10 Hz (1 s 10 张图像)。刺激图片从麻省理 工大学计算机科学与人工智能图书馆下载。刺激 图像是两类街景图像：包含人类的目标图像和没 有人类的非目标图像。以 1 000 Hz 频率记录的 64 通道的脑电信号，通道分布遵循 10-20 国际标 准导联系统，最终采用记录的脑电信号来识别图 像是否为目标图像。 本文选取了其中前 10 位被试的 EEG 数据来 检验模型，EEG 数据已降采样到 250 Hz,并且经 过 [2,30]Hz 滤波，根据数据集原文建议删除了第 33 个、第 43 个信号较差的通道[19] ，其中目标和非 目标的比例约为 1∶49。 3 实验与结果 3.1 评价方法 本文采用留一被试法来对结果进行交叉验 证，即每次选定一个被试的脑电数据作为测试 ·1057· 章杭奎，等：面向跨被试 RSVP 的多特征低维子空间嵌入的 ERP 检测 第 5 期
第17卷 智能系统学报 ·1058· 集，其他被试的数据作为训练集。分类器均固定 EEG(62通道) 2264 0.784s 0824s 为收缩协方差矩阵的线性判别分析 由于目标图像和非目标图像的比例较为悬 V=256 殊，存在样本不均衡的现象。单纯的准确率指标 无法有效体现不均衡数据集的真实表现，而平衡 准确率(balanced classification accuracy,BCA)能较 0.4 0.6 0.8 好的对不平衡样本的识别结果进行评价，因此本 文采用平衡准确率来作为评价指标。 图5被试10对齐前目标脑电信号图 TP TN Fig.5 The EEG signal of target before alignment of S10 BCA=P+P十N+西 (12) EEG(62通道) 2 0.308s0.424s0.692s 将标签为1的样本称为正样本，标签为0的 样本称为负样本。TP表示正样本预测正确，FP N=256 表示负样本预测错误，FN表示正样本预测错误， A 20 20 N表示负样本预测正确。 0 0 9 3.2欧式空间对齐前后对比 20 将清华RSVP数据集中的第一位被试看到目 0.2 0.4 0.6 0.8 标图像时的脑电信号叠加，如图3所示。可以看 图6被试10对齐后目标脑电信号图 到其在约300ms时脑前区的信号幅值较大，属于 Fig.6 The EEG signal of target after alignment of S10 ERP中的P300成分，说明了该被试确有P300被 3.3 特征联合前后的对比 诱发。 本文在此处对不同方法提取到的特征采用 EEG(62通道) t-sne进行降维可视化P。 0.320s0.520s 0.692s 从图7中可以仅采用一种特征提取方法对于 W=24g 在使用t-sne降维到二维空间后仅有小范围的目 10 等 5.0 标样本聚集，目标样本的类内离散度较高，其与 非目标样本直接的类间离散度较低。 -2.5 -5.0 0.2 0.4 0.6 0.8 你 图3被试1对齐前目标脑电信号图 Fig.3 The EEG signal of target before alignment of S1 (a)切线空间投影 (b)xDAWN 从图4可以看到对齐后目标脑电信号图相比 对齐前，多数通道信号的变化更为平稳、均匀，这 图7联合前特征降维 Fig.7 Feature dimensionality reduction before union 有助于缩小被试间的差异。通过观察图3、4、5、 6,对比被试1和被试10对齐前后的脑电信号可 从图8对比直接特征联合和本文特征联合方 以发现，欧式空间对齐使得原本来源于不同被试 法之间的差别，直接特征联合由于切线空间投影 的数据尺度相比xDAWN的数据尺度较大，xDAWN 的差异较大的脑电信号更为接近。 包含的信息被忽视，使得降维后的样本分布与切 EEG(62通道) 0.320s0.520s0.692s 线空间投影相似。而本文特征联合方法重构得到 的二维空间下的样本，由于预先采用了标签数据 Nw=249 50 进行学习，相比于直接特征联合能够更清晰地区 5 分正负样本。 0 153050 -25 3.4不同长度分段下的对比 -50 在这里本文展现了不同特征提取方法在采用 0.2 0.4 0.6 0.8 t/s 不同长度分段的情况下跨被试分类的平衡准确 图4被试1对齐后目标脑电信号图 率。长度分段是指在对脑电数据进行分割时采用 Fig.4 The EEG signal of target after alignment of SI 的时长，以当前试次开始点为时间零点，截取时
集，其他被试的数据作为训练集。分类器均固定 为收缩协方差矩阵的线性判别分析[20] . 由于目标图像和非目标图像的比例较为悬 殊，存在样本不均衡的现象。单纯的准确率指标 无法有效体现不均衡数据集的真实表现，而平衡 准确率 (balanced classification accuracy，BCA) 能较 好的对不平衡样本的识别结果进行评价，因此本 文采用平衡准确率来作为评价指标。 BCA = TP TP + FP + TN FN + TN 2 (12) 将标签为 1 的样本称为正样本，标签为 0 的 样本称为负样本。TP 表示正样本预测正确，FP 表示负样本预测错误，FN 表示正样本预测错误， TN 表示负样本预测正确。 3.2 欧式空间对齐前后对比 将清华 RSVP 数据集中的第一位被试看到目 标图像时的脑电信号叠加，如图 3 所示。可以看 到其在约 300 ms 时脑前区的信号幅值较大，属于 ERP 中的 P300 成分，说明了该被试确有 P300 被 诱发。 0 0.2 0.4 0.6 0.8 1.0 t/s 5.0 2.5 0.0 −2.5 −5.0 0.320 s 0.520 s 0.692 s EEG (62 通道) Nave =249 5 10 0 −5 脑波的电位(振幅)/μV 图 3 被试 1 对齐前目标脑电信号图 Fig. 3 The EEG signal of target before alignment of S1 从图 4 可以看到对齐后目标脑电信号图相比 对齐前，多数通道信号的变化更为平稳、均匀，这 有助于缩小被试间的差异。通过观察图 3、4、5、 6，对比被试 1 和被试 10 对齐前后的脑电信号可 以发现，欧式空间对齐使得原本来源于不同被试 的差异较大的脑电信号更为接近。 25 50 0 −25 −50 脑波的电位(振幅)/μV Nave =249 0 0.2 0.4 0.6 0.8 1.0 t/s 45 30 15 0 −15 −30 −45 0.320 s 0.520 s 0.692 s EEG (62 通道) 图 4 被试 1 对齐后目标脑电信号图 Fig. 4 The EEG signal of target after alignment of S1 5 10 0 −5 脑波的电位(振幅)/μV Nave =256 EEG (62 通道) 0.264 s 0.784 s 0.824 s 7.5 5.0 2.5 0 −2.5 −5.0 −7.5 0 0.2 0.4 0.6 0.8 1.0 t/s 图 5 被试 10 对齐前目标脑电信号图 Fig. 5 The EEG signal of target before alignment of S10 EEG (62 通道) 0.308 s 0.424 s 0.692 s Nave =256 20 40 0 −20 脑波的电位(振幅)/μV 0 0.2 0.4 0.6 0.8 1.0 t/s 20 10 0 −10 −20 图 6 被试 10 对齐后目标脑电信号图 Fig. 6 The EEG signal of target after alignment of S10 3.3 特征联合前后的对比 本文在此处对不同方法提取到的特征采用 t-sne 进行降维可视化[21]。 从图 7 中可以仅采用一种特征提取方法对于 在使用 t-sne 降维到二维空间后仅有小范围的目 标样本聚集，目标样本的类内离散度较高，其与 非目标样本直接的类间离散度较低。 (a) 切线空间投影 (b) xDAWN 图 7 联合前特征降维 Fig. 7 Feature dimensionality reduction before union 从图 8 对比直接特征联合和本文特征联合方 法之间的差别，直接特征联合由于切线空间投影 的数据尺度相比 xDAWN 的数据尺度较大，xDAWN 包含的信息被忽视，使得降维后的样本分布与切 线空间投影相似。而本文特征联合方法重构得到 的二维空间下的样本，由于预先采用了标签数据 进行学习，相比于直接特征联合能够更清晰地区 分正负样本。 3.4 不同长度分段下的对比 在这里本文展现了不同特征提取方法在采用 不同长度分段的情况下跨被试分类的平衡准确 率。长度分段是指在对脑电数据进行分割时采用 的时长 t，以当前试次开始点为时间零点，截取时 第 17 卷 智 能 系 统 学 报 ·1058·
·1059· 章杭奎，等：面向跨被试RSVP的多特征低维子空间嵌入的ERP检测 第5期 间间隔[0，]的脑电数据作为当前试次对应脑电 欧式空间对齐数据的分类效果普遍比不对齐数据 样本。 要好。验证了本文在特征联合的同时使用对齐数 据策略的正确性。其次，在7个不同长度分段下， 本文的特征联合方法在其中5个长度分段下达到 了最好的分类效果，而直接联合只在1个长度分 段下达到最优。最后，本文特征联合方法在7个 长度的分段下，没有遇到过分类效果最差的情况。 (a)直接特征联合 (b)本文特征联合 表2给出了其在清华RSVP数据集下的表 图8联合后特征降维 现，同样可以发现使用欧式空间对齐数据策略的 Fig.8 Feature dimensionality reduction after union 正确性，本文特征联合方法在7个不同长度分段 表I给出了其在PhysioNetRSVP数据集下的 下，均达到了最优效果。其标准差相较于其他方 表现，从中可以看出以下几点现象。首先，使用 法也更低，即具备更优的稳定性。 表1 PhysioNetRSVP下的平衡准确率 Table 1 Balanced classification accuracy under PhysioNetRSVP 采用的长度分段 特征提取方法 对齐数据 0.4s 0.5s 0.6s 0.7s 0.8s 0.9s Is 是 0.643±0.081 0.704±0.094 0.705±0.095 0.704±0.088 0.696±0.089 0.694±0.090 0.698±0.088 切线空间投影 否 0.627±0.092 0.686±0.109 0.690±0.102 0.685±0.093 0.696±0.092 0.690±0.095 0.692±0.096 是 0.627±0.066 0.697±0.1000.700±0.0910.70240.0950.695±0.0930.691±0.0940.690±0.094 XDAWN 否 0.619±0.081 0.677±0.1080.677±0.0990.676±0.0950.676±0.0970.684±0.0970.682±0.094 是 0.632±0.072 0.706±0.0970.697±0.1000.703±0.0990.692±0.1100.696±0.1000.688±0.096 直接联合 否 0.629±0.089 0.692±0.1110.693±0.1030.692±0.0960.697±0.0960.697±0.096 0.693±0.089 是 0.652±0.0780.702±0.1000.703±0.0920.713±0.0910.701±0.099 0.701±0.0940.699±0.096 本文联合 否 0.634±0.0930.692±0.1080.695±0.1030.693±0.1040.694±0.104 0.691±0.105 0.685±0.097 表2清华RSVP下的平衡准确率 Table 2 Balanced classification accuracy under Tsinghua RSVP 采用的长度分段 特征提取方法 对齐数据 0.4s 0.5s 0.6s 0.7s 0.8s 0.9s Is 是 0.700±0.0440.749±0.0480.762±0.0550.767±0.0560.770±0.0640.771±0.0700.775±0.074 切线空间投影 否 0.658±0.0460.713±0.0630.724±0.0720.725±0.0730.717±0.0850.7240.093 0.718±0.096 是 0.701±0.039 0.746±0.0460.761±0.0470.764±0.0490.764±0.0560.767±0.0670.768±0.068 XDAWN 否 0.655±0.049 0.699±0.0610.711±0.0610.711±0.0620.710±0.0680.704±0.0750.710±0.076 是 0.698±0.049 0.751±0.0550.763±0.0540.765±0.0620.765±0.0680.765±0.072 0.770±0.071 直接联合 否 0.663±0.053 0.708±0.075 0.71940.0790.717±0.0770.721±0.0790.719±0.085 0.721±0.082 是 0.706±0.0420.752±0.0490.768±0.0510.777±0.0540.777±0.0600.778±0.0670.779±0.066 本文联合 否 0.665±0.0530.717±0.0650.725±0.0690.721±0.0770.719±0.0840.718±0.0940.718±0.097 3.5不同被试下的对比 图9、10观察各特征提取方法在不同被试上分类 值得注意的是，由于被试间个体差异较大2) 效果的表现。 需要对同一模型在不同被试上的表现进行观察。 在PhysioNetRSVP数据集的II个被试中，本 在这里，本文选用每个被试长度分段在0.7s及以 文特征联合方法在7个被试上达到了最优：在清 上且采用数据对齐的实验结果做平均值，可以从 华RSVP数据集的10个被试中，本文特征联合方
间间隔 [0,t] 的脑电数据作为当前试次对应脑电 样本。 (a) 直接特征联合 (b) 本文特征联合 图 8 联合后特征降维 Fig. 8 Feature dimensionality reduction after union 表 1 给出了其在 PhysioNetRSVP 数据集下的 表现，从中可以看出以下几点现象。首先，使用 欧式空间对齐数据的分类效果普遍比不对齐数据 要好。验证了本文在特征联合的同时使用对齐数 据策略的正确性。其次，在 7 个不同长度分段下， 本文的特征联合方法在其中 5 个长度分段下达到 了最好的分类效果，而直接联合只在 1 个长度分 段下达到最优。最后，本文特征联合方法在 7 个 长度的分段下，没有遇到过分类效果最差的情况。 表 2 给出了其在清华 RSVP 数据集下的表 现，同样可以发现使用欧式空间对齐数据策略的 正确性，本文特征联合方法在 7 个不同长度分段 下，均达到了最优效果。其标准差相较于其他方 法也更低，即具备更优的稳定性。 表 1 PhysioNetRSVP 下的平衡准确率 Table 1 Balanced classification accuracy under PhysioNetRSVP 特征提取方法 对齐数据 采用的长度分段 0.4 s 0.5 s 0.6 s 0.7 s 0.8 s 0.9 s 1 s 切线空间投影 是 0.643±0.081 0.704±0.094 0.705±0.095 0.704±0.088 0.696±0.089 0.694±0.090 0.698±0.088 否 0.627±0.092 0.686±0.109 0.690±0.102 0.685±0.093 0.696±0.092 0.690±0.095 0.692±0.096 xDAWN 是 0.627±0.066 0.697±0.100 0.700±0.091 0.702±0.095 0.695±0.093 0.691±0.094 0.690±0.094 否 0.619±0.081 0.677±0.108 0.677±0.099 0.676±0.095 0.676±0.097 0.684±0.097 0.682±0.094 直接联合 是 0.632±0.072 0.706±0.097 0.697±0.100 0.703±0.099 0.692±0.110 0.696±0.100 0.688±0.096 否 0.629±0.089 0.692±0.111 0.693±0.103 0.692±0.096 0.697±0.096 0.697±0.096 0.693±0.089 本文联合 是 0.652±0.078 0.702±0.100 0.703±0.092 0.713±0.091 0.701±0.099 0.701±0.094 0.699±0.096 否 0.634±0.093 0.692±0.108 0.695±0.103 0.693±0.104 0.694±0.104 0.691±0.105 0.685±0.097 表 2 清华 RSVP 下的平衡准确率 Table 2 Balanced classification accuracy under Tsinghua RSVP 特征提取方法 对齐数据 采用的长度分段 0.4 s 0.5 s 0.6 s 0.7 s 0.8 s 0.9 s 1 s 切线空间投影 是 0.700±0.044 0.749±0.048 0.762±0.055 0.767±0.056 0.770±0.064 0.771±0.070 0.775±0.074 否 0.658±0.046 0.713±0.063 0.724±0.072 0.725±0.073 0.717±0.085 0.72±0.093 0.718±0.096 xDAWN 是 0.701±0.039 0.746±0.046 0.761±0.047 0.764±0.049 0.764±0.056 0.767±0.067 0.768±0.068 否 0.655±0.049 0.699±0.061 0.711±0.061 0.711±0.062 0.710±0.068 0.704±0.075 0.710±0.076 直接联合 是 0.698±0.049 0.751±0.055 0.763±0.054 0.765±0.062 0.765±0.068 0.765±0.072 0.770±0.071 否 0.663±0.053 0.708±0.075 0.719±0.079 0.717±0.077 0.721±0.079 0.719±0.085 0.721±0.082 本文联合 是 0.706±0.042 0.752±0.049 0.768±0.051 0.777±0.054 0.777±0.060 0.778±0.067 0.779±0.066 否 0.665±0.053 0.717±0.065 0.725±0.069 0.721±0.077 0.719±0.084 0.718±0.094 0.718±0.097 3.5 不同被试下的对比 值得注意的是，由于被试间个体差异较大[22-23] ， 需要对同一模型在不同被试上的表现进行观察。 在这里，本文选用每个被试长度分段在 0.7 s 及以 上且采用数据对齐的实验结果做平均值，可以从 图 9、10 观察各特征提取方法在不同被试上分类 效果的表现。 在 PhysioNetRSVP 数据集的 11 个被试中, 本 文特征联合方法在 7 个被试上达到了最优；在清 华 RSVP 数据集的 10 个被试中，本文特征联合方 ·1059· 章杭奎，等：面向跨被试 RSVP 的多特征低维子空间嵌入的 ERP 检测 第 5 期
第17卷 智能系统学报 ·1060· 法在6个被试上达到了最优。本文特征联合方法 hash[J].Computer engineering science,2021,43(9) 在两个数据集上的均值都达到了最优。 1616-1622 [2] 0.90 毛莺池，唐江红，王静，等.基于Faster R-CNN的多任务 0.85 特征提取方法 YDAWN 增强裂缝图像检测方法円.智能系统学报，2021,16(2) 0.80 切线空间投影 286-293 0.75 直接联合 本文联合 MAO Yingchi,TANG Jianghong,WANG Jing,et al. 盆0.70 0.65 Multi-task enhanced dam crack image detection based on 0.60 Faster R-CNN[J].CAAI transactions on intelligent sys- 0.55 tems,2021,16(2:286-293. 0.50 1 2 3 4567891011均值 [3] 丁斌.基于非线性哈希的图像与视频检索算法研究 被试编号 D].北京：北京邮电大学，2020 图9 PhysioNetRSVP不同被试的平衡准确率 DING Bin.Research on image and video retrieval al- Fig.9 BCA of different subjects under PhysioNetRSVP gorithm based on nonlinear hashing[D].Beijing:Beijing 0.95 University of Posts and Telecommunications,2020. 特征提取方法 0.90 XDAWN [4] WOODMAN G F.A brief introduction to the use of 0.85 一切线空间投影 0.80 event-related potentials in studies of perception and atten- s0.75 tion[J].Attention,perception psychophysics,2010, 立0.70 72(8):2031-3046. 0.65 0.60 [5]LIU Shuang,WANG Wei,SHENG Yue,et al.Improving 0.55 the cross-subject performance of the ERP-based brain- 0.50 2 3 4 567 8910均值 computer interface using rapid serial visual presentation 被试编号 and correlation analysis rank[J.Frontiers in human neur- 图10清华RSVP不同被试的平衡准确率 oscience,2020,14-296. Fig.10 BCA of different subjects under Tsinghua RSVP [6] SOLIS-ESCALANTE T,GENTILETTI GG,YANEZ- SUAREZ O.Single trial P300 detection based on the em- 4结束语 pirical mode decomposition[C]//2006 International Con- 本文提出了一种面向跨被试RSVP的多特征 ference of the IEEE Engineering in Medicine and Bio 低维子空间嵌入的ERP检测方法。采用欧式空 logy Society.New York,IEEE,2006:1157-1160. 间对齐作为迁移方法，平衡准确率作为评价指 [7] KRUSIENSKI D J.SELLERS E W.MCFARLAND D J. 标，留一被试法作为检验方法，分别在PhysioN- et al.Toward enhanced P300 speller performance[J]. etRSVP数据集和清华RSVP数据集下，探索了该 Journal of neuroscience methods,2008,167(1):15-21. [8] RIVET B,SOULOUMIAC A,ATTINA V,et al. 方法在不同脑电长度分段以及不同被试下的表 xDAWN algorithm to enhance evoked potentials:applica- 现，并且与切线空间投影特征提取方法、xDAWN tion to brain-computer interface[J].IEEE transactions on 特征提取方法以及直接特征联合方法进行了对 bio-medical engineering,2009,56(8):2035-2043 比。本文特征联合方法在两个数据集共计14个 [9] RIVET B.CECOTTI H.SOULOUMIAC A.et al.Theor- 长度分段下，有12个长度分段达到最优分类效 etical analysis of xDAWN algorithm:application to an ef- 果。在两个数据集的超过半数被试上达到了最优 ficient sensor selection in a p300 BCI[C]//2011 19th 的分类效果。实验结果表明，本文提出的特征联 European Signal Processing Conference.Barcelona, 合方法能够有效整合来自两个不同空间的特征， EEE,2011:1382-1386. 使得分类结果更具可靠性。 [10]LAWHERN V J,SOLON A J,WAYTOWICH N R,et al. 参考文献： EEGNet:a compact convolutional neural network for EEG-based brain-computer interfaces[J].Journal of neur- [1]周燕，潘丽丽，陈蓉玉，等.结合自适应融合网络与哈希 al engineering,2018,15(5)-056013 的图像检索算法[U.计算机工程与科学，2021,43(9)： [11]ZANINI P,CONGEDO M,JUTTEN C,et al.Transfer 1616-1622 learning:a Riemannian geometry framework with applic- ZHOU Yan,PAN Lili,CHEN Rongyu,et al.A novel im- ations to brain-computer interfaces[J].IEEE transactions age retrieval algorithm with adaptive fusion network and on biomedical engineering,2018,65(5):1107-1116
法在 6 个被试上达到了最优。本文特征联合方法 在两个数据集上的均值都达到了最优。 0.90 0.85 0.80 0.75 0.70 0.65 0.60 0.55 0.50 BCA 1 2 3 4 5 6 7 8 9 10 11均值 被试编号 特征提取方法 xDAWN 切线空间投影 直接联合 本文联合 图 9 PhysioNetRSVP 不同被试的平衡准确率 Fig. 9 BCA of different subjects under PhysioNetRSVP 0.90 0.95 0.85 0.80 0.75 0.70 0.65 0.60 0.55 0.50 BCA 特征提取方法 xDAWN 切线空间投影 直接联合 本文联合 1 2 3 4 5 6 7 8 9 10 均值 被试编号 图 10 清华 RSVP 不同被试的平衡准确率 Fig. 10 BCA of different subjects under Tsinghua RSVP 4 结束语 本文提出了一种面向跨被试 RSVP 的多特征 低维子空间嵌入的 ERP 检测方法。采用欧式空 间对齐作为迁移方法，平衡准确率作为评价指 标，留一被试法作为检验方法，分别在 PhysioNetRSVP 数据集和清华 RSVP 数据集下，探索了该 方法在不同脑电长度分段以及不同被试下的表 现，并且与切线空间投影特征提取方法、xDAWN 特征提取方法以及直接特征联合方法进行了对 比。本文特征联合方法在两个数据集共计 14 个 长度分段下，有 12 个长度分段达到最优分类效 果。在两个数据集的超过半数被试上达到了最优 的分类效果。实验结果表明，本文提出的特征联 合方法能够有效整合来自两个不同空间的特征， 使得分类结果更具可靠性。 参考文献： 周燕, 潘丽丽, 陈蓉玉, 等. 结合自适应融合网络与哈希 的图像检索算法 [J]. 计算机工程与科学, 2021, 43(9): 1616–1622. ZHOU Yan, PAN Lili, CHEN Rongyu, et al. A novel image retrieval algorithm with adaptive fusion network and [1] hash[J]. Computer engineering & science, 2021, 43(9): 1616–1622. 毛莺池, 唐江红, 王静, 等. 基于 Faster R-CNN 的多任务 增强裂缝图像检测方法 [J]. 智能系统学报, 2021, 16(2): 286–293. MAO Yingchi, TANG Jianghong, WANG Jing, et al. Multi-task enhanced dam crack image detection based on Faster R-CNN[J]. CAAI transactions on intelligent systems, 2021, 16(2): 286–293. [2] 丁斌. 基于非线性哈希的图像与视频检索算法研究 [D]. 北京: 北京邮电大学, 2020. DING Bin. Research on image and video retrieval algorithm based on nonlinear hashing[D]. Beijing: Beijing University of Posts and Telecommunications, 2020. [3] WOODMAN G F. A brief introduction to the use of event-related potentials in studies of perception and attention[J]. Attention, perception & psychophysics, 2010, 72(8): 2031–3046. [4] LIU Shuang, WANG Wei, SHENG Yue, et al. Improving the cross-subject performance of the ERP-based braincomputer interface using rapid serial visual presentation and correlation analysis rank[J]. Frontiers in human neuroscience, 2020, 14–296. [5] SOLIS-ESCALANTE T, GENTILETTI G G, YANEZSUAREZ O. Single trial P300 detection based on the empirical mode decomposition[C]//2006 International Conference of the IEEE Engineering in Medicine and Biology Society. New York, IEEE, 2006: 1157−1160. [6] KRUSIENSKI D J, SELLERS E W, MCFARLAND D J, et al. Toward enhanced P300 speller performance[J]. Journal of neuroscience methods, 2008, 167(1): 15–21. [7] RIVET B, SOULOUMIAC A, ATTINA V, et al. xDAWN algorithm to enhance evoked potentials: application to brain-computer interface[J]. IEEE transactions on bio-medical engineering, 2009, 56(8): 2035–2043. [8] RIVET B, CECOTTI H, SOULOUMIAC A, et al. Theoretical analysis of xDAWN algorithm: application to an efficient sensor selection in a p300 BCI[C]//2011 19th European Signal Processing Conference. Barcelona, IEEE, 2011: 1382−1386. [9] LAWHERN V J, SOLON A J, WAYTOWICH N R, et al. EEGNet: a compact convolutional neural network for EEG-based brain-computer interfaces[J]. Journal of neural engineering, 2018, 15(5)–056013. [10] ZANINI P, CONGEDO M, JUTTEN C, et al. Transfer learning: a Riemannian geometry framework with applications to brain–computer interfaces[J]. IEEE transactions on biomedical engineering, 2018, 65(5): 1107–1116. [11] 第 17 卷 智 能 系 统 学 报 ·1060·
·1061· 章杭奎，等：面向跨被试RSVP的多特征低维子空间嵌入的ERP检测 第5期 [12]HEHe,WU Dongrui.Transfer learning for brain-com- using t-SNE[J].Journal of machine learning research, puter interfaces:a euclidean space data alignment ap- 2008,9(11):2579-2605 proach[J.IEEE transactions on bio-medical engineering. [22]狄洋基于脑电个体差异性的身份识别方法研究[D], 2020,67(2y:399-410. 天津：天津大学，2019 [13]WON K,KWON M,JANG S,et al.P300 speller per- DI Yang.Research on individual identification ap- formance predictor based on RSVP multi-feature[J]. proaches based on EEG signals[D].Tianjin:Tianjin Uni- Frontiers in human neuroscience,2019,13-261. versity,2019 [14]BARACHANT A,BONNET S,CONGEDO M,et al. [23]刘晶.基于事件相关电位的跨个体脑一机接口研究 Classification of covariance matrices using a Riemannian- [D1.天津：天津大学，2014 based kernel for BCI applications[J].Neurocomputing, LIU Jing.Research on subject-independent BCI based on 2013,112:172-178. event-related potential[D].Tianjin:Tianjin University, [15]BARACHANT A,BONNET S,CONGEDO M,et al. 2014 Multiclass brain-computer interface classification by 作者简介： Riemannian geometry[J].IEEE transactions on biomedic- al engineering,2012,59(4):920-928. 章杭奎，硕土研究生，主要研究方 向为脑机协同图像检索、跨被试事件 [16]CHEN Yilun,WIESEL A,ELDAR Y C,et al.Shrinkage 相关电位检测。 algorithms for MMSE covariance estimation[J].IEEE transactions on signal processing,2010,58(10): 5016-5029. [17]IZENMAN A J.Linear discriminant analysis[M]// Springer Texts in Statistics.New York:Springer New 刘栋军，硕士研究生，主要研究方 York,2013:237-280. 向为脑机协同智能、脑电迁移学习。 [18]MATRAN-FERNANDEZ A,POLI R.Towards the auto- mated localisation of targets in rapid image-sifting by col- laborative brain-computer interfaces[J].PLoS one,2017. 12(5-e0178498. [19]ZHANG Shangen,WANG Yijun,ZHANG Lijian,et al. A benchmark dataset for RSVP-based brain-computer in- 孔万增，教授、博士生导师，博士， terfaces[J].Frontiers in neuroscience,2020,14-568000. 主要研究方向为人工智能与模式识别、 嵌入式可穿戴计算、脑机交互与认知 [20]LEDOIT O,WOLF M.Honey,I shrunk the sample cov- 计算。2018年度吴文俊人工智能技术 ariance matrix[J].Journal of portfolio management,2004, 发明奖获得者。发表学术论文近百篇。 30(4):110-119. [21]VAN DER MAATEN L,HINTON G.Visualizing data
HE He, WU Dongrui. Transfer learning for brain-computer interfaces: a euclidean space data alignment approach[J]. IEEE transactions on bio-medical engineering, 2020, 67(2): 399–410. [12] WON K, KWON M, JANG S, et al. P300 speller performance predictor based on RSVP multi-feature[J]. Frontiers in human neuroscience, 2019, 13–261. [13] BARACHANT A, BONNET S, CONGEDO M, et al. Classification of covariance matrices using a Riemannianbased kernel for BCI applications[J]. Neurocomputing, 2013, 112: 172–178. [14] BARACHANT A, BONNET S, CONGEDO M, et al. Multiclass brain–computer interface classification by Riemannian geometry[J]. IEEE transactions on biomedical engineering, 2012, 59(4): 920–928. [15] CHEN Yilun, WIESEL A, ELDAR Y C, et al. Shrinkage algorithms for MMSE covariance estimation[J]. IEEE transactions on signal processing, 2010, 58(10): 5016–5029. [16] IZENMAN A J. Linear discriminant analysis[M]// Springer Texts in Statistics. New York: Springer New York, 2013: 237−280. [17] MATRAN-FERNANDEZ A, POLI R. Towards the automated localisation of targets in rapid image-sifting by collaborative brain-computer interfaces[J]. PLoS one, 2017, 12(5)–e0178498. [18] ZHANG Shangen, WANG Yijun, ZHANG Lijian, et al. A benchmark dataset for RSVP-based brain-computer interfaces[J]. Frontiers in neuroscience, 2020, 14–568000. [19] LEDOIT O, WOLF M. Honey, I shrunk the sample covariance matrix[J]. Journal of portfolio management, 2004, 30(4): 110–119. [20] [21] VAN DER MAATEN L, HINTON G. Visualizing data using t-SNE[J]. Journal of machine learning research, 2008, 9(11): 2579–2605. 狄洋. 基于脑电个体差异性的身份识别方法研究 [D]. 天津: 天津大学, 2019. DI Yang. Research on individual identification approaches based on EEG signals[D]. Tianjin: Tianjin University, 2019. [22] 刘晶. 基于事件相关电位的跨个体脑—机接口研究 [D]. 天津: 天津大学, 2014. LIU Jing. Research on subject-independent BCI based on event-related potential[D]. Tianjin: Tianjin University, 2014. [23] 作者简介： 章杭奎，硕士研究生，主要研究方 向为脑机协同图像检索、跨被试事件 相关电位检测。 刘栋军，硕士研究生，主要研究方 向为脑机协同智能、脑电迁移学习。 孔万增，教授、博士生导师，博士， 主要研究方向为人工智能与模式识别、 嵌入式可穿戴计算、脑机交互与认知 计算。2018 年度吴文俊人工智能技术 发明奖获得者。发表学术论文近百篇。 ·1061· 章杭奎，等：面向跨被试 RSVP 的多特征低维子空间嵌入的 ERP 检测 第 5 期