工程科学学报，第39卷.第8期：1261-1267,2017年8月 Chinese Journal of Engineering,Vol.39,No.8:1261-1267,August 2017 DOI:10.13374/j.issn2095-9389.2017.08.017;http://journals.ustb.edu.cn 基于半自主导航与运动想象的多旋翼飞行器二维空 间目标搜索 史添玮)，王宏2)，崔文华)，任玲) 1)辽宁科技大学国际金融与银行学院，鞍山1140512)东北大学机械工程与自动化学院，沈阳110819 3)辽宁聚龙金融设备股份有限公司，鞍山114051 ☒通信作者，E-mail:tianweiabbec@163.com 摘要提出一种脑-机接口系统实现多旋冀飞行器室内二维空间目标搜索.系统由半自主导航与决策子系统组成.半自主 导航子系统用于为决策子系统提供可行飞行方向并实现多旋翼飞行器半自主避障.决策子系统采用互相关方法与逻辑回归 方法完成运动想象的脑电特征提取与分类.实际的室内目标搜索实验验证了使用该系统是可行且有效的.相比其他方法，减 少了被试者负担，降低控制难度，控制精度约提高±10cm. 关键词脑-机接口；运动想象；半自主导航；互相关；逻辑回归 分类号R318;V249.1 Two-dimensional space target searching based on semi-autonomous navigation and motor imagery for multi-rotor aircraft SHI Tian-wei,WANG Hong),CUl Wen-hua),REN Ling) 1)School of Intemational Finance and Banking,University of Science and Technology Liaoning,Anshan 114051,China 2)School of Mechanical Engineering and Automation,Northeastern University,Shenyang 110819.China 3)Liaoning Julong Financial Equipment Co.,Ltd.,Anshan 114051,China Corresponding author,E-mail:tianweiabbcc@163.com ABSTRACT A brain computer interface (BCI)system was proposed to realize the two-dimensional indoor space target searching for multi-rotor aircraft.This system consists of semi-autonomous navigation and decision subsystems.The semi-autonomous navigation subsystem is employed to provide feasible directions for the decision subsystem and avoid obstacles semi-automatically for multi-rotor aircraft.The decision subsystem utilizes the cross-correlation (CC)and logistic regression (LR)methods to implement motor imagery (MI)electroencephalogram(EEG)feature extraction and classification,respectively.The actual indoor target searching experiment validates the feasibility and effectiveness of this BCI system.Compared to similar methods,the proposed BCI system reduces the bur- den of the subjects and the control difficulties.The control precision increases by approximately +10cm. KEY WORDS brain computer interface;motor imagery;semi-autonomous navigation;cross-correlation;logistic regression 近十几年来，多旋翼飞行器在军事与民用领域的有预先规划的前提下立即识别障碍物，且无法在路口 应用愈加广泛.尽管自主性在不断增强，但是，多旋翼处做出瞬时决策.通常，人使用双手操控飞行器，这导 飞行器仍然存在诸多应用瓶颈，例如：在目标搜索中，致其无法同时完成更多的控制任务.此外，由于实际 基于视觉与惯性导航等]全自主导航系统无法在没 应用中存在无法预测的复杂性，有时需要人为控制的 收稿日期：2016-09-06 基金项目：国家自然科学基金资助项目(51405073)：辽宁省高校创新团队资助项目(LT2014006):辽宁省教育厅资助项目(2016HZZD05)
工程科学学报,第 39 卷,第 8 期:1261鄄鄄1267,2017 年 8 月 Chinese Journal of Engineering, Vol. 39, No. 8: 1261鄄鄄1267, August 2017 DOI: 10. 13374 / j. issn2095鄄鄄9389. 2017. 08. 017; http: / / journals. ustb. edu. cn 基于半自主导航与运动想象的多旋翼飞行器二维空 间目标搜索 史添玮1) 苣 , 王 宏2) , 崔文华1) , 任 玲3) 1) 辽宁科技大学国际金融与银行学院, 鞍山 114051 2) 东北大学机械工程与自动化学院, 沈阳 110819 3) 辽宁聚龙金融设备股份有限公司, 鞍山 114051 苣 通信作者, E鄄mail: tianweiabbcc@ 163. com 摘 要 提出一种脑鄄鄄机接口系统实现多旋翼飞行器室内二维空间目标搜索. 系统由半自主导航与决策子系统组成. 半自主 导航子系统用于为决策子系统提供可行飞行方向并实现多旋翼飞行器半自主避障. 决策子系统采用互相关方法与逻辑回归 方法完成运动想象的脑电特征提取与分类. 实际的室内目标搜索实验验证了使用该系统是可行且有效的. 相比其他方法,减 少了被试者负担,降低控制难度,控制精度约提高 依 10 cm. 关键词 脑鄄鄄机接口; 运动想象; 半自主导航; 互相关; 逻辑回归 分类号 R318; V249郾 1 Two鄄dimensional space target searching based on semi鄄autonomous navigation and motor imagery for multi鄄rotor aircraft SHI Tian鄄wei 1) 苣 , WANG Hong 2) , CUI Wen鄄hua 1) , REN Ling 3) 1) School of International Finance and Banking, University of Science and Technology Liaoning, Anshan 114051, China 2) School of Mechanical Engineering and Automation, Northeastern University, Shenyang 110819, China 3) Liaoning Julong Financial Equipment Co. , Ltd. , Anshan 114051, China 苣 Corresponding author, E鄄mail: tianweiabbcc@ 163. com ABSTRACT A brain computer interface (BCI) system was proposed to realize the two鄄dimensional indoor space target searching for multi鄄rotor aircraft. This system consists of semi鄄autonomous navigation and decision subsystems. The semi鄄autonomous navigation subsystem is employed to provide feasible directions for the decision subsystem and avoid obstacles semi鄄automatically for multi鄄rotor aircraft. The decision subsystem utilizes the cross鄄correlation (CC) and logistic regression (LR) methods to implement motor imagery (MI) electroencephalogram (EEG) feature extraction and classification, respectively. The actual indoor target searching experiment validates the feasibility and effectiveness of this BCI system. Compared to similar methods, the proposed BCI system reduces the bur鄄 den of the subjects and the control difficulties. The control precision increases by approximately 依 10 cm. KEY WORDS brain computer interface; motor imagery; semi鄄autonomous navigation; cross鄄correlation; logistic regression 收稿日期: 2016鄄鄄09鄄鄄06 基金项目: 国家自然科学基金资助项目(51405073); 辽宁省高校创新团队资助项目(LT2014006); 辽宁省教育厅资助项目(2016HZZD05) 近十几年来,多旋翼飞行器在军事与民用领域的 应用愈加广泛. 尽管自主性在不断增强,但是,多旋翼 飞行器仍然存在诸多应用瓶颈,例如:在目标搜索中, 基于视觉与惯性导航等[1鄄鄄2] 全自主导航系统无法在没 有预先规划的前提下立即识别障碍物,且无法在路口 处做出瞬时决策. 通常,人使用双手操控飞行器,这导 致其无法同时完成更多的控制任务. 此外,由于实际 应用中存在无法预测的复杂性,有时需要人为控制的
·1262· 工程科学学报，第39卷，第8期 介人，但是，人的操作水平不同，往往对飞行器的控制 制精度显著降低 产生不同影响 为解决上述问题，并引入更加智能、稳定且易于操 脑-机接口(brain-computer interface,BCI)系统 作的控制模式，本文提出了包含半自主导航与决策子 通过安放在头皮附近的贴片电极采集脑电(electro- 系统，适用于多旋翼飞行器在含有静态障碍物的室内 encephalogram,EEG)信号，建立大脑活动和设备之 二维空间实现目标搜索的BCI系统.半自主导航子系 间的通信.BCI系统中，运动想象(motor imagery, 统为决策子系统提供可行飞行方向并实现飞行器半自 MI)是一种研究较多的脑电信号[3]，由于具有易于 主避障.通过分析左、右手M的EEG特征而建立了 实施和良好的时间分辨率特性，国内学者使用基于 决策子系统，其采用互相关(cross-correlation,CC)方法 MI与稳态视觉诱发电位(steady-state visual evoked 与逻辑回归(logistic regression,LR)方法完成MI特征 potentials,SSVEP)方法的BCI系统用于控制电动轮 提取与分类.实际的目标搜索实验表明，该BCI系统 椅[)与辅助残疾人阅读[5]等。国外学者使用基于 实现多旋翼飞行器二维空间目标搜索是可行、有效的， 声音刺激、眼动仪与MI方法的BCI系统用于控制 且具有更好的适应性与控制稳定性.与相关方法相 服务机器人【]、外骨骼[与多旋翼飞行器[s]等.尽 比[]，性能明显提高 管文献[8]使用眼动仪与BCI系统实现了多旋翼飞 1半自主导航子系统 行器控制，但是使用者需长时间的精力集中并通过 眼动与MI任务完成控制，这大大增加了使用者的 图1为简化的BCI系统结构.本文将基于二维激 负担，而无法完成长时间任务，且随着时间累积控 光测距仪的半自主导航用于提出的BCI系统. 22二二2三=257 左手 逻辑回归 放松 MI任务 无线网络 MI任务 MI任务 多旋翼飞行器 分类 右手 控制指令 MI任务 飞行环境 改进的 分类结果 实时视频 虚拟仿真 实际飞行 互相关 特征提取 无线网络 系毓 环境 ◆ Ⅱ数据 环境特征 须处理 提取 WI数据 MI任务 提示 脑机接 方向 获取 口系號 可行方向避障 无线网铬- 半自主导航子系统 图1简化的脑-机接口系统结构 Fig.1 Simplified BCI system structures 二维激光测距仪扫描飞行器正前方-90°~90° 为1.5m),则其被视作可行方向.依据-12与飞行 的环境，并等距分成9组，同时计算每组数据的最大与 器当前偏航角()，定义可行方向中心角为： 最小距离.图2为环境特征提取过程，图2()为真实 2+l2i-l-360, (6++）≥180. 环境，图2(b)与图2(c)分别为按角度排列以及极坐 2 标变换后的环境数据. 2:+i-l+360, 首先，将9组最大与最小距离的均值作为障碍物 2 ++）<-180. 2 识别门限(T.,最小值为1.5m).若某方向环境距离小 (2) 于T,则其被视作障碍物并移除：其余区域被视作待 2决策子系统 定可行方向并保留.然后，依据保留的区域重新排列 环境数据.图3为重新排列后的环境数据与估计的可 2.1MI信号采集 单一MI任务数据采集如图4(a)所示，采集时间 行方向.区域O的宽度定义为： 为5s.由于被试者EEG信号不稳定或者未执行MI任 0,=√i-1+53-2s2-152c0s(12-t2-1).(1) 务，并为消除响应延迟的影响，从1~4s对采集到的 式中：i为区域编号，其按照极坐标顺序排列；5-为测 EEG信号采样.连续M任务数据采集如图4(b)所 距仪与0，起始点距离；s2为测距仪与O,终止点距离； 示.由于M任务可能持续很长时间，因此，采集到的 2-1为测距仪0°至0，起始点角度；t2为测距仪0°至0： EEG信号需被分成多个数据段.EEG信号由安装在电 终止点角度.若0宽度大于可行方向门限(T。,最小值 极帽(NuAmps,Neuroscan)上的6通道电极(FC3、C3
工程科学学报,第 39 卷,第 8 期 介入,但是,人的操作水平不同,往往对飞行器的控制 产生不同影响. 脑鄄鄄机接口( brain鄄computer interface,BCI) 系统 通过安放在头皮附近的贴片电极采集脑电( electro鄄 encephalogram,EEG) 信号,建立大脑活动和设备之 间的 通 信. BCI 系 统 中,运 动 想 象 ( motor imagery, MI) 是一种研究较多的脑电信号[3] . 由于具有易于 实施和良好的时间分辨率特性,国内学者使用基于 MI 与稳态视觉诱发电位( steady鄄state visual evoked potentials,SSVEP) 方法的 BCI 系统用于控制电动轮 椅[4] 与辅助残疾人阅读[5] 等. 国外学者使用基于 声音刺激、眼动仪与 MI 方法的 BCI 系统用于控制 服务机器人[6] 、外骨骼[7] 与多旋翼飞行器[8] 等. 尽 管文献[8] 使用眼动仪与 BCI 系统实现了多旋翼飞 行器控制,但是使用者需长时间的精力集中并通过 眼动与 MI 任务完成控制,这大大增加了使用者的 负担,而无法完成长时间任务,且随着时间累积控 制精度显著降低. 为解决上述问题,并引入更加智能、稳定且易于操 作的控制模式,本文提出了包含半自主导航与决策子 系统,适用于多旋翼飞行器在含有静态障碍物的室内 二维空间实现目标搜索的 BCI 系统. 半自主导航子系 统为决策子系统提供可行飞行方向并实现飞行器半自 主避障. 通过分析左、右手 MI 的 EEG 特征而建立了 决策子系统,其采用互相关( cross鄄correlation,CC)方法 与逻辑回归( logistic regression,LR) 方法完成 MI 特征 提取与分类. 实际的目标搜索实验表明,该 BCI 系统 实现多旋翼飞行器二维空间目标搜索是可行、有效的, 且具有更好的适应性与控制稳定性. 与相关方法相 比[8] ,性能明显提高. 1 半自主导航子系统 图 1 为简化的 BCI 系统结构. 本文将基于二维激 光测距仪的半自主导航用于提出的 BCI 系统. 图 1 简化的脑鄄鄄机接口系统结构 Fig. 1 Simplified BCI system structures 二维激光测距仪扫描飞行器正前方 - 90毅 ~ 90毅 的环境,并等距分成 9 组,同时计算每组数据的最大与 最小距离. 图 2 为环境特征提取过程,图 2( a)为真实 环境,图 2( b)与图 2( c)分别为按角度排列以及极坐 标变换后的环境数据. 首先,将 9 组最大与最小距离的均值作为障碍物 识别门限(Ta,最小值为 1郾 5 m). 若某方向环境距离小 于 Ta,则其被视作障碍物并移除;其余区域被视作待 定可行方向并保留. 然后,依据保留的区域重新排列 环境数据. 图 3 为重新排列后的环境数据与估计的可 行方向. 区域 Oi的宽度定义为: Oi = s 2 2i - 1 + s 2 2i - 2s2i - 1 s2i cos (t 2i - t 2i - 1 ). (1) 式中: i 为区域编号,其按照极坐标顺序排列;s2i - 1为测 距仪与 Oi起始点距离;s2i为测距仪与 Oi终止点距离; t 2i - 1为测距仪 0毅至 Oi起始点角度;t 2i为测距仪 0毅至 Oi 终止点角度. 若 Oi宽度大于可行方向门限(To,最小值 为 1郾 5 m),则其被视作可行方向. 依据 t 2i - 1 、t 2i与飞行 器当前偏航角(tU ),定义可行方向中心角为: tU + t 2i + t 2i - 1 2 - 360, (tU + t 2i + t 2i - 1 ) 2 逸180, tU + t 2i + t 2i - 1 2 + 360, (tU + t 2i + t 2i - 1 ) 2 < - 180 ì î í ï ï ï ï . (2) 2 决策子系统 2郾 1 MI 信号采集 单一 MI 任务数据采集如图 4( a)所示,采集时间 为 5 s. 由于被试者 EEG 信号不稳定或者未执行 MI 任 务,并为消除响应延迟的影响,从 1 ~ 4 s 对采集到的 EEG 信号采样. 连续 MI 任务数据采集如图 4 ( b) 所 示. 由于 MI 任务可能持续很长时间,因此,采集到的 EEG 信号需被分成多个数据段. EEG 信号由安装在电 极帽(NuAmps, Neuroscan)上的 6 通道电极( FC3、C3、 ·1262·
史添玮等：基于半自主导航与运动想象的多旋翼飞行器二维空间目标搜索 ·1263· (b) 边界 一边界 -…最大距离 --障碍识别门限 …最小距离 3 2 1 飞行器位置 100 50 100 -3-2-10123 扫描角度) 与飞行器中心的横向相对距离m 图2环境特征提取示例.(a)真实环境：(b)按角度排列：(c)极坐标变换后 Fig.2 Example of environmental feature extraction:(a)real environment;(b)as a function of angle;(c)after polar coordinate transformation 边界 Ag/AgCl电极被紧贴在被试者头皮上，与耳后乳突连 ·---障碍识别门限 接的电极作为参考电极 -===0方向 可行方向 2.2MI信号预处理 3 首先，将采集到的EEG信号经过50Hz的陷波滤 波器滤除工频电源噪声.然后，经过0.5~30Hz带通 滤波器滤除噪声.若滤波后的EEG信号幅度大于 50~70μV,则被视为由眼球运动与眨眼等因素产生的 伪迹].本文采用独立成分分析(independent compo- nent analysis,ICA)方法剔除伪迹o],其假定来自不同 0 飞行器位置 通道的EEG信号集合是线性且没有时间延迟的.构 -2 -1012 建独立成分分析方法模型为： 与飞行器中心的横向相对距离m U=WX. (3) 图3重新排列的数据与估计的可行方向 其中：U为分解出的独立成分：W为解混矩阵：X为原 Fig.3 Rearranged data and estimated feasible direction 始多通道EEG信号.第k个独立成分映射为： Xm(k)=W-(:,k)U(k,:). (4) CP3、FC4、C4与CP4)不间断采集、放大，并以250Hz 使用独立成分分析方法后，所有通道的EEG信号 的采样频率存储为数字信号.依据10~20国际体系， 都被分离出来，X中存在的不良成分可能即为伪迹. 左手MI 右手MI b 数据采集 特征提取 数据采集 特征提取 数据采集 67 特征提取 4 图4两种M任务的数据采集过程.(a)单一MI任务：(b)连续M任务 Fig.4 Data collection processes of two types of MI tasks:(a)single MI task;(b)continuous MI tasks
史添玮等: 基于半自主导航与运动想象的多旋翼飞行器二维空间目标搜索 图 2 环境特征提取示例 郾 (a) 真实环境; (b) 按角度排列; (c) 极坐标变换后 Fig. 2 Example of environmental feature extraction: (a) real environment; (b) as a function of angle; (c) after polar coordinate transformation 图 3 重新排列的数据与估计的可行方向 Fig. 3 Rearranged data and estimated feasible direction CP3、FC4、C4 与 CP4) 不间断采集、放大,并以 250 Hz 图 4 两种 MI 任务的数据采集过程 郾 (a) 单一 MI 任务; (b) 连续 MI 任务 Fig. 4 Data collection processes of two types of MI tasks: (a) single MI task; (b) continuous MI tasks 的采样频率存储为数字信号. 依据 10 ~ 20 国际体系, Ag / AgCl 电极被紧贴在被试者头皮上,与耳后乳突连 接的电极作为参考电极. 2郾 2 MI 信号预处理 首先,将采集到的 EEG 信号经过 50 Hz 的陷波滤 波器滤除工频电源噪声. 然后,经过 0郾 5 ~ 30 Hz 带通 滤波器滤除噪声. 若滤波后的 EEG 信号幅度大于 50 ~ 70 滋V,则被视为由眼球运动与眨眼等因素产生的 伪迹[9] . 本文采用独立成分分析( independent compo鄄 nent analysis,ICA)方法剔除伪迹[10] ,其假定来自不同 通道的 EEG 信号集合是线性且没有时间延迟的. 构 建独立成分分析方法模型为: U = WX. (3) 其中: U 为分解出的独立成分;W 为解混矩阵;X 为原 始多通道 EEG 信号. 第 k 个独立成分映射为: Xclean (k) = W - 1 (:,k)·U(k,:). (4) 使用独立成分分析方法后,所有通道的 EEG 信号 都被分离出来,Xclean中存在的不良成分可能即为伪迹. ·1263·
·1264· 工程科学学报，第39卷，第8期 2.3互相关方法MⅡ特征提取 R,(m)为输入信号x(G)与y()在时间延迟m处的互 互相关方法具有通过互相关计算降低噪声的效 相关序列：j为序列索引：输入信号x()与y(G)是有限 果，提取过程如图5所示.首先，C3电极可提供更多 的，两信号之间的延时是从采集信号开始至出现相关 的信息并且对应大脑运动皮质区，因此，选择C3电极 性峰值的时间差.图5中，R代表互相关序列，R是由 为互相关方法的参考通道（通道1）.然后，使用式 参考通道与通道2计算得到的，R。-,是由参考通道与 (5)计算参考通道与其他通道间的互相关： 通道n(使用的电极个数，取值为6)计算得到的.从每 N-lml -1 个互相关序列中提取均值、标准偏差、偏度、峰度、最大 R,(m)=∑ x(j)y(j-m). (5) 值与最小值等特征.这些特征可降低每个互相关序列 式中：m为各信号间的时间延迟，m=-(N-1), 的维度，与数据预处理后的EEG信号相比，其能提供 -(N-2),…,(N-2),(N-1),其中，N为采样点数： 更有用的MI任务信息[2] 均值 通道1 参考通道 互相关计算 标准偏差 偏度 R 峰疲 特征集合 最大值 1 通道2 最小值 均值 运动 某一 标淮偏差 分 偏度 的多 Logistic 人/ 通道3 峰度 特征集合 预处理 T Regression 最大值 2 输出结果 模型 EEG 最小值 信号 均值 标准偏差 偏度 Ra-n 特征集合 峰度 通道n n-1 最大值 最小值 改进的互相关方法特征提取 逻辑回归方法分类 图5BCI系统脑电信号处理过程 Fig.5 BCI system EEG signal processing procedure 2.4逻辑回归方法MⅫ特征分类 归方法输入，其输出即为MI任务的分类标签.逻 由于半自主导航子系统可为飞行器提供可行飞行 辑回归方法的MI任务分类过程如图5所示.该 方向并实现半自主避障，因此，其减少了控制指令，将 BCI系统中，分类过程分为两个步骤：(1)MI任务 MI任务由多分类减少为二分类（空闲状态与MI任务， 是否执行判定.执行M任务y为1，空闲状态y为 左手与右手M任务).逻辑回归方法适合于两类别的 0:(2)MI任务判定.左手MI任务y为1，右手MI 输入特征是线性函数的分离超平面，其用于预计分类 任务y为0. 标签以及两种M任务的分类结果概率。式(6)为逻辑 2.5飞行器控制 回归方法的数学表达式： 被试者使用单一空闲M起飞飞行器.此后，半自 B.s. 主导航子系统自动提供可行飞行方向与半自主避障. P(y=1lx,x2,…,xn)=T=- (6) +eA…2R+ 若飞行器到达死路，其将自动旋转180°.被试者需在 式中：假设x为输人特征变量且为独立变量，即x, 决策子系统中使用M任务完成可行飞行方向选择 ,,…,x。y为分类标签且为一个因变量；π为类别1 (左手MI为“是”，即选择当前方向：右手MI为 的条件概率，即：P(y=11x,x2,…,x).如果y属于 “否”，即不选择当前方向).此过程中，飞行器悬停 类别0，则其条件概率可以描述为：1-π=1-P(y= 若被试者选择了某个方向，则该方向被设置为飞行 1x,,…,x）=P(y=01x1,2,…,xn);B为截距； 器后续自主飞行的方向.前向飞行时，单一右手MI B,B2,…,B。为输入特征向量的回归系数，可由极大 用于降落飞行器.决策子系统每间隔30ms发送前 似然估计方法估计].逻辑回归方法的对数模 向飞行指令.若被试者未选择提供的可行飞行方向， 型为： 其必须完全通过执行MI任务控制飞行器（左手MI 为左旋转：右手MI为右旋转：空闲MI为前向飞行). (7) 此时，决策子系统每间隔30ms发送前向飞行指令， 式中，logit(π)为独立变量与回归系数的线性集合. 持续时间为3s.若飞行器在后续2s内未接收到任 从每个互相关序列中提取的六个特征作为逻辑回 何指令，其将悬停并等待.被试者需要手动完成飞行
工程科学学报,第 39 卷,第 8 期 2郾 3 互相关方法 MI 特征提取 互相关方法具有通过互相关计算降低噪声的效 果,提取过程如图 5 所示. 首先,C3 电极可提供更多 的信息并且对应大脑运动皮质区,因此,选择 C3 电极 为互相关方法的参考通道(通道 1) [11] . 然后,使用式 (5)计算参考通道与其他通道间的互相关: Rxy(m) = 移 N-| m| -1 j = 0 x(j)y(j - m). (5) 式中: m 为各信号间的时间延迟,m = - ( N - 1 ), - (N - 2),…,(N - 2),(N - 1),其中,N 为采样点数; Rxy(m)为输入信号 x(j)与 y( j)在时间延迟 m 处的互 相关序列; j 为序列索引;输入信号 x(j)与 y(j)是有限 的,两信号之间的延时是从采集信号开始至出现相关 性峰值的时间差. 图 5 中,R 代表互相关序列,R1是由 参考通道与通道 2 计算得到的,R(n - 1)是由参考通道与 通道 n(使用的电极个数,取值为 6)计算得到的. 从每 个互相关序列中提取均值、标准偏差、偏度、峰度、最大 值与最小值等特征. 这些特征可降低每个互相关序列 的维度,与数据预处理后的 EEG 信号相比,其能提供 更有用的 MI 任务信息[12] . 图 5 BCI 系统脑电信号处理过程 Fig. 5 BCI system EEG signal processing procedure 2郾 4 逻辑回归方法 MI 特征分类 由于半自主导航子系统可为飞行器提供可行飞行 方向并实现半自主避障,因此,其减少了控制指令,将 MI 任务由多分类减少为二分类(空闲状态与 MI 任务, 左手与右手 MI 任务). 逻辑回归方法适合于两类别的 输入特征是线性函数的分离超平面,其用于预计分类 标签以及两种 MI 任务的分类结果概率. 式(6)为逻辑 回归方法的数学表达式: P(y = 1 | x1 ,x2 ,…,xn ) = 仔 = e 茁0 +移 n i = 1 茁i+xi 1 + e 茁0 +移 n i = 1 茁i+xi . (6) 式中: 假设 xi为输入特征变量且为独立变量,即 x1 , x2 ,…,xn ;y 为分类标签且为一个因变量;仔 为类别 1 的条件概率,即:P( y = 1 | x1 ,x2 ,…,xn ) . 如果 y 属于 类别 0,则其条件概率可以描述为:1 - 仔 = 1 - P( y = 1 | x1 ,x2 ,…,xn ) = P( y = 0 | x1 ,x2 ,…,xn ) ;茁0为截距; 茁1 ,茁2 , …,茁n 为输入特征向量的回归系数,可由极大 似 然 估 计 方 法 估 计[13] . 逻 辑 回 归 方 法 的 对 数 模 型为: logit(仔) = loge ( 仔 1 - ) 仔 = 茁0 + 移 n i = 1 茁i xi . (7) 式中,logit( 仔) 为独立变量与回归系数的线性集合. 从每个互相关序列中提取的六个特征作为逻辑回 归方法输入,其输出即为 MI 任务的分类标签. 逻 辑回归 方 法 的 MI 任 务 分 类 过 程 如 图 5 所 示. 该 BCI 系统中,分类过程分为两个步骤: ( 1 ) MI 任务 是否执行判定. 执行 MI 任务 y 为 1,空闲状态 y 为 0;(2) MI 任务判定. 左手 MI 任务 y 为 1,右手 MI 任务 y 为 0. 2郾 5 飞行器控制 被试者使用单一空闲 MI 起飞飞行器. 此后,半自 主导航子系统自动提供可行飞行方向与半自主避障. 若飞行器到达死路,其将自动旋转 180毅. 被试者需在 决策子系统中使用 MI 任务完成可行飞行方向选择 (左手 MI 为 “ 是冶 , 即 选 择 当 前 方 向; 右 手 MI 为 “否冶 ,即不选择当前方向) . 此过程中,飞行器悬停. 若被试者选择了某个方向,则该方向被设置为飞行 器后续自主飞行的方向. 前向飞行时,单一右手 MI 用于降落飞行器. 决策子系统每间隔 30 ms 发送前 向飞行指令. 若被试者未选择提供的可行飞行方向, 其必须完全通过执行 MI 任务控制飞行器( 左手 MI 为左旋转;右手 MI 为右旋转;空闲 MI 为前向飞行) . 此时,决策子系统每间隔 30 ms 发送前向飞行指令, 持续时间为 3 s. 若飞行器在后续 2 s 内未接收到任 何指令,其将悬停并等待. 被试者需要手动完成飞行 ·1264·
史添玮等：基于半自主导航与运动想象的多旋翼飞行器二维空间目标搜索 ·1265· 器降落 3目标搜索实验及结果分析 3.1实验过程 为验证该BCI系统的适应性与控制稳定性，10名 健康被试者参与了实际目标搜索实验.其中，4名男性 40cm一 -65cm- 与2名女性（年龄21.4±1.5岁）参加过Ml训练；2名 男性与2名女性（年龄21±1.7岁）未参加过MI训练. 40 cm 图6为环境俯视图与搜索目标示意图.搜索目标被悬 图6实验区域俯视图与搜索目标示意图 挂在墙上且位置对被试者未知.被试者预先并不熟悉 Fig.6 Top view of the environmental area and search target 该实验区域 不使用BCI系统完成实验，4名未参加过MI训练的被 目标搜索实验分为两部分：使用与不使用（对比 试者参与该部分实验.实验开始前，被试者双手持手 实验，使用手机控制)BCI系统完成目标搜索实验.对 机舒适地坐在扶手椅上放松1min,双眼与手机屏幕的 于使用BCI系统完成实验，10名被试者均参加该部分 间距为20cm.为保证被试者对实验区域存在陌生感， 实验.实验开始前，被试者穿戴电极帽舒适地坐在扶 该部分实验更换了标记“Start”与“Target'”的位置.图 手椅上放松5min,双眼与显示器的间距为50cm.对于 7为被试者完成目标搜索实验示意图. 图7被试者完成目标搜索实验示意图 Fig.7 Images of the subjects completing the experiments 3.2目标搜索实验结果分析 7~10的实验分为两部分.表1给出了比较结果（使用 图8(a)为参加过M训练的被试者(1~6)使用 “均值±标准偏差”表示.第一部分距离误差（距离误 BCI系统完成实验的俯视实际轨迹，其较平缓且集中 差1，单位cm),第二部分距离误差（距离误差2，单位 于实验区域的中心.其中，被试者4与5花费最少的 cm),第一部分旋转误差（旋转误差1，单位（°）)与第 时间与指令完成，仅被试者3在第一个交叉路口处出 二部分旋转误差（旋转误差2，单位(）).被试者在 现相对较大的偏移.这是由于被试者在方向选择时首 实验第二部分中具有较小的距离误差和旋转误差.与 先选择左转，然后又选择前向飞行. 实验第一部分相比，被试者在较短的时间内掌握了相 图8(b)为未参加过MI训练的被试者(7~10)使 关I任务，能更好的应用该BCI系统，尽管他们没有 用BCI系统完成实验的俯视实际轨迹.由于开始阶段 达到被试者1~6的控制精度，但是差异已很小，其验 被试者不熟悉MI任务，导致其未选择提供的可行飞 证该BCI系统具有良好的适应性 行方向而必须执行M任务控制飞行器，造成飞行器 针对使用BCI系统与手机两种不同控制方式，表 在沿直线飞行以及旋转过程中产生较大偏移，例如：从2给出实验对比结果（使用“平均值±标准偏差”表示， 标记“tat”至标记1与标记2之间的轨迹.与被试者 其中，B表示使用BCI系统，S表示使用手机.BCI系 1~6相比，他们花费了较多的时间以及指令数. 统距离误差（距离误差B,单位cm),BCI系统旋转误 图8(c)为被试者7~10使用手机完成实验的俯 差（旋转误差B,单位（°）)，手机控制距离误差（距离 视实际轨迹.由于重力感应设备参与飞行器控制，被 误差S,单位cm)与手机控制旋转误差（旋转误差S,单 试者的下意识动作可能触发飞行器左、右平移或高度 位()).表2表明，相对于手机控制方式，该BCI系 变化，因此，其适应性与控制稳定性较差，其验证该 统具有较小的距离误差与旋转误差，其验证该BCI系 BCI系统具有较好的控制稳定性. 统具有更好的控制稳定性. 为验证被试者是否已掌握该BCI系统及其适应 与文献[8]相比，由于该BCI系统融入了半自主 性，根据图8(b)轨迹以及完成实验的时间，将被试者 导航子系统，被试者无需长时间执行MI任务，减少了
史添玮等: 基于半自主导航与运动想象的多旋翼飞行器二维空间目标搜索 器降落. 3 目标搜索实验及结果分析 3郾 1 实验过程 为验证该 BCI 系统的适应性与控制稳定性,10 名 健康被试者参与了实际目标搜索实验. 其中,4 名男性 与 2 名女性(年龄 21郾 4 依 1郾 5 岁)参加过 MI 训练;2 名 男性与2 名女性(年龄21 依 1郾 7 岁)未参加过 MI 训练. 图 6 为环境俯视图与搜索目标示意图. 搜索目标被悬 挂在墙上且位置对被试者未知. 被试者预先并不熟悉 该实验区域. 目标搜索实验分为两部分:使用与不使用(对比 实验,使用手机控制)BCI 系统完成目标搜索实验. 对 于使用 BCI 系统完成实验,10 名被试者均参加该部分 实验. 实验开始前,被试者穿戴电极帽舒适地坐在扶 手椅上放松 5 min,双眼与显示器的间距为 50 cm. 对于 图 6 实验区域俯视图与搜索目标示意图 Fig. 6 Top view of the environmental area and search target 不使用 BCI 系统完成实验,4 名未参加过 MI 训练的被 试者参与该部分实验. 实验开始前,被试者双手持手 机舒适地坐在扶手椅上放松 1 min,双眼与手机屏幕的 间距为 20 cm. 为保证被试者对实验区域存在陌生感, 该部分实验更换了标记“ Start冶与“ Target冶的位置. 图 7 为被试者完成目标搜索实验示意图. 图 7 被试者完成目标搜索实验示意图 Fig. 7 Images of the subjects completing the experiments 3郾 2 目标搜索实验结果分析 图 8(a)为参加过 MI 训练的被试者(1 ~ 6)使用 BCI 系统完成实验的俯视实际轨迹,其较平缓且集中 于实验区域的中心. 其中,被试者 4 与 5 花费最少的 时间与指令完成,仅被试者 3 在第一个交叉路口处出 现相对较大的偏移. 这是由于被试者在方向选择时首 先选择左转,然后又选择前向飞行. 图 8(b)为未参加过 MI 训练的被试者(7 ~ 10)使 用 BCI 系统完成实验的俯视实际轨迹. 由于开始阶段 被试者不熟悉 MI 任务,导致其未选择提供的可行飞 行方向而必须执行 MI 任务控制飞行器,造成飞行器 在沿直线飞行以及旋转过程中产生较大偏移,例如:从 标记“Start冶至标记 1 与标记 2 之间的轨迹. 与被试者 1 ~ 6 相比,他们花费了较多的时间以及指令数. 图 8(c)为被试者 7 ~ 10 使用手机完成实验的俯 视实际轨迹. 由于重力感应设备参与飞行器控制,被 试者的下意识动作可能触发飞行器左、右平移或高度 变化,因此,其适应性与控制稳定性较差,其验证该 BCI 系统具有较好的控制稳定性. 为验证被试者是否已掌握该 BCI 系统及其适应 性,根据图 8(b)轨迹以及完成实验的时间,将被试者 7 ~ 10 的实验分为两部分. 表 1 给出了比较结果(使用 “均值 依 标准偏差冶表示. 第一部分距离误差(距离误 差 1,单位 cm),第二部分距离误差(距离误差 2,单位 cm),第一部分旋转误差(旋转误差 1,单位(毅)) 与第 二部分旋转误差(旋转误差 2,单位(毅))). 被试者在 实验第二部分中具有较小的距离误差和旋转误差. 与 实验第一部分相比,被试者在较短的时间内掌握了相 关 MI 任务,能更好的应用该 BCI 系统,尽管他们没有 达到被试者 1 ~ 6 的控制精度,但是差异已很小,其验 证该 BCI 系统具有良好的适应性. 针对使用 BCI 系统与手机两种不同控制方式,表 2 给出实验对比结果(使用“平均值 依 标准偏差冶表示, 其中,B 表示使用 BCI 系统,S 表示使用手机. BCI 系 统距离误差(距离误差 B,单位 cm),BCI 系统旋转误 差(旋转误差 B,单位(毅)),手机控制距离误差(距离 误差 S,单位 cm)与手机控制旋转误差(旋转误差 S,单 位(毅))). 表 2 表明, 相对于手机控制方式,该 BCI 系 统具有较小的距离误差与旋转误差,其验证该 BCI 系 统具有更好的控制稳定性. 与文献[8] 相比,由于该 BCI 系统融入了半自主 导航子系统,被试者无需长时间执行MI任务,减少了 ·1265·
·1266· 工程科学学报，第39卷，第8期 (a） Target 被试者1 被试者2 被试者3 被试者 被试者5 被试者6 b 被试者7 被试者8 被试者9 被试者10 Stat● ,被试者7 被试者8 被试者9 arge 被试者10 图8实际轨迹俯视图.(a)被试者1~6：(b)被试者7~10使用BCI系统：(c)被试者7~10未使用BCI系统 Fig.8 Top view of the actual trajectories:(a)subjects 1-6;(b)subjects 7-10 using the BCI system;(c)subjects 7-10 without using the BCI system 表1被试者7~10实验比较结果 Table 1 Comparison results of the experiments for subjects7-10 被试者 距离误差1/cm 距离误差2/cm 旋转误差1/（°） 旋转误差2/（°） 7 9.91±4.3 6.79±2.1 10.21±4.3 7.17±2.1 8 9.32±3.6 6.26±1.9 10.07±4.2 6.17±2.0 9 13.21±4.1 7.61±2.0 11.81±4.1 9.01±2.2 10 11.25±3.5 7.23±2.0 12.49±4.1 9.19±2.1
工程科学学报,第 39 卷,第 8 期 图 8 实际轨迹俯视图 郾 (a) 被试者 1 ~ 6; (b) 被试者 7 ~ 10 使用 BCI 系统; (c) 被试者 7 ~ 10 未使用 BCI 系统 Fig. 8 Top view of the actual trajectories: (a) subjects 1鄄鄄6; (b) subjects 7鄄鄄10 using the BCI system; (c) subjects 7鄄鄄10 without using the BCI system 表 1 被试者 7 ~ 10 实验比较结果 Table 1 Comparison results of the experiments for subjects 7鄄鄄10 被试者 距离误差 1 / cm 距离误差 2 / cm 旋转误差 1 / (毅) 旋转误差 2 / (毅) 7 9郾 91 依 4郾 3 6郾 79 依 2郾 1 10郾 21 依 4郾 3 7郾 17 依 2郾 1 8 9郾 32 依 3郾 6 6郾 26 依 1郾 9 10郾 07 依 4郾 2 6郾 17 依 2郾 0 9 13郾 21 依 4郾 1 7郾 61 依 2郾 0 11郾 81 依 4郾 1 9郾 01 依 2郾 2 10 11郾 25 依 3郾 5 7郾 23 依 2郾 0 12郾 49 依 4郾 1 9郾 19 依 2郾 1 ·1266·
史添玮等：基于半自主导航与运动想象的多旋翼飞行器二维空间目标搜索 ·1267· 表2两种控制方式稳定性对比结果 Table 2 Stability comparison results of two control modes 被试者 距离误差B/cm 距离误差S/cm 旋转误差B/cm 旋转误差S/cm 7 8.35±3.2 14.37±4.4 8.69±2.9 12.41±4.1 8 7.79±2.8 13.62±3.9 8.12±2.8 13.25±4.7 9 10.42±3.1 16.28±4.2 10.41±3.1 15.31±4.6 10 9.24±3.3 13.21±3.7 10.84±3.0 15.42±4.7 被试者的负担，降低控制难度，从而控制精度约提高± 2014,41:27 10cm.表3为10名被试者使用提出的BCI系统与文 [3] Garcia-Laencina P J,Rodriguez-Bermudez G,Roca-Dorda J.Ex- 献[8]方法的控制精度对比结果（使用“平均值±标 ploring dimensionality reduction of EEG features in motor imagery 准偏差”表示.BCI系统距离误差（距离误差B,单位 task classification.Expert Syst Appl,2014,41(11):5285 [4] Zhang Y.Luo M W,Luo Y,et al.Intelligence wheelchair hu- cm),BCI系统旋转误差（旋转误差B,单位（°）)，文献 man-machine interaction using a/B wave of EEG.J Huazhong [8]距离误差（对比距离误差，单位cm)与文献[8]旋 Univ Sci Technol Nat Sci Ed,2013,41(7):109 转误差（对比旋转误差，单位(）) (张毅，罗明伟，罗元，等.基于脑电/B波的智能轮椅人机 交互.华中科技大学学报（自然科学版），2013,41(7)：109) 表3两种控制方式稳定性对比结果 Table 3 Comparison results of control accuracy [5]Feng W,Wei Q G.A brain-computer interface book reader based on SSVEP.Sci Technol Eng,2015,15(35):204 距离误差 对比距离 旋转误差 对比旋转 (冯思维，魏庆国.一种基于稳态视觉诱发电位的脑-机接口 B/cm 误差/cm B/(°) 误差/（°） 阅读系统.科学技术与工程，2015,15(35)：204) 8.35±3.2 14.37±4.4 8.69±2.9 12.41±4.1 [6] Velasco-Alvarez F,Ron-Angevin R,da Silva-Sauer L,et al.Au- 6.71±2.2 17.91±4.5 6.98±2.3 14.12±3.9 dio-cued motor imagery-based brain-computer interface:navigation through virtual and real environments.Neurocomputing,2013. 4结论 121:89 [7]Elnady A M,Zhang X,Xiao Z G,et al.A single-session prelimi- (1)未参加过训练的被试者，能在较短时间内掌 nary evaluation of an affordable BCI-controlled arm exoskeleton 握MI任务，更好的适应该BCI系统，与参加过训练的 and motor-proprioception platform.Frontiers Human Neurosci, 2015,9:168 被试者差异较小，验证该BCI系统具有良好的适应性. [8]Kim B H,Kim M,Jo S.Quadcopter flight control using a low-cost (2)半自主导航子系统为决策子系统提供可行飞 hybrid interface with EEG-based classification and eye tracking. 行方向并实现飞行器半自主避障，相比于文献[8]使 Comput Biol Med,2014,51:82 用方法，其显著减少了控制指令与被试者负担，明显提 [9]Wang H,Li C S.Liu C.Bio-Mechatronics Engineering.Beijing: 高控制精度，验证该BCI系统具有良好的控制稳定性. Higher Education Press,2014 (3)与手机控制方式相比，该BCI系统可实现多 (王宏，李春胜，刘冲。生物机械电子工程.北京：高等教育 出版社，2014) 旋翼飞行器在含有静态障碍物的室内二维空间目标搜 [10]Li W,He Q C,Fan X M,et al.Evaluation of driver fatigue on 索，且具有更好的适应性与控制稳定性. two channels of EEG data.Neurosci Let,2012.506(2):235 (4)该BCI系统为实现多旋翼飞行器在含有动态 [11]Wang Y K,Chen S A,Li C T.An EEG-based brain-computer 障碍物的室内三维空间目标搜索奠定基础. interface for dual task driving detection.Neurocomputing,2014, 129:85 参考文献 [12]Stock M G,Akita M,Krehbiel P R,et al.Continuous broad- band digital interferometry of lightning using a generalized cross- [1]Grzonka Grisetti G.Burgard W.A fully autonomous indoor correlation algorithm.J Geophysical Res Atmospheres,2014,119 quadrotor.IEEE Trans Rob,2012,28(1):90 (6):3134 [2]Tuna G,Nefzi B,Conte G.Unmanned aerial vehicle-aided com- [13]Lliff K W.Maximum likelihood estimation of lift and drag from munications system for disaster recovery.I Nettork Comput Appl, dynamic aireraft maneuvers.J Aircraf,1977,14(12):1175
史添玮等: 基于半自主导航与运动想象的多旋翼飞行器二维空间目标搜索 表 2 两种控制方式稳定性对比结果 Table 2 Stability comparison results of two control modes 被试者 距离误差 B/ cm 距离误差 S / cm 旋转误差 B/ cm 旋转误差 S / cm 7 8郾 35 依 3郾 2 14郾 37 依 4郾 4 8郾 69 依 2郾 9 12郾 41 依 4郾 1 8 7郾 79 依 2郾 8 13郾 62 依 3郾 9 8郾 12 依 2郾 8 13郾 25 依 4郾 7 9 10郾 42 依 3郾 1 16郾 28 依 4郾 2 10郾 41 依 3郾 1 15郾 31 依 4郾 6 10 9郾 24 依 3郾 3 13郾 21 依 3郾 7 10郾 84 依 3郾 0 15郾 42 依 4郾 7 被试者的负担,降低控制难度,从而控制精度约提高 依 10 cm. 表 3 为 10 名被试者使用提出的 BCI 系统与文 献[8]方法的控制精度对比结果(使用“平均值 依 标 准偏差冶表示. BCI 系统距离误差(距离误差 B,单位 cm),BCI 系统旋转误差(旋转误差 B,单位(毅)),文献 [8]距离误差(对比距离误差,单位 cm)与文献[8]旋 转误差(对比旋转误差,单位(毅)). 表 3 两种控制方式稳定性对比结果 Table 3 Comparison results of control accuracy 距离误差 B/ cm 对比距离 误差/ cm 旋转误差 B/ (毅) 对比旋转 误差/ (毅) 8郾 35 依 3郾 2 14郾 37 依 4郾 4 8郾 69 依 2郾 9 12郾 41 依 4郾 1 6郾 71 依 2郾 2 17郾 91 依 4郾 5 6郾 98 依 2郾 3 14郾 12 依 3郾 9 4 结论 (1)未参加过训练的被试者,能在较短时间内掌 握 MI 任务,更好的适应该 BCI 系统,与参加过训练的 被试者差异较小,验证该 BCI 系统具有良好的适应性. (2)半自主导航子系统为决策子系统提供可行飞 行方向并实现飞行器半自主避障,相比于文献[8] 使 用方法,其显著减少了控制指令与被试者负担,明显提 高控制精度,验证该 BCI 系统具有良好的控制稳定性. (3)与手机控制方式相比,该 BCI 系统可实现多 旋翼飞行器在含有静态障碍物的室内二维空间目标搜 索,且具有更好的适应性与控制稳定性. (4)该 BCI 系统为实现多旋翼飞行器在含有动态 障碍物的室内三维空间目标搜索奠定基础. 参 考 文 献 [1] Grzonka S, Grisetti G, Burgard W. A fully autonomous indoor quadrotor. IEEE Trans Rob, 2012, 28(1): 90 [2] Tuna G, Nefzi B, Conte G. Unmanned aerial vehicle鄄aided com鄄 munications system for disaster recovery. J Network Comput Appl, 2014, 41: 27 [3] Garc侏a鄄Laencina P J, Rodr侏guez鄄Bermudez G, Roca鄄Dorda J. Ex鄄 ploring dimensionality reduction of EEG features in motor imagery task classification. Expert Syst Appl, 2014, 41(11): 5285 [4] Zhang Y, Luo M W, Luo Y, et al. Intelligence wheelchair hu鄄 man鄄machine interaction using 琢/ 茁 wave of EEG. J Huazhong Univ Sci Technol Nat Sci Ed, 2013, 41(7): 109 (张毅, 罗明伟, 罗元, 等. 基于脑电 琢/ 茁 波的智能轮椅人机 交互. 华中科技大学学报(自然科学版), 2013, 41(7): 109) [5] Feng S W, Wei Q G. A brain鄄computer interface book reader based on SSVEP. Sci Technol Eng, 2015, 15(35): 204 (冯思维, 魏庆国. 一种基于稳态视觉诱发电位的脑鄄鄄机接口 阅读系统. 科学技术与工程, 2015, 15(35): 204) [6] Velasco鄄魣lvarez F, Ron鄄Angevin R, da Silva鄄Sauer L, et al. Au鄄 dio鄄cued motor imagery鄄based brain鄄computer interface: navigation through virtual and real environments. Neurocomputing, 2013, 121: 89 [7] Elnady A M, Zhang X, Xiao Z G, et al. A single鄄session prelimi鄄 nary evaluation of an affordable BCI鄄controlled arm exoskeleton and motor鄄proprioception platform. Frontiers Human Neurosci, 2015, 9: 168 [8] Kim B H, Kim M, Jo S. Quadcopter flight control using a low鄄cost hybrid interface with EEG鄄based classification and eye tracking. Comput Biol Med, 2014, 51: 82 [9] Wang H, Li C S, Liu C. Bio鄄Mechatronics Engineering. Beijing: Higher Education Press, 2014 (王宏, 李春胜, 刘冲. 生物机械电子工程. 北京: 高等教育 出版社, 2014) [10] Li W, He Q C, Fan X M, et al. Evaluation of driver fatigue on two channels of EEG data. Neurosci Lett, 2012, 506(2): 235 [11] Wang Y K, Chen S A, Li C T. An EEG鄄based brain鄄computer interface for dual task driving detection. Neurocomputing, 2014, 129: 85 [12] Stock M G, Akita M, Krehbiel P R, et al. Continuous broad鄄 band digital interferometry of lightning using a generalized cross鄄 correlation algorithm. J Geophysical Res Atmospheres, 2014, 119 (6): 3134 [13] Lliff K W. Maximum likelihood estimation of lift and drag from dynamic aircraft maneuvers. J Aircraft, 1977, 14(12): 1175 ·1267·
