基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法

工程科学学报 Chinese Journal of Engineering 基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 许越凡肖文栋曹征涛 Ensemble extreme learning machine approach for heartbeat classification by fusing Id convolutional and handerafted features XU Yue-fan.XIAO Wen-dong,CAO Zheng-tao 引用本文： 许越凡，肖文栋，曹征涛.基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法[J.工程科学学报，2021， 43(9):1224-1232.doi:10.13374.issn2095-9389.2021.01.12.005 XU Yue-fan,XIAO Wen-dong,CAO Zheng-tao.Ensemble extreme learning machine approach for heartbeat classification by fusing 1d convolutional and handcrafted features[J].Chinese Journal of Engineering,2021,43(9):1224-1232.doi:10.13374/j.issn2095- 9389.2021.01.12.005 在线阅读View online::htps/ldoi.org10.13374/.issn2095-9389.2021.01.12.005 您可能感兴趣的其他文章 Articles you may be interested in 一维卷积神经网络特征提取下微震能级时序预测 Time series prediction of microseismic energy level based on feature extraction of one-dimensional convolutional neural network 工程科学学报.2021,43(7)：1003 https:doi.org10.13374.issn2095-9389.2020.11.22.001 基于极限学习机ELM的连俦坯质量预测 Quality prediction of the continuous casting bloom based on the extreme learning machine 工程科学学报.2018,40(7)：815htps:doi.org/10.13374j.issn2095-9389.2018.07.007 基于集成神经网络的剩余寿命预测 Remaining useful life prediction based on an integrated neural network 工程科学学报.2020,42(10：1372 https::1doi.org/10.13374j.issn2095-9389.2019.10.10.005 基于卷积神经网络的反无人机系统声音识别方法 Sound recognition method of an anti-UAV system based on a convolutional neural network 工程科学学报.2020,42(11：1516htps:1doi.org10.13374.issn2095-9389.2020.06.30.008 基于支持向量回归与极限学习机的高炉铁水温度预测 Prediction of blast furnace hot metal temperature based on support vector regression and extreme learning machine 工程科学学报.2021,43(4：569 https:doi.org10.13374.issn2095-9389.2020.05.28.001 卷积神经网络在矿区预测中的研究与应用 Research and application of convolutional neural network in mining area prediction 工程科学学报.2020,42(12：1597htps:/doi.org/10.13374.issn2095-9389.2020.01.02.001

基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 许越凡 肖文栋 曹征涛 Ensemble extreme learning machine approach for heartbeat classification by fusing 1d convolutional and handcrafted features XU Yue-fan, XIAO Wen-dong, CAO Zheng-tao 引用本文: 许越凡, 肖文栋, 曹征涛. 基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法[J]. 工程科学学报, 2021, 43(9): 1224-1232. doi: 10.13374/j.issn2095-9389.2021.01.12.005 XU Yue-fan, XIAO Wen-dong, CAO Zheng-tao. Ensemble extreme learning machine approach for heartbeat classification by fusing 1d convolutional and handcrafted features[J]. Chinese Journal of Engineering, 2021, 43(9): 1224-1232. doi: 10.13374/j.issn2095- 9389.2021.01.12.005 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2021.01.12.005 您可能感兴趣的其他文章 Articles you may be interested in 一维卷积神经网络特征提取下微震能级时序预测 Time series prediction of microseismic energy level based on feature extraction of one-dimensional convolutional neural network 工程科学学报. 2021, 43(7): 1003 https://doi.org/10.13374/j.issn2095-9389.2020.11.22.001 基于极限学习机(ELM)的连铸坯质量预测 Quality prediction of the continuous casting bloom based on the extreme learning machine 工程科学学报. 2018, 40(7): 815 https://doi.org/10.13374/j.issn2095-9389.2018.07.007 基于集成神经网络的剩余寿命预测 Remaining useful life prediction based on an integrated neural network 工程科学学报. 2020, 42(10): 1372 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.005 基于卷积神经网络的反无人机系统声音识别方法 Sound recognition method of an anti-UAV system based on a convolutional neural network 工程科学学报. 2020, 42(11): 1516 https://doi.org/10.13374/j.issn2095-9389.2020.06.30.008 基于支持向量回归与极限学习机的高炉铁水温度预测 Prediction of blast furnace hot metal temperature based on support vector regression and extreme learning machine 工程科学学报. 2021, 43(4): 569 https://doi.org/10.13374/j.issn2095-9389.2020.05.28.001 卷积神经网络在矿区预测中的研究与应用 Research and application of convolutional neural network in mining area prediction 工程科学学报. 2020, 42(12): 1597 https://doi.org/10.13374/j.issn2095-9389.2020.01.02.001

工程科学学报.第43卷.第9期：1224-1232.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1224-1232,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.005;http://cje.ustb.edu.cn 基于一维卷积特征与手工特征融合的集成超限学习机 心跳分类方法 许越凡12)，肖文栋12,3)，曹征涛4区 1)北京科技大学自动化学院，北京1000832)北京市工业波谱成像工程技术研究中心，北京1000833)北京科技大学顺德研究生院，顺 德5283994)空军特色医学中心，北京100142 ☒通信作者，E-mail:czhengtao@126.com 摘要融合手工特征和深度特征，提出了一种集成超限学习机心跳分类方法.手工提取的特征明确地表征了心电信号的特 定特性，如相邻心跳时间间隔反映了心跳信号的时域特性，小波系数反映了心跳信号的时频特性.同时设计了一维卷积神经 网络对心跳信号特征进行自动提取.基于超限学习机(Extreme leaning machine,ELM),将上述特征融合进行心跳分类.，由于 ELM初始参数的随机给定可能导致其性能不稳定，进一步提出了一种基于袋装(Bagging)策略的多个ELM集成方法，使分类 结果更加稳定且模型泛化能力更强.利用麻省理工心律失常公开数据集对所提方法进行了验证，分类准确率达到了99.02%， 实验结果也表明基于融合特征的分类准确率高于基于单独特征的分类准确率. 关键词心跳分类：特征融合：一维卷积神经网络：小波变换：集成超限学习机 分类号TP182 Ensemble extreme learning machine approach for heartbeat classification by fusing 1d convolutional and handcrafted features XU Yue-fan2).XIAO Wen-dong2),CAO Zheng-lao 1)School of Automation Electrical Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)Beijing Engineering Research Center of Industrial Spectrum Imaging,Beijing 100083,China 3)Shunde Graduate School,University of Science and Technology Beijing,Shunde 528399,China 4)Air Force Medical Center,PLA,Beijing 100142,China Corresponding author,E-mail:czhengtao@126.com ABSTRACT Arrhythmia is a common cardiovascular disease whose occurrence is mainly related to two factors:cardiac pacing and conduction.Some severe arrhythmias can even threaten human life.An electrocardiogram (ECG)records the changes in electrical activity generated during each cardiac cycle of the heart,which can reflect the human cardiac health status and help diagnose arrhythmias.However,because of the brevity of conventional ECGs,arrhythmias,which occasionally occur in daily life,cannot be detected easily.Automatic ECG analysis-based long-term heartbeat monitoring is of great significance for the effective detection of accidental arrhythmias and then for taking indispensable measures to prevent cardiovascular diseases in time.An ensemble extreme learning machine (ELM)approach for heartbeat classification that fuses handcrafted features and deep features was proposed.The manually extracted features clearly characterize the heartbeat signal,where RR interval features reflect the time-domain characteristic, and the wavelet coefficient features reflect the time-frequency characteristic.A 1D convolutional neural network (1D CNN)was 收稿日期：2021-01-12 基金项目：国家重点研发计划课题资助项目(2017YFB1401203):佛山市科技创新专项资金资助项目(BK20AF005)

基于一维卷积特征与手工特征融合的集成超限学习机 心跳分类方法 许越凡1,2)，肖文栋1,2,3)，曹征涛4) 苣 1) 北京科技大学自动化学院，北京 100083    2) 北京市工业波谱成像工程技术研究中心，北京 100083    3) 北京科技大学顺德研究生院，顺 德 528399    4) 空军特色医学中心，北京 100142 苣通信作者，E-mail: czhengtao@126.com 摘    要    融合手工特征和深度特征，提出了一种集成超限学习机心跳分类方法. 手工提取的特征明确地表征了心电信号的特 定特性，如相邻心跳时间间隔反映了心跳信号的时域特性，小波系数反映了心跳信号的时频特性. 同时设计了一维卷积神经 网络对心跳信号特征进行自动提取. 基于超限学习机（Extreme leaning machine，ELM），将上述特征融合进行心跳分类. 由于 ELM 初始参数的随机给定可能导致其性能不稳定，进一步提出了一种基于袋装（Bagging）策略的多个 ELM 集成方法，使分类 结果更加稳定且模型泛化能力更强. 利用麻省理工心律失常公开数据集对所提方法进行了验证，分类准确率达到了 99.02%， 实验结果也表明基于融合特征的分类准确率高于基于单独特征的分类准确率. 关键词    心跳分类；特征融合；一维卷积神经网络；小波变换；集成超限学习机 分类号    TP182 Ensemble extreme learning machine approach for heartbeat classification by fusing 1d convolutional and handcrafted features XU Yue-fan1,2) ，XIAO Wen-dong1,2,3) ，CAO Zheng-tao4) 苣 1) School of Automation & Electrical Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Beijing Engineering Research Center of Industrial Spectrum Imaging, Beijing 100083, China 3) Shunde Graduate School, University of Science and Technology Beijing, Shunde 528399, China 4) Air Force Medical Center, PLA, Beijing 100142, China 苣 Corresponding author, E-mail: czhengtao@126.com ABSTRACT    Arrhythmia is a common cardiovascular disease whose occurrence is mainly related to two factors: cardiac pacing and conduction.  Some  severe  arrhythmias  can  even  threaten  human  life.  An  electrocardiogram  (ECG)  records  the  changes  in  electrical activity  generated  during  each  cardiac  cycle  of  the  heart,  which  can  reflect  the  human  cardiac  health  status  and  help  diagnose arrhythmias.  However,  because  of  the  brevity  of  conventional  ECGs,  arrhythmias,  which  occasionally  occur  in  daily  life,  cannot  be detected  easily.  Automatic  ECG  analysis-based  long-term  heartbeat  monitoring  is  of  great  significance  for  the  effective  detection  of accidental  arrhythmias  and  then  for  taking  indispensable  measures  to  prevent  cardiovascular  diseases  in  time.  An  ensemble  extreme learning  machine  (ELM)  approach  for  heartbeat  classification  that  fuses  handcrafted  features  and  deep  features  was  proposed.  The manually extracted features clearly characterize the heartbeat signal, where RR interval features reflect the time-domain characteristic, and  the  wavelet  coefficient  features  reflect  the  time –frequency  characteristic.  A  1D  convolutional  neural  network  (1D  CNN)  was 收稿日期: 2021−01−12 基金项目: 国家重点研发计划课题资助项目（2017YFB1401203）；佛山市科技创新专项资金资助项目（BK20AF005） 工程科学学报，第 43 卷，第 9 期：1224−1232，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1224−1232, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.005; http://cje.ustb.edu.cn

许越凡等：基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 1225· designed to automatically extract deep features for heartbeat signals.These features were fused by an ELM for heartbeat classification. Because of the instability caused by the random assignment of ELM hidden layer parameters,the bagging ensemble strategy was introduced to integrate multiple ELMs to achieve stable classification performance and good generalization ability.The proposed approach was validated on the MIT-BIH arrhythmia public dataset.The classification accuracy reaches 99.02%,and the experimental results show that the performance of the proposed approach with fused features is better than those with only deep features and only handcrafted features. KEY WORDS heartbeat classification:feature fusion:ID convolutional neural network:wavelet transform:ensemble extreme learning machine 心律失常是由心脏电脉冲的频率、规律性、起 数据可直接输入到CNN中，利用CNN的逐层卷 搏位置或者传导的紊乱引起的四严重的心律失常 积操作，提取深层的特征，形成原始信号的抽象 甚至会威胁人类的生命.心电图(Electrocardiogram, 表示19 ECG)记录了人体心脏每一个心动周期所产生的 对于分类任务，往往通过在CNN网络最后一 电活动变化，是医生诊断心律失常的重要依据.由 层增加softmax层实现.CNN网络参数的训练一 于心律失常种类繁多，表现复杂，识别心律失常往 般采用反向传播(Back propagation,.BP)算法.但 往需要有丰富经验的医生.而且，常规的心电图检 是，该算法容易陷入局部最优，且非常耗时.为解 查仅仅持续几分钟，一些偶然发生的不规则心律 决上述问题，超限学习机(Extreme leaning machine, 失常并不能被检查出来.例如心源性猝死这种心 ELM)被提出，ELM是一种单隐含层前馈神经网 血管病，从发病到死亡持续时间短，基于传统的常 Single hidden layer feedforward neural network, 规心电图检查方式缺乏实时性，往往会耽误病人 SLFN),其中隐含层参数是随机生成的，不需要调 最好的治疗时间 整，而输出参数通过最小二乘法解析得到0因 动态心电图监测仪(Holter),是由Norman J. 此，其训练速度相比于BP算法是很快的.同时， Holter于1949年发明的可穿戴设备，它能够连续 ELM具有万能逼近能力，也就是说，随着隐含层节 监测病人日常生活中24h甚至更长时间的心脏电 点数的增加，网络能够以无限小的误差逼近非线 活动，这种长时程的记录有助于监测偶然发生的 性函数叫 心律失常.因此，基于动态心电图的自动心律失常 现有的心律失常分类方法往往只单独考虑手 分类方法对于及时发现和预防心血管疾病有着重 工提取的特征或者深度学习自动提取的特征，而 要的意义 融合深度卷积网络自动提取的特征和手工提取的 影响心电信号自动分类系统性能主要有两个 特征对心跳信号的表示更全面，并能产生更好的 因素，一是心电信号特征的提取，二是分类器的选 分类性能.为此，本文提出了一种融合手工特征和 择.特征提取的质量对心跳分类性能具有至关重 深度特征的集成超限学习机心跳分类方法.我们 要的影响，提取的特征对于不同类别的心律失常 设计了一种针对心跳信号分类的一维CNN结构， 应具有更好的离散性，而对同类心律失常具有相 利用其多层卷积操作提取了心电信号的深层特 似性.传统的心律失常分类方法使用手工提取的 征.另外又手工提取了心跳信号的特征，包括RR 特征，其特征是可解释的.之前的文献针对心电信 间期特征与小波系数特征.然后，我们融合这些特 号已经提取了各种各样的特征，包括相邻心跳时 征并将其作为ELM的输入，进行分类.为了弥补 间间隔特征(RR Intervals)P-引、形态学特征、小波 ELM随机生成参数而导致的分类结果不稳定的缺 特征5-6、高斯混合模型特征)和高阶统计量1等 陷，我们使用Bagging方法对多个ELM分类器进 对于心律失常分类任务，支持向量机四、k近邻© 行集成，得到更好的分类结果 等分类器已经被使用 1基本算法 近年来，由于自动提取特征的优势，学者们广 泛研究了卷积神经网络(Convolutional neural 11卷积神经网络 network,CNN),提出了各种不同结构的CNN-l, CNN是一类包含卷积计算且具有深度结构的 并成功应用于不同领域，包括人脸识别1切、语义 前馈神经网络，是深度学习的代表算法之一，不同 分割等.这种方法的特点是，具有原始结构的 维度的输入数据能够用不同类型的卷积来进行操

designed to automatically extract deep features for heartbeat signals. These features were fused by an ELM for heartbeat classification. Because  of  the  instability  caused  by  the  random  assignment  of  ELM  hidden  layer  parameters,  the  bagging  ensemble  strategy  was introduced  to  integrate  multiple  ELMs  to  achieve  stable  classification  performance  and  good  generalization  ability.  The  proposed approach was validated on the MIT-BIH arrhythmia public dataset. The classification accuracy reaches 99.02%, and the experimental results show that the performance of the proposed approach with fused features is better than those with only deep features and only handcrafted features. KEY  WORDS    heartbeat  classification； feature  fusion； 1D  convolutional  neural  network； wavelet  transform； ensemble  extreme learning machine 心律失常是由心脏电脉冲的频率、规律性、起 搏位置或者传导的紊乱引起的[1] . 严重的心律失常 甚至会威胁人类的生命. 心电图（Electrocardiogram, ECG）记录了人体心脏每一个心动周期所产生的 电活动变化，是医生诊断心律失常的重要依据. 由 于心律失常种类繁多，表现复杂，识别心律失常往 往需要有丰富经验的医生. 而且，常规的心电图检 查仅仅持续几分钟，一些偶然发生的不规则心律 失常并不能被检查出来. 例如心源性猝死这种心 血管病，从发病到死亡持续时间短，基于传统的常 规心电图检查方式缺乏实时性，往往会耽误病人 最好的治疗时间. 动态心电图监测仪（ Holter），是由 Norman J. Holter 于 1949 年发明的可穿戴设备，它能够连续 监测病人日常生活中 24 h 甚至更长时间的心脏电 活动，这种长时程的记录有助于监测偶然发生的 心律失常. 因此，基于动态心电图的自动心律失常 分类方法对于及时发现和预防心血管疾病有着重 要的意义. 影响心电信号自动分类系统性能主要有两个 因素，一是心电信号特征的提取，二是分类器的选 择. 特征提取的质量对心跳分类性能具有至关重 要的影响，提取的特征对于不同类别的心律失常 应具有更好的离散性，而对同类心律失常具有相 似性. 传统的心律失常分类方法使用手工提取的 特征，其特征是可解释的. 之前的文献针对心电信 号已经提取了各种各样的特征，包括相邻心跳时 间间隔特征（RR Intervals） [2−3]、形态学特征[4]、小波 特征[5−6]、高斯混合模型特征[7] 和高阶统计量[8] 等. 对于心律失常分类任务，支持向量机[9]、k 近邻[10] 等分类器已经被使用. 近年来，由于自动提取特征的优势，学者们广 泛 研 究 了 卷 积 神 经 网 络 （ Convolutional  neural network，CNN），提出了各种不同结构的 CNN[11−14] ， 并成功应用于不同领域，包括人脸识别[15−17]、语义 分割[18] 等. 这种方法的特点是，具有原始结构的 数据可直接输入到 CNN 中，利用 CNN 的逐层卷 积操作，提取深层的特征，形成原始信号的抽象 表示[19] . 对于分类任务，往往通过在 CNN 网络最后一 层增加 softmax 层实现. CNN 网络参数的训练一 般采用反向传播（Back propagation，BP）算法. 但 是，该算法容易陷入局部最优，且非常耗时. 为解 决上述问题，超限学习机（Extreme leaning machine， ELM）被提出. ELM 是一种单隐含层前馈神经网 络 （ Single  hidden  layer  feedforward  neural  network， SLFN），其中隐含层参数是随机生成的，不需要调 整，而输出参数通过最小二乘法解析得到[20] . 因 此，其训练速度相比于 BP 算法是很快的. 同时， ELM 具有万能逼近能力，也就是说，随着隐含层节 点数的增加，网络能够以无限小的误差逼近非线 性函数[21] . 现有的心律失常分类方法往往只单独考虑手 工提取的特征或者深度学习自动提取的特征，而 融合深度卷积网络自动提取的特征和手工提取的 特征对心跳信号的表示更全面，并能产生更好的 分类性能. 为此，本文提出了一种融合手工特征和 深度特征的集成超限学习机心跳分类方法. 我们 设计了一种针对心跳信号分类的一维 CNN 结构， 利用其多层卷积操作提取了心电信号的深层特 征. 另外又手工提取了心跳信号的特征，包括 RR 间期特征与小波系数特征. 然后，我们融合这些特 征并将其作为 ELM 的输入，进行分类. 为了弥补 ELM 随机生成参数而导致的分类结果不稳定的缺 陷，我们使用 Bagging 方法对多个 ELM 分类器进 行集成，得到更好的分类结果. 1    基本算法 1.1    卷积神经网络 CNN 是一类包含卷积计算且具有深度结构的 前馈神经网络，是深度学习的代表算法之一. 不同 维度的输入数据能够用不同类型的卷积来进行操 许越凡等： 基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 · 1225 ·

·1226 工程科学学报，第43卷，第9期 作.二维卷积神经网络(2DCNN)由于其出色的自 动特征提取功能已经成功应用于图像分类2-2] 为了同时从空间和时间维度提取特征，针对三 维监控视频数据的三维卷积神经网络(3DCNN) i 被提出用来进行人类动作识别在我们的研 (a,b) 究中，心跳信号本质上是一维信号，为了避免从 一维到二维的转换，保留数据的原始结构，我们设 计了一种针对心跳信号的一维卷积神经网络(1D CNN). Input layer Hidden layer Output layer 在ID CNN中，卷积层的一维卷积操作用来从 图1ELM的基本结构 局部邻域提取特征.特征映射的实现过程是由卷 Fig.1 Basic structure of an extreme learning machine(ELM) 积核扫描其输入，然后将其结果存储到相应的特 分布随机生成，那么隐含层输出矩阵H可以由如 征映射的位置，卷积核大小相对于前一层的特征 下公式计算得到 映射往往较小，而且卷积层会有多个卷积核，每一 g(a1"x1+b1)·g(aL·x1+bL) 个都有不同的参数，这样可以提取多个局部特征， H= (2) 组成一系列的特征映射.假设在第i层的第j个特 g(a1…xN+b1)· 8(aL-XN+bL) INXL 征映射，在位置1的单元的值表示为其由下式 其中，g)为激活函数，a和b:为隐含层中第i个节 计算 点的参数.原始数据从输入层到隐含层的传播实 D ReLU (1) 际上是将数据从n维空间映射到了L维空间.隐 ==0 含层输出矩阵和网络输出矩阵之间的关系写成矩 其中，ReLU()为线性整流单元(Rectified linear 阵形式为 unit);bj为对于第j个特征映射的偏置；D为第 HB=T (3) i-1)层的通道数；d为通道的序号；wm为第i层 其中， 第j个特征映射的卷积核在位置s处的值，且该卷 积核连接到第-1)层的第m个特征映射；S;为卷 B 、 BLI .. BLm ILxm INI ..INm INxm 积核的大小 (4) 在卷积神经网络的子采样层中，特征映射的 在实际中训练数据的数量与隐含层节点数量 大小由对上一个卷积层的特征映射的局部邻域进 往往不相等，也就是说，隐含层输出矩阵H并不是 行池化而减少.CNN结构通过多个卷积和子采样 一个方阵，因此等式(3)的最小二乘解不唯一 堆叠而成 Bartlett指出，对于前馈神经网络，网络权重越小， 1.2超限学习机 该网络的泛化性能越好阿因此，输出参数β的最 ELM是一个具有单隐含层的前馈神经网络， 小范数的最小二乘解为 它包含输入层、隐含层、输出层共三层，其基本结 构如图1所示.ELM隐含层参数是随机生成的，输 A-HT (5) 出层参数基于最小二乘法解析得到.这种训练方 其中，H为H的Moore--Penrose广义逆矩阵 式是免迭代的，避免了常规反向传播训练会陷入 为了避免病态问题，根据岭回归理论，添加一 局部最优的缺点.黄广斌等)证明了ELM具有万 个正数C到矩阵HTH或者HHT的对角线可解决 能逼近能力.具体地，给定任何有界非常数的分段 这样，ELM的求解问题变为 连续激活函数，一个隐含层参数随机生成的网络， Minimize :=C (6) 仅仅通过调整其输出参数就能够以任意小的误差 逼近目标函数 然后，对B求偏导，并让其等于零，那么ELM的 假定我们有N个已标注的样本，其中 输出参数即可由下式求得 i=1,2,…,N且x:∈R”.对于有L个隐含层神经元的 (7) 广义SLFN,由于隐含层参数是根据任意连续概率

作. 二维卷积神经网络（2D CNN）由于其出色的自 动特征提取功能已经成功应用于图像分类[22−23] . 为了同时从空间和时间维度提取特征，针对三 维监控视频数据的三维卷积神经网络（3D CNN） 被提出用来进行人类动作识别[24] . 在我们的研 究中，心跳信号本质上是一维信号，为了避免从 一维到二维的转换，保留数据的原始结构，我们设 计了一种针对心跳信号的一维卷积神经网络（1D CNN）. v t i j 在 1D CNN 中，卷积层的一维卷积操作用来从 局部邻域提取特征. 特征映射的实现过程是由卷 积核扫描其输入，然后将其结果存储到相应的特 征映射的位置. 卷积核大小相对于前一层的特征 映射往往较小，而且卷积层会有多个卷积核，每一 个都有不同的参数，这样可以提取多个局部特征， 组成一系列的特征映射. 假设在第 i 层的第 j 个特 征映射，在位置 t 的单元的值表示为 ，其由下式 计算 v t i j = ReLU   bi j + ∑ D d=1 ∑ S i s=0 w s i jmv t+s (i−1)d   （1） ReLU(·) bi j (i−1) w s i jm (i−1) S i 其 中 ， 为 线 性 整 流 单 元 （ Rectified  linear unit） ； 为对于第 j 个特征映射的偏置 ； D 为第 层的通道数；d 为通道的序号； 为第 i 层 第 j 个特征映射的卷积核在位置 s 处的值，且该卷 积核连接到第 层的第 m 个特征映射； 为卷 积核的大小. 在卷积神经网络的子采样层中，特征映射的 大小由对上一个卷积层的特征映射的局部邻域进 行池化而减少. CNN 结构通过多个卷积和子采样 堆叠而成. 1.2    超限学习机 ELM 是一个具有单隐含层的前馈神经网络， 它包含输入层、隐含层、输出层共三层，其基本结 构如图 1 所示. ELM 隐含层参数是随机生成的，输 出层参数基于最小二乘法解析得到. 这种训练方 式是免迭代的，避免了常规反向传播训练会陷入 局部最优的缺点. 黄广斌等[21] 证明了 ELM 具有万 能逼近能力. 具体地，给定任何有界非常数的分段 连续激活函数，一个隐含层参数随机生成的网络， 仅仅通过调整其输出参数就能够以任意小的误差 逼近目标函数. xi i = 1,2,··· ,N xi ∈ R n 假 定 我 们 有 N 个 已 标 注 的 样 本 ， 其 中 且 . 对于有 L 个隐含层神经元的 广义 SLFN，由于隐含层参数是根据任意连续概率 分布随机生成，那么隐含层输出矩阵 H 可以由如 下公式计算得到 H =   g(a1 · x1 +b1) · · · g(aL · x1 +bL) . . . . . . . . . g(a1 · xN +b1) · · · g(aL · xN +bL)   N×L （2） 其中， g(·) 为激活函数， ai 和 bi 为隐含层中第 i 个节 点的参数. 原始数据从输入层到隐含层的传播实 际上是将数据从 n 维空间映射到了 L 维空间. 隐 含层输出矩阵和网络输出矩阵之间的关系写成矩 阵形式为 Hβ = T （3） 其中， β =   β11 ... β1m . . . . . . . . . βL1 ... βLm   L×m , T =   t11 ... t1m . . . . . . . . . tN1 ... tNm   N×m （4） β 在实际中训练数据的数量与隐含层节点数量 往往不相等，也就是说，隐含层输出矩阵 H 并不是 一个方阵 ，因此等式（ 3）的最小二乘解不唯一. Bartlett 指出，对于前馈神经网络，网络权重越小， 该网络的泛化性能越好[25] . 因此，输出参数 的最 小范数的最小二乘解为 ∧ β = H †T （5） 其中， H† 为 H 的 Moore−Penrose 广义逆矩阵. C HTH HHT 为了避免病态问题，根据岭回归理论，添加一 个正数 到矩阵 或者 的对角线可解决. 这样，ELM 的求解问题变为 Minimize : l = 1 2 ||β||2 + 1 2 C||T − Hβ||2 （6） 然后，对 β 求偏导，并让其等于零，那么 ELM 的 输出参数即可由下式求得 β = ( I C + H TH )−1 H TT （7） 1 1 i L 1 m Input layer Hidden layer Output layer n x1 xn βL βi β1 tm t1 (ai , bi ) 图 1    ELM 的基本结构 Fig.1    Basic structure of an extreme learning machine (ELM) · 1226 · 工程科学学报，第 43 卷，第 9 期

许越凡等：基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 1227 2提出的方法 号分割为单个的心跳片段.特征提取阶段分为手 工特征提取和深度特征提取.手工特征包括时域 本节将对所提出的特征融合集成ELM心跳分 特征以及时频特征.同时使用ID CNN自动提取 类方法进行详细论述 心跳信号的深度特征.我们融合手工提取的特征 2.1总体结构 和深度特征，将其作为一个心跳信号的新的特征 图2展示了所提方法的总体结构，总共包括 表示.在心跳分类阶段，为了提升ELM分类性能 4个阶段，分别为ECG信号预处理、心跳分割、特 的稳定性，采用Bagging集成方法组合多个ELM 征提取和心跳分类.在预处理阶段消除了ECG信 分类器，最后以多数投票的方式得到最终的分类 号的基线漂移.在心跳分割阶段将连续的ECG信 结果 ECG signals 300 250 200 150 100 50 -50 500 1000 1500 2000 Sample index Preprocessing 250 200 150 100 Heartbeat 入A 50 segmentation Heartbeat signal 0 50100150200 Sample index Handcrafted feature Deep feature extraction extraction Time-domain feature Time-frequency ID CNN feature extraction feature extraction extraction ELM 1 ELM2 ELM Ensemble ELM Majority voting Heartbeat class 图2心跳分类算法总体结构 Fig.2 Overall structure of the heartbeat classification algorithm 2.2手工特征提取 多分辨分析的特点，而且在时频两域都具有表征 2.2.1RR间期特征提取 信号局部特征的能力.因此，适合于分析非平稳的 RR间期特征反应了心跳在时间域的特性.总 信号和提取信号的局部特征.离散小波变换 共4类RR间期信息被计算：前RR,即当前心跳与 (Discrete wavelet transform,DWT)是小波变换的一 前一个心跳的R峰的时间间隔；后RR,即当前心 种，它是将尺度参数和平移参数离散化.在本文 跳与后一个心跳的R峰的时间间隔：短期RR间 中，我们使用DWT作为特征提取器，提取心跳信 期，当前心跳的前十个RR间期的平均值；长期 号的局部特征.小波类型选择Daubechies1小波， RR间期.当前心跳的前五分钟RR间期的平均值. 小波分解层数为五层.小波分解第五层的近似系 2.2.2时频特征提取 数和细节系数被用来作为一个心跳片段的时频 小波变换是一种时间-频率分析方法，它具有 特征

2    提出的方法 本节将对所提出的特征融合集成 ELM 心跳分 类方法进行详细论述. 2.1    总体结构 图 2 展示了所提方法的总体结构，总共包括 4 个阶段，分别为 ECG 信号预处理、心跳分割、特 征提取和心跳分类. 在预处理阶段消除了 ECG 信 号的基线漂移. 在心跳分割阶段将连续的 ECG 信 号分割为单个的心跳片段. 特征提取阶段分为手 工特征提取和深度特征提取. 手工特征包括时域 特征以及时频特征. 同时使用 1D CNN 自动提取 心跳信号的深度特征. 我们融合手工提取的特征 和深度特征，将其作为一个心跳信号的新的特征 表示. 在心跳分类阶段，为了提升 ELM 分类性能 的稳定性，采用 Bagging 集成方法组合多个 ELM 分类器，最后以多数投票的方式得到最终的分类 结果. Voltage/mV 300 250 200 150 100 50 0 1000 1500 2000 500 0 −50 Preprocessing Heartbeat segmentation Time-domain feature extraction Time-frequency feature extraction 1D CNN feature extraction Deep feature extraction ECG signals ELM 1 ELM 2 ... ELM n Ensemble ELM Heartbeat signal Majority voting Heartbeat class Handcrafted feature extraction Voltage/mV Sample index Sample index 250 200 200 150 150 100 100 50 50 0 0 图 2    心跳分类算法总体结构 Fig.2    Overall structure of the heartbeat classification algorithm 2.2    手工特征提取 2.2.1    RR 间期特征提取 RR 间期特征反应了心跳在时间域的特性. 总 共 4 类 RR 间期信息被计算：前 RR，即当前心跳与 前一个心跳的 R 峰的时间间隔；后 RR，即当前心 跳与后一个心跳的 R 峰的时间间隔；短期 RR 间 期，当前心跳的前十个 RR 间期的平均值；长期 RR 间期，当前心跳的前五分钟 RR 间期的平均值. 2.2.2    时频特征提取 小波变换是一种时间−频率分析方法，它具有 多分辨分析的特点，而且在时频两域都具有表征 信号局部特征的能力. 因此，适合于分析非平稳的 信号和提取信号的局部特征 . 离散小波变换 （Discrete wavelet transform，DWT）是小波变换的一 种，它是将尺度参数和平移参数离散化. 在本文 中，我们使用 DWT 作为特征提取器，提取心跳信 号的局部特征. 小波类型选择 Daubechies 1 小波， 小波分解层数为五层. 小波分解第五层的近似系 数和细节系数被用来作为一个心跳片段的时频 特征. 许越凡等： 基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 · 1227 ·

·1228 工程科学学报，第43卷，第9期 2.3一维卷积神经网络 15个样本点.S2是一个子采样层，由执行在C1层 在图像分类中，由于图像中蕴含的模式较为 特征映射上的最大池化操作得到.C3也是一个卷 复杂，2DCNN往往需要较深的结构.而对于 积层，包括10个特征映射.每个核的长度为4. ECG信号，其网络的输入是分割后的心跳片段，维 S4是子采样层，由执行在C3层特征映射上的最 度较低.采用过深的网络结构可能会恶化分类性 大池化操作得到.随后所有S4层的特征平铺成一 能且增加计算代价.因此，我们设计了一个具有较 个350维的特征向量，C5层的特征作为对输入 浅结构的1DCNN,总共有7层，如图3所示.模型 心跳信号的深层特征表示.全连接层F6以及输出 包括三个卷积层，两个子采样层，一个全连接层和 层共同执行分类任务，输出层的神经元个数与待 一个输出层.C1是一个卷积层，包括30个特征映 分类的心跳信号类别数量一致，即16个输出层神 射.每个核的长度是15，连接到输入信号的相邻 经元 C1:feature maps 30@220×1 Input:234×1 S2:feature maps C3:feature maps C5:350 F6:6000 30@110×1 10@107×1 S4:feature maps 10@35×1 Output:16 15 units Flatting Full connection Convolutions Subsampling Convolutions Subsampling Full connection 图3本文提出的1DCNN结构 Fig.3 Structure of the proposed 1D convolutional neural network 损失函数选用交叉嫡(Cross entropy).随机梯 也会存在一定的随机性.为了提高ELM分类性能 度下降用来训练神经网络的参数.使用三种提升 的稳定性和准确性，我们采用Bagging集成学习方 权重训练过程的方法，分别为：权值衰减(Weight 法将多个ELM分类器进行组合.集成学习的关键 decay)、动量(Momentum)和随机失活(Dropout). 在于构造具有差异性的弱分类器.因此，一方面，在 权值衰减就是在权重更新规则中加入一个项使得 构造多个训练集时采用有放回采样(Bootstrap),即 权值指数地衰减到0，这个方法可以用来避免过拟 从训练样本中随机有放回抽样.这意味着，某一个 合.Momentum是一种加速梯度下降的技术，对于 训练样本可能多次出现在新构造的训练集中，也有 那些当前的梯度方向与上一次梯度方向相同的参 可能一次都不会选中.上述方法是从数据集构造方 数进行加强，即在这些方向上更快：相反，对于那 面增加集成的多样性.另一方面，正因为ELM隐含 些当前的梯度方向与上一次梯度方向不同的参数 层参数的随机初始化，使得集成模型中每一个 进行减弱，即在这些方向上减慢.Dropout是指在 ELM模型都不相同，同样增加了集成多样性 每次训练迭代中，随机地从神经网络中消除一部 当多个不同的训练集被构造出来后，分别在 分节点，这也是一种避免过拟合的技术 这些训练集上训练不同的ELM心跳分类模型.最 2.4ELM心跳分类 后通过多数投票的方式，票数最多的心跳类别即 当手工特征和ID CNN的深度特征被提取出 为最终集成的分类结果 来后，它们被整合到一起作为ELM的输入.图4 3 实验验证 显示了基于单个ELM的心跳分类模型.其中，输 入层是由手工特征包括RR间期特征和离散小波 本文中使用麻省理工律失常公开数据集(MIT- 系数特征以及深度特征即1DCNN特征共同组 BIH arrhythmia dataset)对所提出的方法进行验证. 成，因此ELM输入层节点数等于所有这些特征的 3.1数据集 总个数.输出层节点数等于待分类的心跳类别数. MIT-BH心律失常数据库是研究心律失常分 2.5 Bagging集成方法 类算法广泛使用的数据库之一2.它包含48个0.5h 由于ELM隐含层参数的随机分配，其分类结果 的双通道动态心电图记录，其中的23份为比较常见

2.3    一维卷积神经网络 在图像分类中，由于图像中蕴含的模式较为 复杂 ， 2D  CNN 往往需要较深的结构 . 而 对 于 ECG 信号，其网络的输入是分割后的心跳片段，维 度较低. 采用过深的网络结构可能会恶化分类性 能且增加计算代价. 因此，我们设计了一个具有较 浅结构的 1D CNN，总共有 7 层，如图 3 所示. 模型 包括三个卷积层，两个子采样层，一个全连接层和 一个输出层. C1 是一个卷积层，包括 30 个特征映 射. 每个核的长度是 15，连接到输入信号的相邻 15 个样本点. S2 是一个子采样层，由执行在 C1 层 特征映射上的最大池化操作得到. C3 也是一个卷 积层，包括 10 个特征映射. 每个核的长度为 4. S4 是子采样层，由执行在 C3 层特征映射上的最 大池化操作得到. 随后所有 S4 层的特征平铺成一 个 350 维的特征向量 ，C5 层的特征作为对输入 心跳信号的深层特征表示. 全连接层 F6 以及输出 层共同执行分类任务. 输出层的神经元个数与待 分类的心跳信号类别数量一致，即 16 个输出层神 经元. Flatting Convolutions Convolutions Subsampling Full connection 15 units C1: feature maps 30@220×1 S4: feature maps 10@35×1 C3: feature maps 10@107×1 C5: 350 F6: 6000 Output: 16 Full connection Input: 234×1 S2: feature maps 30@110×1 Subsampling 图 3    本文提出的 1D CNN 结构 Fig.3    Structure of the proposed 1D convolutional neural network 损失函数选用交叉熵（Cross entropy）. 随机梯 度下降用来训练神经网络的参数. 使用三种提升 权重训练过程的方法，分别为：权值衰减（Weight decay）、动量（Momentum）和随机失活（Dropout） . 权值衰减就是在权重更新规则中加入一个项使得 权值指数地衰减到 0，这个方法可以用来避免过拟 合. Momentum 是一种加速梯度下降的技术，对于 那些当前的梯度方向与上一次梯度方向相同的参 数进行加强，即在这些方向上更快；相反，对于那 些当前的梯度方向与上一次梯度方向不同的参数 进行减弱，即在这些方向上减慢. Dropout 是指在 每次训练迭代中，随机地从神经网络中消除一部 分节点，这也是一种避免过拟合的技术. 2.4    ELM 心跳分类 当手工特征和 1D CNN 的深度特征被提取出 来后，它们被整合到一起作为 ELM 的输入. 图 4 显示了基于单个 ELM 的心跳分类模型. 其中，输 入层是由手工特征包括 RR 间期特征和离散小波 系数特征以及深度特征即 1D CNN 特征共同组 成，因此 ELM 输入层节点数等于所有这些特征的 总个数. 输出层节点数等于待分类的心跳类别数. 2.5    Bagging 集成方法 由于 ELM 隐含层参数的随机分配，其分类结果 也会存在一定的随机性. 为了提高 ELM 分类性能 的稳定性和准确性，我们采用 Bagging 集成学习方 法将多个 ELM 分类器进行组合. 集成学习的关键 在于构造具有差异性的弱分类器. 因此，一方面，在 构造多个训练集时采用有放回采样（Bootstrap），即 从训练样本中随机有放回抽样. 这意味着，某一个 训练样本可能多次出现在新构造的训练集中，也有 可能一次都不会选中. 上述方法是从数据集构造方 面增加集成的多样性. 另一方面，正因为 ELM 隐含 层参数的随机初始化 ，使得集成模型中每一个 ELM 模型都不相同，同样增加了集成多样性. 当多个不同的训练集被构造出来后，分别在 这些训练集上训练不同的 ELM 心跳分类模型. 最 后通过多数投票的方式，票数最多的心跳类别即 为最终集成的分类结果. 3    实验验证 本文中使用麻省理工律失常公开数据集（MIT− BIH arrhythmia dataset）对所提出的方法进行验证. 3.1    数据集 MIT−BIH 心律失常数据库是研究心律失常分 类算法广泛使用的数据库之一[26] . 它包含 48 个 0.5 h 的双通道动态心电图记录，其中的 23 份为比较常见 · 1228 · 工程科学学报，第 43 卷，第 9 期

许越凡等：基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 ·1229. RR interval features Handcrafted features Class N Discrete wavelet features (a.b,) +Class Q Heartbeat classes 1DCNN features Input layer Hidden layer Output layer 图4ELM心跳分类结构 Fig.4 ELM heartbeat classification structure 的心律失常记录，而其余的25份为较少见但临床意 本的40%以及其余的心律失常类样本的50%从各 义重大的心律失常记录”这些记录来自于BH 自的样本中随机选择出来，然后组成了训练样本， 心律失常实验室在1975年至1979年间研究的47名 剩余的样本组成了测试样本 受试者，从波士顿贝斯以色列医院住院病人（约 表1MT-BH数据集的详细描述和划分 60%)和门诊病人（约40%）的混合人群中收集得到. Table I Detailed description and division of the MIT-BIH dataset 在通道一，45条记录来自改进的肢体导联 Heartbeat type Total Number of Number of Ⅱ(Modified limb lead II,MLII),其余3条记录来自 (abbreviation) Annotation number of training testing samples samples samples 改进的胸前导联V5(Modified precordial lead V5), Normal beat (NOR) N 75023 9753 65270 在通道二，40条记录来自导联V1,4条来自导联 Left bundle branch block (LBBB) 8072 3229 4843 V2,1条来自V4,2条来自V5,还有一条来自MLIⅡ Right bundle branch block(RBBB) 7255 2902 4353 本文中，我们使用通道一的数据，因为通道一的数 Atrial premature A 2546 1018 1528 据都来自于导联ML contraction(APC) Premature ventricular 这些记录被带通滤波到0.1~100Hz的频率范 7129 2852 4277 contraction (PVC) 围，然后将带通滤波后的信号数字化到360Hz.所 Paced beat(PACE) 7026 281 421 有的ECG信号使用两个中值滤波器来消除基线漂 Aberrated atrial a 150 premature beat (AP) 移，分别是02s宽度的中值滤波器和0.6s宽度的 Ventricular flutter 472 中值滤波器 wave (VF) Fusion of ventricular MIT-BIH数据库中提供了大概的R峰基准点 and normal beat (VFN) 的位置.我们使用提供的基准点位置，然后对其进 Blocked atrial 行了手工纠正接下来，根据基准点的位置，前 premature beat (BAP) 90个点和后144个点总共234个点组成的片段， Nodal (junctional) 作为一个心跳片段.在数据库中心跳数据的真实 escape beat (NE) Fusion of paced and 标签是由两个心脏病专家手工标注得到，因此我 normal beat(FPN) Ventricular escape 们使用提供的标签作为心跳的真实标签.在我们 6 beat(VE) 分 的实验中，所有48条记录被使用，总共将心跳信 Nodal (junctional) 83 42 premature beat (NP) 41 号分为16类 Atrial escape beat e 16 8 8 表1详细的描述了数据集的情况.我们的实 (AE) Unclassifiable beat (UN) 33 16 17 验中，数据集的划分和文献9]中保持一致.具体 来说，将N类样本的13%，L、R、A、V、P类各类样 Total 16 110117 24096 86021

的心律失常记录，而其余的 25 份为较少见但临床意 义重大的心律失常记录[27] . 这些记录来自于 BIH 心律失常实验室在 1975 年至 1979 年间研究的 47 名 受试者 ，从波士顿贝斯以色列医院住院病人（约 60%）和门诊病人（约 40%）的混合人群中收集得到. 在通道一 ， 45 条记录来自改进的肢体导联 II（Modified limb lead II，MLII），其余 3 条记录来自 改进的胸前导联 V5（Modified precordial lead V5） . 在通道二，40 条记录来自导联 V1，4 条来自导联 V2，1 条来自 V4，2 条来自 V5，还有一条来自 MLII. 本文中，我们使用通道一的数据，因为通道一的数 据都来自于导联 MLII. 这些记录被带通滤波到 0.1～100 Hz 的频率范 围，然后将带通滤波后的信号数字化到 360 Hz. 所 有的 ECG 信号使用两个中值滤波器来消除基线漂 移，分别是 0.2 s 宽度的中值滤波器和 0.6 s 宽度的 中值滤波器. MIT−BIH 数据库中提供了大概的 R 峰基准点 的位置. 我们使用提供的基准点位置，然后对其进 行了手工纠正. 接下来，根据基准点的位置，前 90 个点和后 144 个点总共 234 个点组成的片段， 作为一个心跳片段. 在数据库中心跳数据的真实 标签是由两个心脏病专家手工标注得到，因此我 们使用提供的标签作为心跳的真实标签. 在我们 的实验中，所有 48 条记录被使用，总共将心跳信 号分为 16 类. 表 1 详细的描述了数据集的情况. 我们的实 验中，数据集的划分和文献 [9] 中保持一致. 具体 来说，将 N 类样本的 13%，L、R、A、V、P 类各类样 本的 40% 以及其余的心律失常类样本的 50% 从各 自的样本中随机选择出来，然后组成了训练样本， 剩余的样本组成了测试样本. 表 1  MIT−BIH 数据集的详细描述和划分 Table 1   Detailed description and division of the MIT−BIH dataset Heartbeat type (abbreviation) Annotation Total number of samples Number of training samples Number of testing samples Normal beat (NOR) N 75023 9753 65270 Left bundle branch block (LBBB) L 8072 3229 4843 Right bundle branch block (RBBB) R 7255 2902 4353 Atrial premature contraction (APC) A 2546 1018 1528 Premature ventricular contraction (PVC) V 7129 2852 4277 Paced beat (PACE) / 7026 2810 4216 Aberrated atrial premature beat (AP) a 150 75 75 Ventricular flutter wave (VF) ! 472 236 236 Fusion of ventricular and normal beat (VFN) F 802 401 401 Blocked atrial premature beat (BAP) x 193 96 97 Nodal (junctional) escape beat (NE) j 229 114 115 Fusion of paced and normal beat (FPN) f 982 491 491 Ventricular escape beat (VE) E 106 53 53 Nodal (junctional) premature beat (NP) J 83 42 41 Atrial escape beat (AE) e 16 8 8 Unclassifiable beat (UN) Q 33 16 17 Total 16 110117 24096 86021 1 c 1 i L 1 m Class N Input layer Hidden layer Output layer n Handcrafted features 1D CNN features Class Q Heartbeat classes k RR interval features Discrete wavelet features k+1 c+1 βL βi β1 (ai , bi ) 图 4    ELM 心跳分类结构 Fig.4    ELM heartbeat classification structure 许越凡等： 基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 · 1229 ·

·1230 工程科学学报，第43卷，第9期 3.2性能指标 类样本标注为未分类样本，因此如何减少这类样 为了评价心跳分类方法的性能，我们使用以 本的信号变形和损失是关键，但这不在本文研究 下三个指标，分别为：准确率(Accuracy),召回率 的范围内 (Recall))和精确率(Precision).其中，准确率反映了 表2每类心跳的召回率和精确率 模型预测正确的样本占所有样本的比例，召回率 Table 2 Recall and precision for each heartbeat class 反映了在真实类为正类的样本中，模型识别为正 Heartbeat type Number of test samples Recall/%Precision/% 类样本所占的比例，精确率反映了在模型识别为 正类的所有样本中，真实类也为正类样本所占的 65270 99.58 99.43 4843 99.71 99.67 比例.它们的计算方法如下： 4353 99.61 99.34 TP+TN Accuracy=TP+TN+FP+P示×I00% (8) A 1528 86.45 94.90 4277 TP b 97.80 95.57 Recall = TP+FN X100% (9) 4216 99.69 99.41 TP 75 65.33 92.45 Precision=10% (10) 236 93.64 92.47 其中，TP、TN、N和FP分别为真阳性数(Tue 401 79.55 87.40 positive)、真阴性数(True negative)、假阴性数 97 86.60 94.38 (False negative)和假阳性数(False positive). j 115 87.83 71.13 3.3实验结果 491 91.65 96.98 实验统一采用五折交叉验证的方式进行模型 少 94.34 98.04 效果评估，抽样的方式选择分层抽样，也就是说， 灯 90.24 97.37 在训练集中，我们对于每一类心跳分别将其平均 12.50 100.00 分为五份，将每一类中的每一份样本进行组合，形 p 17 5.88 50.00 成五份样本子集.轮流选取其中的四份作为训练 Total 86021 99.02 99.02 集，一份作为验证集.重复训练及验证模型五次， 并将五次结果的平均准确率作为模型选择的评价 表4展示了所提方法与其他方法的比较结果 标准 基于融合特征的ELM算法在单导联的准确率为 表2中给出了每一个心跳类别的召回率和精 98.81%,比文献[9]中方法得到的98.72%准确率 确率.大部分类别呈现出了满意的分类性能，除了 更高.而且，基于融合特征的分类方法其效果要好 类别a、F、e和Q.表3给出了分类结果的混淆矩 于单独用手工特征或深度特征的方法.另外，基 阵(Confusion matrix),从中我们可以观察到具体的 于Bagging集成的ELM分类方法进一步提升了分 分类情况.具体地，在真实类别为a类的所有样本 类性能，达到了99.02%的最高准确率 中，26个被误分，主要为11个样本被误分为N, 4结论 4个被误分为A,还有7个被误分为V,其原因是 类别a与其他3个误分类别的形态学差异并不明 本文提出了一种基于手工特征和深度特征融 显；82个F类样本被误分，主要为54个F类样本 合的集成超限学习机心跳分类方法.手工提取的 被误分为N类，27个被误分为V类，原因在于 特征包括RR间期特征和离散小波系数特征，分别 MIT-BIH数据集编号为213的记录中，F类样本 反映了心跳信号的时域特性和时频特性.同时设 和N、V类样本具有很强的形态学相似性，这就导 计了针对心跳信号的ID CNN结构，对心跳信号 致F类很容易被错误地识别为N和V类；在所有 的深度特征进行自动提取.ELM模型融合上述特 8个类样本中仅仅分对了1例.而其他都被误分 征并进行心跳分类.由于ELM初始参数随机生 为N类，这也是归因于在MIT-BIH数据集编号为 成，这种方式会导致ELM出现分类性能不稳定的 223的记录中，e类心跳信号与N类的形态学特征 现象，因此，针对上述问题，本文采用基于Bagging 并没有明显的区别：Q类的心跳信号表现为无规 策略的多ELM集成方法，实验结果表明，将深度 则地而且幅值变化很大的震荡，心血管专家将这 特征与手工特征融合能更全面地表征心跳信号

3.2    性能指标 为了评价心跳分类方法的性能，我们使用以 下三个指标，分别为：准确率（Accuracy），召回率 （Recall）和精确率 (Precision). 其中，准确率反映了 模型预测正确的样本占所有样本的比例，召回率 反映了在真实类为正类的样本中，模型识别为正 类样本所占的比例，精确率反映了在模型识别为 正类的所有样本中，真实类也为正类样本所占的 比例. 它们的计算方法如下： Accuracy = TP+TN TP+TN+FP+FN ×100% （8） Recall = TP TP+FN ×100% （9） Precision = TP TP+FP ×100% （10） 其中 ， TP、 TN、 FN 和 FP 分别为真阳性数 （ True positive） 、真阴性数 （ True  negative） 、假阴性数 （False negative）和假阳性数（False positive）. 3.3    实验结果 实验统一采用五折交叉验证的方式进行模型 效果评估. 抽样的方式选择分层抽样，也就是说， 在训练集中，我们对于每一类心跳分别将其平均 分为五份，将每一类中的每一份样本进行组合，形 成五份样本子集. 轮流选取其中的四份作为训练 集，一份作为验证集. 重复训练及验证模型五次， 并将五次结果的平均准确率作为模型选择的评价 标准. 表 2 中给出了每一个心跳类别的召回率和精 确率. 大部分类别呈现出了满意的分类性能，除了 类别 a、F、e 和 Q. 表 3 给出了分类结果的混淆矩 阵（Confusion matrix），从中我们可以观察到具体的 分类情况. 具体地，在真实类别为 a 类的所有样本 中 ， 26 个被误分 ，主要为 11 个样本被误分为 N， 4 个被误分为 A，还有 7 个被误分为 V，其原因是 类别 a 与其他 3 个误分类别的形态学差异并不明 显；82 个 F 类样本被误分，主要为 54 个 F 类样本 被误分 为 N 类 ， 27 个被误分 为 V 类 ，原因在 于 MIT−BIH 数据集编号为 213 的记录中，F 类样本 和 N、V 类样本具有很强的形态学相似性，这就导 致 F 类很容易被错误地识别为 N 和 V 类；在所有 8 个 e 类样本中仅仅分对了 1 例，而其他都被误分 为 N 类，这也是归因于在 MIT−BIH 数据集编号为 223 的记录中，e 类心跳信号与 N 类的形态学特征 并没有明显的区别；Q 类的心跳信号表现为无规 则地而且幅值变化很大的震荡，心血管专家将这 类样本标注为未分类样本，因此如何减少这类样 本的信号变形和损失是关键，但这不在本文研究 的范围内. 表 2 每类心跳的召回率和精确率 Table 2   Recall and precision for each heartbeat class Heartbeat type Number of test samples Recall/% Precision/% N 65270 99.58 99.43 L 4843 99.71 99.67 R 4353 99.61 99.34 A 1528 86.45 94.90 V 4277 97.80 95.57 / 4216 99.69 99.41 a 75 65.33 92.45 ! 236 93.64 92.47 F 401 79.55 87.40 x 97 86.60 94.38 j 115 87.83 71.13 f 491 91.65 96.98 E 53 94.34 98.04 J 41 90.24 97.37 e 8 12.50 100.00 Q 17 5.88 50.00 Total 86021 99.02 99.02 表 4 展示了所提方法与其他方法的比较结果. 基于融合特征的 ELM 算法在单导联的准确率为 98.81%，比文献 [9] 中方法得到的 98.72% 准确率 更高. 而且，基于融合特征的分类方法其效果要好 于单独用手工特征或深度特征的方法. 另外，基 于 Bagging 集成的 ELM 分类方法进一步提升了分 类性能，达到了 99.02% 的最高准确率. 4    结论 本文提出了一种基于手工特征和深度特征融 合的集成超限学习机心跳分类方法. 手工提取的 特征包括 RR 间期特征和离散小波系数特征，分别 反映了心跳信号的时域特性和时频特性. 同时设 计了针对心跳信号的 1D CNN 结构，对心跳信号 的深度特征进行自动提取. ELM 模型融合上述特 征并进行心跳分类. 由于 ELM 初始参数随机生 成，这种方式会导致 ELM 出现分类性能不稳定的 现象，因此，针对上述问题，本文采用基于 Bagging 策略的多 ELM 集成方法. 实验结果表明，将深度 特征与手工特征融合能更全面地表征心跳信号， · 1230 · 工程科学学报，第 43 卷，第 9 期

许越凡等：基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 1231· 表3混淆矩阵 Table 3 Confusion matrix Predict labels L R A IF x j f E JeQ N 64996 9 3 58 126 1 0 82843240001 L 6 4829 0 0 7 0 0 0 0 00 01000 R 8 0 4336 6 0 000 00000 A 169 20 1321 0 0 6 10000 62 0 0 10000 60000 0000 0 0000 True labels 0000 0 0000 12 0 0100 4500000 E 0 0 50000 1 0 0 03700 e 7 0 0 0 0 0 00010 0 0 0 0 0 20001 表4提出的方法与其他方法的比较结果 [3] Mondejar-Guerra V,Novo J,Rouco J,et al.Heartbeat classification fusing temporal and morphological information of Table 4 Comparison results of the proposed approach with other approaches ECGs via ensemble of classifiers.Biomed Signal Process Control, Accuracy/ 2019,47:41 Reference Features Classifier 9% [4] Chazal P d,O'Dwyer M,Reilly R B.Automatic classification of Manual features only DWT,RR+ELM (Single) 98.28 heartbeats using ECG morphology and heartbeat interval features. Deep feature only 1D CNN 98.50 IEEE Trans Biomed Eng,2004,51(7):1196 Feature fusion DWT.RR,ID Convolution+ 98.81 [5] Tuncer T,Dogan S,Plawiak P,et al.Automated arrhythmia (Without ensemble) ELM (Single) Yel ICA.Wavelet,RR+SVM detection using novel hexadecimal local pattem and multilevel (One-against-one) 98.72 wavelet transform with ECG signals.Know/Based Syst,2019, Our proposed approach DWT,RR,ID Convolution ELM 99.02 186:104923 (Bagging ensemble) [6]Sahoo S,Kanungo B.Behera S,et al.Multiresolution wavelet 并得到更好的分类结果.此外，基于Bagging策略 transform based feature extraction and ECG classification to detect 的ELM集成方法可进一步提升心跳分类性能.未 cardiac abnormalities.Measurement,2017,108:55 [7]Afkhami R G,Azarnia G,Tinati M A.Cardiac arrhythmia 来工作将基于其他公开的心律失常数据集，对所 classification using statistical and mixture modeling features of 提出的方法加以改进.同时，将所提方法应用到临 ECG signals.Pattern Recognit Lett,2016,70:45 床实践中 [8]Marinho L B,Nascimento N MM,Souza J W M,et al.A novel electrocardiogram feature extraction approach for cardiac 参考文献 arrhythmia classification.Future Gener Comput Syst,2019,97: [1]Thaler M S.The Only EKG Book You'll Ever Need.9th Ed. 564 Philadelphia,PA:Lippincott Williams Wilkins,2017[2] [9]Ye C,Vijaya Kumar B V K,Coimbra M T.Heartbeat Gawlowska J,Wranicz JK,Norman J."Jeff"Holter (1914-1983). classification using morphological and dynamic features of ECG Cardiol J,2009,16(4):386 signals.IEEE Trans Biomed Eng,2012,59(10):2930 [2]Chazal P d,Reilly R B.A patient-adapting heartbeat classifier [10]Castillo O,Melin P,Ramirez E,et al.Hybrid intelligent system for using ECG morphology and heartbeat interval features.IEEE cardiac arrhythmia classification with Fuzzy K-Nearest Neighbors Trans Biomed Eng,2006,53(12):2535 and neural networks combined with a fuzzy system.Expert Syst

并得到更好的分类结果. 此外，基于 Bagging 策略 的 ELM 集成方法可进一步提升心跳分类性能. 未 来工作将基于其他公开的心律失常数据集，对所 提出的方法加以改进. 同时，将所提方法应用到临 床实践中. 参    考    文    献 Thaler  M  S.  The  Only  EKG  Book  You ’ll  Ever  Need.  9th  Ed. Philadelphia,  PA:  Lippincott  Williams  &  Wilkins,  2017[2] Gawlowska J, Wranicz J K, Norman J. “Jeff” Holter (1914—1983). Cardiol J, 2009, 16(4): 386 [1] Chazal  P  d,  Reilly  R  B.  A  patient-adapting  heartbeat  classifier using  ECG  morphology  and  heartbeat  interval  features. IEEE Trans Biomed Eng, 2006, 53（12）: 2535 [2] Mondéjar-Guerra  V,  Novo  J,  Rouco  J,  et  al.  Heartbeat classification  fusing  temporal  and  morphological  information  of ECGs via ensemble of classifiers. Biomed Signal Process Control, 2019, 47: 41 [3] Chazal  P  d,  O'Dwyer  M,  Reilly  R  B.  Automatic  classification  of heartbeats using ECG morphology and heartbeat interval features. IEEE Trans Biomed Eng, 2004, 51（7）: 1196 [4] Tuncer  T,  Dogan  S,  Pławiak  P,  et  al.  Automated  arrhythmia detection  using  novel  hexadecimal  local  pattern  and  multilevel wavelet  transform  with  ECG  signals. Knowl Based Syst,  2019, 186: 104923 [5] Sahoo  S,  Kanungo  B,  Behera  S,  et  al.  Multiresolution  wavelet transform based feature extraction and ECG classification to detect cardiac abnormalities. Measurement, 2017, 108: 55 [6] Afkhami  R  G,  Azarnia  G,  Tinati  M  A.  Cardiac  arrhythmia classification  using  statistical  and  mixture  modeling  features  of ECG signals. Pattern Recognit Lett, 2016, 70: 45 [7] Marinho L B, Nascimento N M M, Souza J W M, et al. A novel electrocardiogram  feature  extraction  approach  for  cardiac arrhythmia  classification. Future Gener Comput Syst,  2019,  97: 564 [8] Ye  C,  Vijaya  Kumar  B  V  K,  Coimbra  M  T.  Heartbeat classification  using  morphological  and  dynamic  features  of  ECG signals. IEEE Trans Biomed Eng, 2012, 59（10）: 2930 [9] Castillo O, Melin P, Ramírez E, et al. Hybrid intelligent system for cardiac arrhythmia classification with Fuzzy K-Nearest Neighbors and  neural  networks  combined  with  a  fuzzy  system. Expert Syst [10] 表 3 混淆矩阵 Table 3 Confusion matrix Predict labels N L R A V / a ! F x j f E J e Q True labels N 64996 9 3 58 126 1 0 8 28 4 32 4 0 0 0 1 L 6 4829 0 0 7 0 0 0 0 0 0 0 1 0 0 0 R 8 0 4336 6 2 0 1 0 0 0 0 0 0 0 0 0 A 169 1 20 1321 9 0 0 1 0 0 6 1 0 0 0 0 V 62 4 1 2 4183 0 1 5 18 0 0 1 0 0 0 0 / 5 0 0 0 1 4203 0 0 0 0 1 6 0 0 0 0 a 11 2 0 4 7 0 49 2 0 0 0 0 0 0 0 0 ! 8 0 0 0 5 0 1 221 0 1 0 0 0 0 0 0 F 54 0 1 0 27 0 0 0 319 0 0 0 0 0 0 0 x 4 0 0 1 4 0 1 2 0 84 1 0 0 0 0 0 j 12 0 1 0 0 0 0 0 0 0 101 0 0 1 0 0 f 16 0 0 0 1 24 0 0 0 0 0 450 0 0 0 0 E 1 0 0 0 2 0 0 0 0 0 0 0 50 0 0 0 J 1 0 2 0 0 0 0 0 0 0 1 0 0 37 0 0 e 7 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 Q 10 0 1 0 3 0 0 0 0 0 0 2 0 0 0 1 表 4    提出的方法与其他方法的比较结果 Table 4    Comparison  results  of  the  proposed  approach  with  other approaches Reference Features + Classifier Accuracy/ % Manual features only DWT, RR + ELM (Single) 98.28 Deep feature only 1D CNN 98.50 Feature fusion (Without ensemble) DWT, RR, 1D Convolution + ELM (Single) 98.81 Ye[9] ICA, Wavelet, RR + SVM (One-against-one) 98.72 Our proposed approach DWT, RR, 1D Convolution + ELM (Bagging ensemble) 99.02 许越凡等： 基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 · 1231 ·

1232 工程科学学报，第43卷，第9期 4ppl,2012,39(3):2947 applied to document recognition.Proc /EEE,1998,86(11):2278 [11]Girshick R.Fast R-CNN /2015 IEEE International Conference [20]Huang G B.Zhu Q Y,Siew C K.Extreme leaming machine: on Computer Vision (ICCV).Santiago,2015:1440 Theory and applications.Neurocomputing,2006,70(1-3):489 [12]Huang G,Liu Z,Van Der Maaten L,et al.Densely connected [21]Huang G B.Chen L,Siew C K.Universal approximation using convolutional networks 2017 IEEE Conference on Computer incremental constructive feedforward networks with random Vision and Pattern Recognition (CVPR).Honolulu,2017:2261 hidden nodes.IEEE Trans Neural Netw,2006,17(4):879 [13]He K M.Zhang X Y,Ren S Q,et al.Spatial pyramid pooling in [22]Anthimopoulos M,Christodoulidis S,Ebner L,et al.Lung pattem deep convolutional networks for visual recognition.IEEE Trans classification for interstitial lung diseases using a deep Pattern Anal Mach Intell,2015.37(9):1904 convolutional neural network.IEEE Trans Med Imaging,2016, [14]Szegedy C,Liu W,Jia Y Q,et al.Going deeper with convolutions 35(5):1207 Il 2015 IEEE Conference on Computer Vision and Pattern [23]Li J Y,Zhao Y K.Xue Z E,et al.A survey of model compression Recognition (CVPR).Boston,2015:1 for deep neural networks.Chin J Eng,2019,41(10):1229 [15]Schroff F,Kalenichenko D,Philbin J.FaceNet:A unified (李江昀，赵义凯，薛卓尔，等.深度神经网络模型压缩综述，工 embedding for face recognition and clustering /2015 /EEE 程科学学报，2019,41(10)：1229) Conference on Computer Vision and Pattern Recognition (CVPR). [24]Ji S W,Xu W,Yang M,et al.3D convolutional neural networks Boston,2015:815 [16]Ding C X,Tao D C.Trunk-branch ensemble convolutional neural for human action recognition.IEEE Trans Pattern Anal Mach networks for video-based face recognition.IEEE Trans Pattern lmel,2013,35(1):221 Anal Mach Intell,2018,40(4):1002 [25]Bartlett P L.The sample complexity of pattern classification with [17]He R,Wu X,Sun Z N,et al.Wasserstein CNN:Leaming invariant neural networks:The size of the weights is more important than features for NIR-VIS face recognition.IEEE Trans Pattern Anal the size of the network.IEEE Trans Inf Theory,1998,44(2):525 Mach Intell,2019,41(7):1761 [26]PhysioNet.MIT-BIH Arrhythmias Database [J/OL].PhysioNet [1]Shelhamer E,Long J,Darrell T.Fully convolutional networks for Online(2020-04-15)[2021-01-12]https://physionet.org/files/mitdb/ semantic segmentation.IEEE Trans Pattern Anal Mach Intell, 1.0.0 2017,39(4):640 [27]Moody G B,Mark R G.The impact of the mit-bih arrhythmia [19]LeCun Y,Bottou L,Bengio Y,et al.Gradient-based learing database.IEEE Eng Med Biol Mag,2001,20(3):45

Appl, 2012, 39（3）: 2947 Girshick R. Fast R−CNN // 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, 2015: 1440 [11] Huang  G,  Liu  Z,  Van  Der  Maaten  L,  et  al.  Densely  connected convolutional  networks  //  2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, 2017: 2261 [12] He K M, Zhang X Y, Ren S Q, et al. Spatial pyramid pooling in deep  convolutional  networks  for  visual  recognition. IEEE Trans Pattern Anal Mach Intell, 2015, 37（9）: 1904 [13] Szegedy C, Liu W, Jia Y Q, et al. Going deeper with convolutions //  2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, 2015: 1 [14] Schroff  F,  Kalenichenko  D,  Philbin  J.  FaceNet:  A  unified embedding  for  face  recognition  and  clustering  //  2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, 2015: 815 [15] Ding C X, Tao D C. Trunk-branch ensemble convolutional neural networks  for  video-based  face  recognition. IEEE Trans Pattern Anal Mach Intell, 2018, 40（4）: 1002 [16] He R, Wu X, Sun Z N, et al. Wasserstein CNN: Learning invariant features  for  NIR-VIS  face  recognition. IEEE Trans Pattern Anal Mach Intell, 2019, 41（7）: 1761 [17] Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic  segmentation. IEEE Trans Pattern Anal Mach Intell, 2017, 39（4）: 640 [18] [19] LeCun  Y,  Bottou  L,  Bengio  Y,  et  al.  Gradient-based  learning applied to document recognition. Proc IEEE, 1998, 86（11）: 2278 Huang  G  B,  Zhu  Q  Y,  Siew  C  K.  Extreme  learning  machine: Theory and applications. Neurocomputing, 2006, 70（1-3）: 489 [20] Huang  G  B,  Chen  L,  Siew  C  K.  Universal  approximation  using incremental  constructive  feedforward  networks  with  random hidden nodes. IEEE Trans Neural Netw, 2006, 17（4）: 879 [21] Anthimopoulos M, Christodoulidis S, Ebner L, et al. Lung pattern classification  for  interstitial  lung  diseases  using  a  deep convolutional  neural  network. IEEE Trans Med Imaging,  2016, 35（5）: 1207 [22] Li J Y, Zhao Y K, Xue Z E, et al. A survey of model compression for deep neural networks. Chin J Eng, 2019, 41（10）: 1229 （李江昀, 赵义凯, 薛卓尔, 等. 深度神经网络模型压缩综述. 工 程科学学报, 2019, 41（10）：1229） [23] Ji S W, Xu W, Yang M, et al. 3D convolutional neural networks for  human  action  recognition. IEEE Trans Pattern Anal Mach Intell, 2013, 35（1）: 221 [24] Bartlett P L. The sample complexity of pattern classification with neural  networks:  The  size  of  the  weights  is  more  important  than the size of the network. IEEE Trans Inf Theory, 1998, 44（2）: 525 [25] PhysioNet.  MIT−BIH  Arrhythmias  Database  [J/OL]. PhysioNet Online (2020-04-15) [2021-01-12] https://physionet.org/files/mitdb/ 1.0.0 [26] Moody  G  B,  Mark  R  G.  The  impact  of  the  mit-bih  arrhythmia database. IEEE Eng Med Biol Mag, 2001, 20（3）: 45 [27] · 1232 · 工程科学学报，第 43 卷，第 9 期