一种改进的lp-RWMKE-ELM故障诊断模型

针对装备各类故障样本分布不平衡、现有算法故障诊断精度较低的问题，通过引入p范数约束多核极限学习机和基于AdaBoost的集成学习策略，定义了一种p范数约束下正则化加权多核集成极限学习机的故障诊断模型。首先，在p范数约束下，基于各类故障样本自身规模，分别进行了两种自适应的样本权重分配；其次，在每层分类器的优化中，将多核学习的多源数据融合能力和极限学习机运算高效的特点相结合，同时，将样本的权重$ {\boldsymbol{W}} $

团购合买资源类别：文库，文档格式：PDF，文档页数：14，文件大小：1.45MB

工程科学学报 Chinese Journal of Engineering 一种改进的L-RWMK①-ELM故障诊断模型刘星赵建印朱敏张伟 Research on an improvedRWMKE-ELM fault diagnosis model LIU Xing.ZHAO Jian-yin,ZHU Min,ZHANG Wei 引用本文：刘星，赵建印，朱敏，张伟.一种改进的1。-RWMKE-ELM故障诊断模型[J.工程科学学报，2022,44(1)：82-94.doi: 10.13374/i.issn2095-9389.2020.07.09.001 LIU Xing,ZHAO Jian-yin,ZHU Min,ZHANG Wei.Research on an improved L-RWMKE-ELM fault diagnosis model[J].Chinese Journal of Engineering,.2022,44(1)82-94.doi:10.13374j.issn2095-9389.2020.07.09.001 在线阅读View online::https::/doi.org/10.13374j.issn2095-9389.2020.07.09.001 您可能感兴趣的其他文章 Articles you may be interested in 一种基于轻量级神经网络的高铁轮对轴承故障诊断方法 Fault diagnosis of high-speed train wheelset bearing based on a lightweight neural network 工程科学学报.2021,43(11)：1482 https:/oi.org/10.13374.issn2095-9389.2020.12.09.001 基于全局优化支持向量机的多类别高炉故障诊断 Multi-class fault diagnosis of BF based on global optimization LS-SVM 工程科学学报.2017,391)：39htps:1doi.org10.13374.issn2095-9389.2017.01.005 一种基于鲁棒随机向量函数链接网络的磨矿粒度集成建模方法 Grinding process particle size modeling method using robust RVFLN-based ensemble learning 工程科学学报.2019,41(1)：67 https:/1doi.org/10.13374.issn2095-9389.2019.01.007 形态分量分析在滚动轴承故障诊断中的应用 Application of morphological component analysis for rolling element bearing fault diagnosis 工程科学学报.2017,396：909 https::/1doi.org10.13374j.issn2095-9389.2017.06.014 基于极限学习机(ELM)的连铸坯质量预测 Quality prediction of the continuous casting bloom based on the extreme learning machine 工程科学学报.2018,40(7)：815 https:ldoi.org10.13374.issn2095-9389.2018.07.007 基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 Ensemble extreme learning machine approach for heartbeat classification by fusing Id convolutional and handcrafted features 工程科学学报.2021,43(9：外1224 https:/1doi.org/10.13374.issn2095-9389.2021.01.12.005

一种改进的l p -RWMKE-ELM故障诊断模型刘星赵建印朱敏张伟 Research on an improved l p -RWMKE-ELM fault diagnosis model LIU Xing, ZHAO Jian-yin, ZHU Min, ZHANG Wei 引用本文: 刘星, 赵建印, 朱敏, 张伟. 一种改进的l p -RWMKE-ELM故障诊断模型[J]. 工程科学学报, 2022, 44(1): 82-94. doi: 10.13374/j.issn2095-9389.2020.07.09.001 LIU Xing, ZHAO Jian-yin, ZHU Min, ZHANG Wei. Research on an improved l p -RWMKE-ELM fault diagnosis model[J]. Chinese Journal of Engineering, 2022, 44(1): 82-94. doi: 10.13374/j.issn2095-9389.2020.07.09.001 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2020.07.09.001 您可能感兴趣的其他文章 Articles you may be interested in 一种基于轻量级神经网络的高铁轮对轴承故障诊断方法 Fault diagnosis of high-speed train wheelset bearing based on a lightweight neural network 工程科学学报. 2021, 43(11): 1482 https://doi.org/10.13374/j.issn2095-9389.2020.12.09.001 基于全局优化支持向量机的多类别高炉故障诊断 Multi-class fault diagnosis of BF based on global optimization LS-SVM 工程科学学报. 2017, 39(1): 39 https://doi.org/10.13374/j.issn2095-9389.2017.01.005 一种基于鲁棒随机向量函数链接网络的磨矿粒度集成建模方法 Grinding process particle size modeling method using robust RVFLN-based ensemble learning 工程科学学报. 2019, 41(1): 67 https://doi.org/10.13374/j.issn2095-9389.2019.01.007 形态分量分析在滚动轴承故障诊断中的应用 Application of morphological component analysis for rolling element bearing fault diagnosis 工程科学学报. 2017, 39(6): 909 https://doi.org/10.13374/j.issn2095-9389.2017.06.014 基于极限学习机(ELM)的连铸坯质量预测 Quality prediction of the continuous casting bloom based on the extreme learning machine 工程科学学报. 2018, 40(7): 815 https://doi.org/10.13374/j.issn2095-9389.2018.07.007 基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 Ensemble extreme learning machine approach for heartbeat classification by fusing 1d convolutional and handcrafted features 工程科学学报. 2021, 43(9): 1224 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.005

工程科学学报.第44卷.第1期：82-94.2022年1月 Chinese Journal of Engineering,Vol.44,No.1:82-94,January 2022 https://doi.org/10.13374/j.issn2095-9389.2020.07.09.001;http://cje.ustb.edu.cn 一种改进的I。RWMKE-ELM故障诊断模型刘星)区，赵建印山，朱敏2)，张伟) 1)海军航空大学，烟台2640012)中国人民解放军91576部队，宁波3150203)海装西安局驻咸阳地区军代室，咸阳713100 ☒通信作者，E-mail:xinghandeqipan(@sina.com 摘要针对装备各类故障样本分布不平衡、现有算法故障诊断精度较低的问题，通过引入P范数约束多核极限学习机和基于AdaBoost的集成学习策略，定义了一种p范数约束下正则化加权多核集成极限学习机的故障诊断模型.首先，在p范数约束下，基于各类故障样本自身规模，分别进行了两种自适应的样本权重分配；其次，在每层分类器的优化中，将多核学习的多源数据融合能力和极限学习机运算高效的特点相结合，同时，将样本的权重W更新融入到多核极限学习机的优化进程：最后，通过Adaboost集成策略，自适应提升富含信息的样本在模型中的权重，从而显著提升故障诊断的精度.以6个UCI公共数据集以及1个实装案例为例，进行了故障诊断实验.结果表明，与核极限学习机、加权核极限学习机（使用W)和W2)加权方式）以及多核极限学习机（在1范数和P范数约束下）相比，诊断精度有显著提升；范数约束形式对模型的诊断性能影响有限. 关键词加权核极限学习机：多核学习：集成学习；P范数约束；故障诊断分类号V243.2 Research on an improved l-RWMKE-ELM fault diagnosis model LIU Xing,ZHAO Jian-yin,ZHU Min,ZHANG Wei 1)Naval Aviation University,Yantai 264001,China 2)Unit 91576 of the PLA,Ningbo 315020,China 3)Military Representative Office of Naval Equipment Department in Xianyang,Xianyang 713100.China Corresponding author,E-mail:xinghandeqipan @sina.com ABSTRACT As the service time of military equipment increases,equipment failure data is continuously accumulated during events such as routine maintenance,training,and combat readiness exercises,and the data presented is often imbalanced to varying degrees and consists of small samples.In addition,due to fault tolerances of various electrical component parameters in the equipment and widespread nonlinearity and feedback loops of the circuit,it is often difficult to accurately express the fault mechanism using mathematical models.This poses new challenges for the fault diagnosis of equipment.To address the aforementioned problems,machine learning methods are widely used for fault diagnosis.The essence of such methods is that they transform a fault diagnosis problem into a pattern recognition problem.By learning the characteristic data of normal modes and various failure modes,a diagnosis model is constructed and,ultimately,a diagnosis strategy is formed.Aiming at the problems of the unbalanced distribution of various fault samples from equipment and low fault diagnosis accuracy of existing algorithms,in this paper,we define a regularized weighted multiple kernel ensemble under a p-norm constraint by introducing a p-norm constraint weighted multicore extreme learning machine and an ensemble learning strategy based on the AdaBoost fault diagnosis model of extreme learning machine.Under the p-norm constraint,the model performed two types of adaptive sample weight distribution based on the size of various fault samples;simultaneously,the model combines the multisource data fusion and extreme learning abilities of the multiple kernel learning machine with high efficiency.The weight of a sample,W,is integrated into the optimization objective function of the multiple kernel extreme learning machine.Through 收稿日期：2020-07-09 基金项目：国家自然科学基金资助项目(11802338)

一种改进的 lp -RWMKE-ELM 故障诊断模型刘星1) 苣，赵建印1)，朱敏2)，张伟3) 1) 海军航空大学，烟台 264001 2) 中国人民解放军 91576 部队，宁波 315020 3) 海装西安局驻咸阳地区军代室，咸阳 713100 苣通信作者， E-mail: xinghandeqipan@sina.com W W(1) W(2) 摘要针对装备各类故障样本分布不平衡、现有算法故障诊断精度较低的问题，通过引入 p 范数约束多核极限学习机和基于 AdaBoost 的集成学习策略，定义了一种 p 范数约束下正则化加权多核集成极限学习机的故障诊断模型. 首先，在 p 范数约束下，基于各类故障样本自身规模，分别进行了两种自适应的样本权重分配；其次，在每层分类器的优化中，将多核学习的多源数据融合能力和极限学习机运算高效的特点相结合，同时，将样本的权重更新融入到多核极限学习机的优化进程；最后，通过 Adaboost 集成策略，自适应提升富含信息的样本在模型中的权重，从而显著提升故障诊断的精度. 以 6 个 UCI 公共数据集以及 1 个实装案例为例，进行了故障诊断实验. 结果表明，与核极限学习机、加权核极限学习机（使用和加权方式）以及多核极限学习机（在 1 范数和 p 范数约束下）相比，诊断精度有显著提升；范数约束形式对模型的诊断性能影响有限. 关键词加权核极限学习机；多核学习；集成学习；p 范数约束；故障诊断分类号 V243.2 Research on an improved lp -RWMKE-ELM fault diagnosis model LIU Xing1) 苣，ZHAO Jian-yin1) ，ZHU Min2) ，ZHANG Wei3) 1) Naval Aviation University, Yantai 264001, China 2) Unit 91576 of the PLA, Ningbo 315020, China 3) Military Representative Office of Naval Equipment Department in Xianyang, Xianyang 713100, China 苣 Corresponding author, E-mail: xinghandeqipan@sina.com ABSTRACT As the service time of military equipment increases, equipment failure data is continuously accumulated during events such as routine maintenance, training, and combat readiness exercises, and the data presented is often imbalanced to varying degrees and consists of small samples. In addition, due to fault tolerances of various electrical component parameters in the equipment and widespread nonlinearity and feedback loops of the circuit, it is often difficult to accurately express the fault mechanism using mathematical models. This poses new challenges for the fault diagnosis of equipment. To address the aforementioned problems, machine learning methods are widely used for fault diagnosis. The essence of such methods is that they transform a fault diagnosis problem into a pattern recognition problem. By learning the characteristic data of normal modes and various failure modes, a diagnosis model is constructed and, ultimately, a diagnosis strategy is formed. Aiming at the problems of the unbalanced distribution of various fault samples from equipment and low fault diagnosis accuracy of existing algorithms, in this paper, we define a regularized weighted multiple kernel ensemble under a p-norm constraint by introducing a p-norm constraint weighted multicore extreme learning machine and an ensemble learning strategy based on the AdaBoost fault diagnosis model of extreme learning machine. Under the p-norm constraint, the model performed two types of adaptive sample weight distribution based on the size of various fault samples; simultaneously, the model combines the multisource data fusion and extreme learning abilities of the multiple kernel learning machine with high efficiency. The weight of a sample, W, is integrated into the optimization objective function of the multiple kernel extreme learning machine. Through 收稿日期: 2020−07−09 基金项目: 国家自然科学基金资助项目（11802338）工程科学学报，第 44 卷，第 1 期：82−94，2022 年 1 月 Chinese Journal of Engineering, Vol. 44, No. 1: 82−94, January 2022 https://doi.org/10.13374/j.issn2095-9389.2020.07.09.001; http://cje.ustb.edu.cn

刘星等：一种改进的l。RWMKE-ELM故障诊断模型 83· the Adaboost integration strategy,the information-rich sample in the model is adaptively improved.Thus,the weight of a sample significantly improves the accuracy of fault diagnosis.Taking 6 UCI public data sets and 1 actual installation case as examples,a fault diagnosis experiment was conducted.The results of the experiment show that the model constructed in this study has significantly improved diagnostic accuracy compared with other models such as kernel extreme learning machine,weighted kernel extreme learning machine(W(1)and W2)weighting method),and weighted multiple kernel extreme learning machine under 1-norm constraint,and the model's diagnostic performance impact is limited. KEY WORDS weighted kernel extreme learning machine;multiple kernel learning;ensemble learning:p-norm constraint;fault diagnosis 随着服役时间的增加和故障案例的缓慢积研究的重点方向).MKL因能找到一个相对合理累，军事装备的故障数据往往呈现不同程度的类的组合核函数而备受关注，并且在故障诊断4、不平衡、小样本的特点.此外，由于装备中各类电图像分析6-等领域得到了充分的应用.集成学气元件参数存在容差四、普遍存在非线性和反馈习8-的本质是基于多个弱分类器得出一个性能回路冈，故障机理往往难以用准确的数学模型来表更加优异的强分类器，达到提升模型整体分辨力达.这对装备的故障诊断构成了巨大的挑战的目的.文献[20]提出了在线ELM的集成版本，在当前的故障诊断领域中，机器学习是解决上述解决了概念漂移和数据类不平衡问题.文献[21] 问题的常用方法，其本质是将故障诊断转化为模式识将加权ELM融入到Adboost模型中，用于解决数别问题，以数据驱动的方式构建诊断模型并最终形成据类不平衡的分类问题.然而，上述方法的改进方诊断策略.其中，基于极限学习机(Extreme learning 向相对单一，并不能同时有效应对装备故障数据 machine,ELM)的研究近年来取得了许多优秀的研小样本、不平衡且整体诊断精度偏低的问题. 究成果)ELM属于单隐层前馈神经网络，其输入注意到NKELM与集成学习在关注个体样本层到隐藏层的输入权重和偏置均为随机生成，其输出重要性方面的共通性，本文以Adaboost集成学习权重则通过矩阵求逆直接获取，具备学习速度极快、框架为基础，同时将每层的WKELM的单核扩展训练参数不多、泛化能力较强的优势为多核，提出，范数约束下正则化加权多核集成对于类不平衡问题啊，通常的做法是利用过采样极限学习机(Regularized weighted multiple kernel 或欠采样方法建立数据的平衡分布，或者为每个 ensemble ELM under /-norm constraint,/-RWMKE- 训练样本分配不同的错误分类代价).在ELM领 ELM).其创新点和先进性体现在：域，也衍生出一系列改进版本用于处理类不平衡条 (1)将各类样本的自适应加权、Adaboost集成件下的多分类问题Deng等提出了加权正则化学习策略及MKL纳入到一个统一的学习框架内， ELM.Zong等uo提出了加权极限学习机(Weighted 推导出了融合后的诊断决策的数学表达式； extreme learning machine,WELM),并对其实现了核 (2)选用6个UCI公共数据集和实装数据进行了化，即加权核极限学习机(Weighted kernel extreme 仿真实验，与核极限学习机(Kernel based extreme learning machine,WKELM),其依据两种策略为每个 learning machine,.KELM)22、加权核极限学习机训练样本赋予不同的权重，使WELM及WKELM (Weighted kernel based extreme learning machine,WK- 适用于不平衡分类问题.Mirza等山提出了加权在 ELM)、在1范数和p范数约束下的多核极限学习机线序贯极限学习机(Weighted online sequential ELM, (分别简记为I1-MKELM、Ip-MKELM)、融入散度秩的 WOS-ELM),实现了加权增量学习.Mao等2针对多核极限学习机(Incorporating Trace of Data Scattering 时间序列不平衡数据集，提出了基于加权极限学习 Matrix MKELM,ITDSMM-KELM)I相比，实验结机的稀疏化改进模型，其核心思想是根据敏感性及果表明，所提模型具有更高的诊断准确性和稳定性特异性的变化为每个连续样本动态分配权重.上述 1理论基础方法虽然在ELM框架内融入了不平衡分类的处理方法，但并未给出合理的核函数的确定及核参数的 1.1多核ELM 选取方法，并且模型的整体分辨力仍然较低假设训练数据集为D={(x,)冷=，测试数据针对上述问题，与多核学习(Multiple kernel 集为De=yr其中，，xeR分别表示训 learning,.MKL)或集成学习相结合是近年来ELM 练样本实例和测试样本实例：deR表示样本实例

W(1) W(2) the Adaboost integration strategy, the information-rich sample in the model is adaptively improved. Thus, the weight of a sample significantly improves the accuracy of fault diagnosis. Taking 6 UCI public data sets and 1 actual installation case as examples, a fault diagnosis experiment was conducted. The results of the experiment show that the model constructed in this study has significantly improved diagnostic accuracy compared with other models such as kernel extreme learning machine, weighted kernel extreme learning machine ( and weighting method), and weighted multiple kernel extreme learning machine under 1-norm constraint, and the model’s diagnostic performance impact is limited. KEY WORDS weighted kernel extreme learning machine； multiple kernel learning； ensemble learning； p-norm constraint； fault diagnosis 随着服役时间的增加和故障案例的缓慢积累，军事装备的故障数据往往呈现不同程度的类不平衡、小样本的特点. 此外，由于装备中各类电气元件参数存在容差[1]、普遍存在非线性和反馈回路[2] ，故障机理往往难以用准确的数学模型来表达. 这对装备的故障诊断构成了巨大的挑战. 在当前的故障诊断领域中，机器学习是解决上述问题的常用方法，其本质是将故障诊断转化为模式识别问题，以数据驱动的方式构建诊断模型并最终形成诊断策略. 其中，基于极限学习机（Extreme learning machine , ELM）的研究近年来取得了许多优秀的研究成果[3] . ELM 属于单隐层前馈神经网络[4] ，其输入层到隐藏层的输入权重和偏置均为随机生成，其输出权重则通过矩阵求逆直接获取，具备学习速度极快、训练参数不多、泛化能力较强的优势. 对于类不平衡问题[5] ，通常的做法是利用过采样或欠采样方法建立数据的平衡分布[6] ，或者为每个训练样本分配不同的错误分类代价[7] . 在 ELM 领域，也衍生出一系列改进版本用于处理类不平衡条件下的多分类问题[8] . Deng 等[9] 提出了加权正则化 ELM. Zong 等[10] 提出了加权极限学习机（Weighted extreme learning machine，WELM），并对其实现了核化，即加权核极限学习机（Weighted kernel extreme learning machine，WKELM），其依据两种策略为每个训练样本赋予不同的权重，使 WELM 及 WKELM 适用于不平衡分类问题. Mirza 等[11] 提出了加权在线序贯极限学习机（Weighted online sequential ELM, WOS-ELM），实现了加权增量学习. Mao 等[12] 针对时间序列不平衡数据集，提出了基于加权极限学习机的稀疏化改进模型，其核心思想是根据敏感性及特异性的变化为每个连续样本动态分配权重. 上述方法虽然在 ELM 框架内融入了不平衡分类的处理方法，但并未给出合理的核函数的确定及核参数的选取方法，并且模型的整体分辨力仍然较低. 针对上述问题，与多核学习（ Multiple kernel learning, MKL）或集成学习相结合是近年来 ELM 研究的重点方向[13] . MKL 因能找到一个相对合理的组合核函数而备受关注，并且在故障诊断[14−15]、图像分析[16−17] 等领域得到了充分的应用. 集成学习[18−19] 的本质是基于多个弱分类器得出一个性能更加优异的强分类器，达到提升模型整体分辨力的目的. 文献 [20] 提出了在线 ELM 的集成版本，解决了概念漂移和数据类不平衡问题. 文献 [21] 将加权 ELM 融入到 Adboost 模型中，用于解决数据类不平衡的分类问题. 然而，上述方法的改进方向相对单一，并不能同时有效应对装备故障数据小样本、不平衡且整体诊断精度偏低的问题. 注意到 WKELM 与集成学习在关注个体样本重要性方面的共通性，本文以 Adaboost 集成学习框架为基础，同时将每层的 WKELM 的单核扩展为多核，提出 lp 范数约束下正则化加权多核集成极限学习机（ Regularized weighted multiple kernel ensemble ELM under lp -norm constraint， lp -RWMKEELM）. 其创新点和先进性体现在：（1）将各类样本的自适应加权、Adaboost 集成学习策略及 MKL 纳入到一个统一的学习框架内，推导出了融合后的诊断决策的数学表达式；（2）选用 6 个 UCI 公共数据集和实装数据进行了仿真实验，与核极限学习机（Kernel based extreme learning machine， KELM） [22]、加权核极限学习机（Weighted kernel based extreme learning machine，WKELM）、在 1 范数和 p 范数约束下的多核极限学习机（分别简记为 l1 -MKELM、lp -MKELM）、融入散度秩的多核极限学习机（Incorporating Trace of Data Scattering Matrix MKELM, ITDSMM-KELM） [23] 相比，实验结果表明，所提模型具有更高的诊断准确性和稳定性. 1 理论基础 1.1 多核 ELM DTr = {(xi , yi)} n i=1 DTe = {(x ′ j , y ′ j )} n ′ j=1 xi , x ′ j ∈ R d d ∈ R 假设训练数据集为，测试数据集为 . 其中，分别表示训练样本实例和测试样本实例；表示样本实例刘星等：一种改进的 lp -RWMKE-ELM 故障诊断模型 · 83 ·

84 工程科学学报，第44卷，第1期的维数；∈{1,2，，m表示x对应的故障模式，n 其中，AVG表示所有类的平均训练样本数，这样可为样本个数.诊断模型设计的本质是基于D寻以减少少数群体和多数群体之间的平衡步长，使找一个映射函数fx):Rd→R,使其可以将De中其达到0.618：1的比率.在多类分类中，少数类是的任一个样本实例x映射为相应的故障模式指样本数量低于所有类平均样本数的那些类别，而 ∈(l,2,…,m.当使用Ip-MKELM作为诊断模型多数类是指样本数高于所有类平均样本数的类别寻找映射函数fx)时，其初始优化问题表示为 2 改进的1，范数约束加权多核多故障集成学习诊断框架 q=1 st∑g=-i=12n 21正则化加权多核极限学习机对于输入空间中的n组故障样本，假设其权重 ∑e=l,≥0，p>1 (1) 分布为w={w”并且有∑”W=1.为便于运算，其中，小表示F范数，kg,川=为预定义的r个基核将其扩展为主对角线元素为w的n×n对角矩阵，表 y=yg表示基核的组合权重，B=B阴，B阴，…，BT 示为W=diag[w1,…,wnl 表示模型总的输出权重，B,∈Rgm表示对应于对于优化问题(1)，令B,=V了B,可以得到基核kg(,北的输出权重，仲gO北=为对应于基核 (5) kg(,)的特征映射；m表示ELM的输出节点个数；东=[传，，m「表示对应于第个故障样本的将式(3)代入优化问题(1)，同时，将样本分布训练误差向量，y:=y,…ymJT表示第个故障样权重矩阵W融合到优化问题中，得到I,范数约束本的理想输出向量；C为正则化因子，p为范数约下正则化加权多核极限学习机：束形式.对式(1)对应的Lagrange函数中各变量分别求偏导，并采用两步交替优化策略求解Lagrange min5∑Bg+22%l. P.5Y2 乘子矩阵α以及基核组合权重y,得出模型最优化参数a和y,则决策函数为 st∑a,=听-，i=12n ∑g=l%>0,p>1 (6) (2) =1 q=1 对比新的优化问题(4)与原优化问题(1)，分其中，a为Lagrange乘子，并且有ax=[a1,…,anJT, 布权重W的融入使得模型可以根据样本的类不平 i=[al,…,amJ 衡程度合理分配样本权重，确保诊断模型能够聚 1.2权重分配方式焦到一些富含优化信息的训练样本上，从而有效本文采用Vong等在文献[24中提出的权重提高模型的解释能力分配方法，为每个样本分配权重，寻求各类样本在为了求解优化问题(4)，给出其对应的Lagrange 规模上的再平衡，将分隔超边界推向多数类来减函数轻样本类不平衡的影响，实际上属于代价敏感学习范畴.两种权重分配方式如下： LI(Bq.5i.Yq.i)= 2a+空f- w=diag[w1,…,wn],wi= 1 #0)mi=1,2,,m (3) 其中，#O)表示故障模式y的训练样本数.通过权 (7) 重分布，使得少数样本被赋予更大的权重.显然，式中，由上文序=V了g,可知耶g1=VYgBǔ和A均为数据的类不平衡程度越高，各类样本之间的分布 Lagrange乘子，且a=[a1,…,anJT,ai=[al,…,mJT 权重相差就越大对式(5)中的优化变量分别求偏导，可得 w2=diag[w1,…,wnl, OLI(Ba.5i.Yi) 0.618 A,-2xa= Wi= ,if#(vi)>AVG aBq g=l isl #(y)m (4) 1 Wi= if#(y)≤AVG 0→Bg=yg ∑gx)a (8) #(y)m

yi ∈ {1,2,··· ,m} xi n DTr f(x) : R d → R DTe x ′ j y ′ j ∈ {1,2,··· ,m} f(x) 的维数；表示对应的故障模式，为样本个数. 诊断模型设计的本质是基于寻找一个映射函数，使其可以将中的任一个样本实例映射为相应的故障模式 . 当使用 lp -MKELM 作为诊断模型寻找映射函数时，其初始优化问题表示为 min β,ξ,γ 1 2 ∑r q=1 ||βq||2 F + C 2 ∑n i=1 ||ξi ||2 2 , s.t. ∑r q=1 √ γqϕq(xi)βq = y T i −ξ T i ,i = 1,2,··· ,n, ∑r q=1 γ p q = 1, γq ⩾ 0, p > 1 （1） || · ||F {kq(·,·)} r q=1 γ={γq} r q=1 β=[β T 1 ,β T 2 ,··· ,β T r ] T βq ∈ R |ϕq(·)|×m {kq(·,·)} r q=1 {ϕq(·)} r q=1 {kq(·,·)} r q=1 ξi = [ξi1,··· , ξim] T i yi = [yi1,··· , yim] T i α γ α ∗ γ ∗ 其中，表示F 范数，为预定义的r 个基核，表示基核的组合权重，表示模型总的输出权重，表示对应于基核的输出权重，为对应于基核的特征映射；m 表示 ELM 的输出节点个数；表示对应于第个故障样本的训练误差向量，表示第个故障样本的理想输出向量；C 为正则化因子，p 为范数约束形式. 对式（1）对应的 Lagrange 函数中各变量分别求偏导，并采用两步交替优化策略求解 Lagrange 乘子矩阵以及基核组合权重，得出模型最优化参数和，则决策函数为 f(·) = ∑n i=1 (α ∗ i ) T∑r q=1 γ ∗ q kq(xi ,·) （2） α α = [α1,··· ,αn] T αi = [αi1,··· ,αim] T 其中，为 Lagrange 乘子，并且有， . 1.2 权重分配方式本文采用 Vong 等在文献 [24] 中提出的权重分配方法，为每个样本分配权重，寻求各类样本在规模上的再平衡，将分隔超边界推向多数类来减轻样本类不平衡的影响，实际上属于代价敏感学习范畴. 两种权重分配方式如下： W(1) = diag[w1,··· ,wn],wi = 1 #(yi)m ,i = 1,2,··· ,m （3）其中， #(yi) 表示故障模式 yi 的训练样本数. 通过权重分布，使得少数样本被赋予更大的权重. 显然，数据的类不平衡程度越高，各类样本之间的分布权重相差就越大. W(2) = diag[w1,··· ,wn],    wi = 0.618 #(yi)m ,if#(yi) > AVG wi = 1 #(yi)m ,if#(yi) ⩽ AVG （4）其中，AVG 表示所有类的平均训练样本数，这样可以减少少数群体和多数群体之间的平衡步长，使其达到 0.618∶1 的比率. 在多类分类中，少数类是指样本数量低于所有类平均样本数的那些类别，而多数类是指样本数高于所有类平均样本数的类别. 2 改进的 lp 范数约束加权多核多故障集成学习诊断框架 2.1 正则化加权多核极限学习机 w = {wi} n i=1 ∑n i=1wi = 1 wi n×n W = diag[w1,··· ,wn] 对于输入空间中的 n 组故障样本，假设其权重分布为，并且有 . 为便于运算，将其扩展为主对角线元素为的对角矩阵，表示为 . β˜ q = √ 对于优化问题（1），令 γqβq ，可以得到 ∑r q=1 ||βq||2 F = ∑r q=1 ||β˜ q||2 F / γq （5） W 将式（3）代入优化问题（1），同时，将样本分布权重矩阵融合到优化问题中，得到 lp 范数约束下正则化加权多核极限学习机： min β˜,ξ,γ 1 2 ∑r q=1 1 γq ||β˜ q||2 F + C 2 ∑n i=1 wi ||ξi ||2 2 , s.t.∑r q=1 ϕq(xi)β˜ q = y T i −ξ T i ,i = 1,2,··· ,n, ∑r q=1 γ p q = 1,γq ⩾ 0, p > 1 （6） W 对比新的优化问题（4）与原优化问题（1），分布权重的融入使得模型可以根据样本的类不平衡程度合理分配样本权重，确保诊断模型能够聚焦到一些富含优化信息的训练样本上，从而有效提高模型的解释能力. 为了求解优化问题（4），给出其对应的 Lagrange 函数. L1(β˜ q,ξi , γq,αi) = 1 2 ∑r q=1 1 γq ||β˜ q||2 F + C 2 ∑n i=1 wi ||ξi ||2 − ∑n i=1 ∑m l=1 αil   ∑r q=1 ϕq(xi)β˜ ql −yil +ξil   +λ   ∑r q=1 γ p q −1   （7） β˜ q = √ γqβq β˜ ql = √ γqlβql α λ α = [α1,··· ,αn] T αi = [αi1,··· ,αim] T 式中，由上文，可知，和均为 Lagrange 乘子，且， . 对式（5）中的优化变量分别求偏导，可得 ∂L1(β˜ q,ξi , γq,αi) ∂β˜ q = ∑r q=1 1 γq β˜ q − ∑r q=1 ∑n i=1 ϕ T q (xi)α T i = 0 → β˜ q = γq ∑n i=1 ϕ T q (xi)α T i （8） · 84 · 工程科学学报，第 44 卷，第 1 期

刘星等：一种改进的l。RWMKE-ELM故障诊断模型 85 0了w5iZ4s ∑1Bg.且B∈，ox1,所以可以得到 OE (9) B,=∑l∑15x6= aL,5coa-2a,-y+=010》 ∑∑Ax∑g ∑1∑∑nc) (18) ,-2,+2p 将式(16)代人式(15)可得yw.显然，当yg的 aY4 初始值非负时，在每次迭代中其为非负，因此，式 0→9g眼=2pyg1 (5)中不再对yg进行非负约束.通过两步交替优 (11) 化，得到最优模型参数和y,此时决策函数为以下采用两步交替优化策略求解Lagrange乘 f0=∑∑yk (19) 子矩阵α以及基核组合权重y =1 (1)在固定y的条件下求解a 2.2基于Adaboost的多核集成学习诊断框架将公式(6)、(7)依次代入式(8)中，得到为进一步提升1，范数约束下正则化加权多核 an2--c (12) 极限学习机的诊断模型性能，本文采用集成学习中广泛应用的Adaboost集成策略2（权重分别取由公式(10)可得到， WD、W2两种形式)，构造三层集成诊断框架，每三an,am- 层为一个分类器，将基核的集合定义为KZ= il {41;2;43,其中，1=km表示线性核；42= {pol.l,poly2,…,kPoly,pr表示pr个不同参数的多项式核集合；43={KGauss.l,kGauss..2,…,KGaus.gr表示gr个 =1 (13) 不同参数的高斯核集合，并且有1+pr+gr=r. 以Y=[y1,…,yJ表示理想的输出矩阵，由式(12) 第一层分类器采用41去训练一个单核诊断模得Ky)a=Y-a/WC,K)为核矩阵，由此求得型，将公式(1)中多核数量设置为1（分类器退化为 =(K(y)+1/WC)-Y 一个KELM),得到决策函数f():第二层分类器采 (14) 用42训练多项式多核2-MKELM模型，由公式(19) (2)在固定α的条件下求解y (核函数选择组合多项式核)得到决策函数f(:同由式(9)得到理，当核函数选择组合高斯核时，得到第三层的决 (l 、/(p+I) IBll (p+D) (15) 策函数f().在获取f()(u=1,2,3)后，为方便表示， Ya= (2p)p* 用G():X→{1,2，…，m表示对应于f(的分类器，根据∑冶=1的约束条件，由式(9)还可以为得到最终的决策模型，还有三个问题要解决：得到 (I)计算各层基本分类器分类误差率e4 令w表示第个样本在第u层分类器中的权重 (2p)/p*) (∑，a,2p+Vp (16) 值，则因为Bg=ygBg,将其与式(14)一起代入 eu=P(Gu(i)≠y）)= wuil(Gn(x）≠y》） (20) 式(13)中，得到更新方程台 (YallBl )(P+D) (为指示函数，其定义为 (17) YalB ll (D (0,if Gu(xi)=yi IGc)=1,ifGx)≠片 (21) 其中，yg表示第q个基核在上一次迭代中的权值； (2)计算决策函数f(⊙的重要度系数km yw表示第q个基核在本次迭代中的权值更新.由重要度系数K表示G(x)在最终分类器中的重式(6)得到，Bg=yg[(x1),x2),…,xna.根据要程度，定义为 B,=ygBg,进一步有Bg=VTg∑%1aφgx, Ku =(1/2)In[(1-)/eu] (22) 12g(x…,%1cmg(x因为有邮g眼= 由上式可知，当eu≤1/2时，ku≥0，且kw随着eu

∂L1(β˜ q,ξi , γq,αi) ∂ξi = C ∑n i=1 wiξi − ∑n i=1 αi = 0 → ξi = 1 wiC αi （9） ∂L1(β˜ q,ξi , γq,αi) ∂αi = ∑r q=1 ϕq(xi)β˜ q − y T i +ξ T i = 0 （10） ∂L1(β˜ q,ξi , γq,αi) ∂γq = − 1 2 ∑r q=1 1 γ 2 q ||β˜ q||2 F +λ ∑r q=1 pγ p−1 q = 0 → ||β˜ q||2 F = 2pλγp+1 q （11） α γ 以下采用两步交替优化策略求解 Lagrange 乘子矩阵以及基核组合权重 . （1）在固定 γ 的条件下求解 α. 将公式（6）、（7）依次代入式（8）中，得到 ∑r q=1 ϕq(xi)γq ∑n i=1 ϕ T q (xi)α T i = y T i −α T i / wiC （12）由公式（10）可得到， ∑r q=1 ϕq(xi)γq ∑n i=1 ϕ T q (xi)α T i =   ∑r q=1 γqkq(xi , x1), ∑r q=1 γqkq(xi , x2),··· , ∑r q=1 γqkq(xi , xn)   α （13） Y = [ y1,··· , yn ]T K(γ)α = Y −α/WC 以表示理想的输出矩阵，由式（12）得，K( ) 为核矩阵，由此求得 α = (K(γ)+1/WC) −1Y （14）（2）在固定 α 的条件下求解 γ. 由式（9）得到 γq =   ||β˜ q||2 F 2pλ   1/ (p+1) = ||β˜ q||2/ (p+1) F (2pλ) 1/ (p+1) （15） ∑r q=1 γ p 根据 q = 1 的约束条件，由式（9）还可以得到 (2pλ) 1/ (p+1) = (∑r q=1 ||β˜ q||2p/ (p+1) F )1/ p （16） ||β˜ q||2 F = γq||βq||2 因为 F ，将其与式（14）一起代入式（13）中，得到更新方程. γ new q = (γq||βq||2 F ) 1/ (p+1) [∑r q=1 (γq||βq||2 F ) p/ (p+1)]1/ p （17） γq γ new q β˜ q = γq[ϕ T q (x1),ϕ T q (x2),··· ,ϕ T q (xn)]α ||β˜ q||2 F = γq||βq||2 F βq = √ γq [∑n i=1 αi1ϕ T q (xi), ∑n i=1 αi2ϕ T q (xi),··· , ∑n i=1 αimϕ T q (xi) ] βq 2 F = 其中，表示第 q 个基核在上一次迭代中的权值；表示第 q 个基核在本次迭代中的权值更新. 由式（6）得到， . 根据，进一步有 . 因为有 ∑m l−1 βq 2 2 βql ∈ R |ϕq(·)|×1 ，且，所以可以得到 ||βq||2 F = ∑m l=1 || √ γq ∑n i=1 αilϕ T q (xi)||2 2 = ∑m l=1 √ γq ∑n i=1 αilϕq(xi) √ γq ∑n j=1 αjlϕ T q (xj) = γq ∑n i=1 ∑n j=1 ∑m l=1 αilαjlkq(xi , xj) （18） γ new q γq γq α ∗ γ ∗ 将式（16）代入式（15）可得 . 显然，当的初始值非负时，在每次迭代中其为非负，因此，式（5）中不再对进行非负约束. 通过两步交替优化，得到最优模型参数和，此时决策函数为 f(·) = ∑n i=1 (α ∗ i ) T∑r q=1 γ ∗ q kq(xi ,·) （19） 2.2 基于 Adaboost 的多核集成学习诊断框架 W(1) W(2) KZ = {∆1; ∆2; ∆3} ∆1 = {kLin} ∆2 = {kPoly,1, kPoly,2,··· , kPoly,pr} pr ∆3 = {kGauss,1, kGauss,2,··· , kGauss,gr} gr 1+pr+gr = r 为进一步提升 lp 范数约束下正则化加权多核极限学习机的诊断模型性能，本文采用集成学习中广泛应用的 Adaboost 集成策略[25] （权重分别取、两种形式），构造三层集成诊断框架，每层为一个分类器，将基核的集合定义为，其中，表示线性核；表示个不同参数的多项式核集合；表示个不同参数的高斯核集合，并且有 . ∆1 f1(·) ∆2 f2(·) f3(·) fu(·)(u = 1,2,3) Gu(·) : X → {1,2,··· ,m} fu(·) 第一层分类器采用去训练一个单核诊断模型，将公式（1）中多核数量设置为 1（分类器退化为一个 KELM），得到决策函数；第二层分类器采用训练多项式多核 lp -MKELM 模型，由公式（19）（核函数选择组合多项式核）得到决策函数；同理，当核函数选择组合高斯核时，得到第三层的决策函数 . 在获取后，为方便表示，用表示对应于的分类器，为得到最终的决策模型，还有三个问题要解决：（1）计算各层基本分类器分类误差率e˜u. wu,i 令表示第 i 个样本在第u层分类器中的权重值，则 e˜u = P(Gu(xi) , yi) = ∑n i=1 wu,iI(Gu(xi) , yi) （20） I(·) 为指示函数，其定义为 I(Gu(xi), yi) = { 0, if Gu(xi) = yi 1, if Gu(xi) , yi （21）（2）计算决策函数 fu(·) 的重要度系数κu. 重要度系数κu表示 Gu(x) 在最终分类器中的重要程度，定义为 κu = (1/2)ln[(1−e˜u)/e˜u] （22）由上式可知，当e˜u ⩽ 1/2 时， κu ⩾ 0 ，且κu随着e˜u 刘星等：一种改进的 lp -RWMKE-ELM 故障诊断模型 · 85 ·

的减小而增大，实现了基于分类误差率提升分类错误样本的权重，这就实现了后层分类器能够“聚焦”到前层分类器难以正确区分的训练样本上. （3）更新各层训练样本的权值分布. W0 W1 将文献 [24] 中的初始化权重赋予线性分类器层的，当由下层向上层传递时，第 i 个故障样本的权值更新关系为 wu+1,i = wu,i exp(−κua) Zu （23） Zu Gu−1(xi) = yi a = 1 Gu−1(xi) , yi a = −1 Zu = ∑n i=1wu,i exp(−κua) 其中，是所有训练样本权值的归一化因子，表示所有训练样本权值的加权和. 当时，；而时，， . 权重分布的传递使下层分类器中被错误分类的样本获得更大的权重，这会使上层分类器更多地关注这些难以正确分类的样本. 2.3 诊断决策基于以上讨论，lp -RWMKE-ELM 的最终决策函数表示为： f(·) = ∑ u∈{1,2,3} κu fu(·) = ∑ u∈{1,2,3} κu ∑ i∈{1,2,···,n} (α ∗ i (u))T ∑ q∈∆u γ ∗ q (u)kq(xi ,·) （24） α ∗ i (u) γ ∗ q (u) ∑ γ ∗ q (·) = 1 其中，，表示第 u 层的最优模型参数，并且基核权重 . f(·) = [f (1)(·), f (2)(·),··· , f (m) (·)] f (l) (·) x ′ j 令，式中是诊断模型中第 l 个输出节点的输出值. 对于需要进行诊断的测试样本，其诊断结果为 y ′ j = label(x ′ j) = arg max l∈{1,2,···,m} f (l) (x ′ j ) （25） lp -RWMKE-ELM 的基本框架如图 1 所示. Fault feature extraction ELM (WKELM) Test data example Importance coefficient, Importance coefficient, Importance coefficient, e1 ~ e2 ~ e3 ~ Classifier classifica tion error rate, ELM (lp -WMKELM) ELM (lp -WKMELM) Basic decision function, f1 (x) Update sample weight distribu tion Classifier classifica tion error rate, Classifier classifica tion error rate, Basic decision function, f2 (x) Basic decision function, f3 (x) Update sample weight distribu tion f(⋅)=∑ κu ∑ (αi * (u))T ∑ γq * (u)kq (xi ,⋅) q∈∆u … … Diagnostic decision Training data example Calculate initial weight W0 lp -RWMKE-ELM, G(⋅): X→{1,2,…,m} kLin kPoly,1 kPoly,pr kGauss,1 kGauss,gr W1 W2 W3 κ1 κ2 κ3 u∈{1,2,3} i∈{1,2,···,n} 图 1 lp -RWMKE-ELM 诊断模型 Fig.1 Diagnosis model based on lp -RWMKE-ELM · 86 · 工程科学学报，第 44 卷，第 1 期

刘星等：一种改进的l。RWMKE-ELM故障诊断模型 87… 2.4算法流程正的例子中真实值为正的比例，Recall是真实值为 I,-RWMKE-ELM算法流程如下正的例子中被预测为正的比例.表1给出了分类步骤1输入训练数据Dr={x,)冷：设置正器在二分类问题中的混淆矩阵则化因子C,范数约束形式P,最大迭代次数N;设置表1混淆矩阵基核g,川=，并确定各层基本分类器4,2和4 Table 1 Confusion matrix 步骤2令u=1,根据训练样本初始权重的自 Classification result 适应加权原则(W或W2②)，生成初始权值矩阵 The true situation Positive Negative Wo,根据公式(17)，令r=L,求得基于4的KELM模 Positive TP(True positive) FN(False negative) 型的决策函数ff(,并记录f(f(⊙ Negative FP(False positive) TN(True false negative) 步骤3根据公式(23)重分布wud→wu+1;且 l=u+1. π=TP/(TP+FP) (27) 步骤4根据公式(22)计算k,并记录Ku (28) 步骤5当u≤3时，用4表示4中包含的基 p=TP/(TP+FN) 核个数，令h=l,yi=[1/4l,…,1/4ul F-meanure =2xp/(x+p) (29) 步骤6当h≤N时，根据wu、4u及y由公式(12) 为了将F-measure扩展到多类分类问题，通常计算MK-ELM模型参数根据公式(I5)更新使用两种平均类型，即F-measure-.micro和F-measure- yh→yl:根据公式(16)计算Blq=1,2,…,) micro. 步骤7如果maxy*1-y≤2-6，根据公式(17) F-measure-micro定义为：计算决策函数f(),并记录f).根据公式(23)更新数据权值分布wu→w+I:根据公式(22)计算k, -.m (30) 并记录ku=u+1.若u≤3，转步骤5，若u>3,转步骤9. p-22w (31) 步骤8如果max{hytl->26,h=h+1.若 F-measure-micro=2xp/(+p) (32) h≤N,转到步骤6，若h>N,转步骤5. 步骤9输入测试样本De={x,对于x计 F-measure-macro定义为： F:=2πiP/(π+Pi) (33) 算kgx,x(q=1,2,…,i=1,2,…,n),利用公式(24) 计算f(x),利用公式(25)得到x所对应的故障标签 F-measure-macro=∑f: (34) y=label(x) i=l 由F-measure指标的定义可知，只有当各类的 3类不平衡数据集分类问题的评价指标分类的准确率和召回率都较高时，F-measure才会在传统的分类问题中，通常以分类正确率作较大.因此，在综合体现各类别样本数据的分类为分类器准确性的重要评价指标.然而，对于不平精度时，F-measure更加侧重对少数类的分类性能衡数据集的分类诊断，仅用分类正确率难以评价评价分类器的综合性能.针对该问题，本文采用文献[26] 4实验仿真提出的G-mean、F-measure作为分类器性能的度量指标. 4.1UCI公共数据集实验 G-mean是所有m类分类精度的几何平均值，其本文选取机器学习领域中广泛使用的6个UCI 定义为数据集(Diabetes,Ionosphere,Vowel,Cancer,.Bupa, Thyroid)进行仿真实验，各数据集均不同程度地呈 G-mea (26) 现类不平衡特征.实验选取KELM、WKELMI、 MKELM、I1-MKELM、I,-MKELM、ITDSMM-KELM 其中，Acc为准确率.F-measure广泛用于评估二元六种相关算法作为对比以验证模型的诊断性能.其分类系统.它被定义为Precision(π)和Recall(p)的中，KELM算法通过文献[22]所给出的方法来实现、调和均值，即公式(29)，其中，Precision是预测值为 WKELM、I1-MKELM、I,-MKELM、ITDSMM-KELM

2.4 算法流程 lp -RWMKE-ELM 算法流程如下. DTr = {(xi , yi)} n i=1 C p N {kq(·,·)} r q=1 ∆1 ∆2 ∆3 步骤 1 输入训练数据；设置正则化因子，范数约束形式，最大迭代次数；设置基核，并确定各层基本分类器，和 . u = 1 W(1) W(2) W0 r = 1 ∆u fu(·)fu(·) fu(·)fu(·) 步骤 2 令，根据训练样本初始权重的自适应加权原则（或），生成初始权值矩阵，根据公式（17），令，求得基于的 KELM 模型的决策函数，并记录 . wu,i → wu+1,i u = u+1 步骤 3 根据公式（23）重分布；且 . 步骤 4 根据公式（22）计算κu，并记录κu. u ⩽ 3 |∆u| ∆u γ h u = [1/|∆u|,··· ,1/|∆u|] 步骤 5 当时，用表示中包含的基核个数，令 h=1， . h ⩽ N wu ∆u γ h u α h u γ h u → γ h+1 u ||βq||2 F q = 1,2,··· ,r 步骤 6 当时，根据、及由公式（12）计算 MK-ELM 模型参数 . 根据公式（ 15）更新；根据公式（16）计算 ( ). max{|γ h+1 u −γ h u |} ⩽ 2 −6 fu(·) fu(·) wu → wu+1 κu κu u = u+1 u ⩽ 3 u > 3 步骤7 如果，根据公式（17）计算决策函数，并记录 . 根据公式（23）更新数据权值分布；根据公式（22）计算，并记录 , . 若，转步骤 5，若，转步骤 9. max{|γ h+1 u −γ h u |} > 2 −6 h = h+1 h ⩽ N h > N 步骤 8 如果， . 若，转到步骤 6，若，转步骤 5. DTe = {x ′ j } n ′ j=1 x ′ j kq(xi , x ′ j ) q = 1,2,··· ,r i = 1,2,··· ,n f(x ′ j ) x ′ j y ′ j = label(x ′ j ) 步骤 9 输入测试样本，对于计算 ( ； )，利用公式（24）计算，利用公式（25）得到所对应的故障标签 . 3 类不平衡数据集分类问题的评价指标在传统的分类问题中，通常以分类正确率作为分类器准确性的重要评价指标. 然而，对于不平衡数据集的分类诊断，仅用分类正确率难以评价分类器的综合性能. 针对该问题，本文采用文献 [26] 提出的 G-mean、F-measure 作为分类器性能的度量指标. G-mean 是所有 m 类分类精度的几何平均值，其定义为 G-mean =   ∏m i = 1 Acci   1 m （26） π ρ 其中，Acc 为准确率. F-measure 广泛用于评估二元分类系统. 它被定义为 Precision（）和 Recall（）的调和均值，即公式（29），其中，Precision 是预测值为正的例子中真实值为正的比例，Recall 是真实值为正的例子中被预测为正的比例. 表 1 给出了分类器在二分类问题中的混淆矩阵. 表 1 混淆矩阵 Table 1 Confusion matrix The true situation Classification result Positive Negative Positive TP (True positive) FN（False negative） Negative FP (False positive) TN（True false negative） π = TP/(TP + FP) （27） ρ = TP/(TP + FN) （28） F-meanure = 2πρ/(π+ρ) （29） F-measure-micro 为了将 F-measure 扩展到多类分类问题，通常使用两种平均类型，即和 F-measuremicro. F-measure-micro 定义为： π = ∑m i=1 TPi /∑m i=1 (TPi +FPi) （30） ρ = ∑m i=1 TPi /∑m i=1 (TPi +FNi) （31） F-measure-micro = 2πρ/(π+ρ) （32） F-measure-macro 定义为： Fi = 2πiρi/(πi +ρi) （33） F-measure-macro = 1 m ∑m i=1 Fi （34）由 F-measure 指标的定义可知，只有当各类的分类的准确率和召回率都较高时，F-measure 才会较大. 因此，在综合体现各类别样本数据的分类精度时，F-measure 更加侧重对少数类的分类性能评价. 4 实验仿真 4.1 UCI 公共数据集实验本文选取机器学习领域中广泛使用的 6 个 UCI 数据集（Diabetes， Ionosphere，Vowel，Cancer，Bupa， Thyroid）进行仿真实验，各数据集均不同程度地呈现类不平衡特征. 实验选取 KELM、WKELM[21]、 MKELM、l1 -MKELM、lp -MKELM、ITDSMM-KELM 六种相关算法作为对比以验证模型的诊断性能. 其中，KELM 算法通过文献 [22] 所给出的方法来实现、 WKELM、l1 -MKELM、lp -MKELM、ITDSMM-KELM 刘星等：一种改进的 lp -RWMKE-ELM 故障诊断模型 · 87 ·

88 工程科学学报，第44卷，第1期算法通过文献[23]给出的方法来实现，加权模型相关实验的条件设置为：第二层线性核个数所涉及到的样本加权方法分别选用上文给出的为3，第三层高斯核个数为8：每次试验中，针对每 W)、w2加权方式.首先对各数据进行归一化预个数据集，随机选择80%的数据作为训练数据，其处理，然后将所提出的方法应用于每次训练/测试余20%的作为测试数据：单核的核函数采用高斯各UCI数据集描述表2所示核，以5倍交叉验证的方法从{220,219,220}和 {20,29,,21)中分别选取正则化参数C和核参表2UCI数据集描述2四数：各算法中所涉及到的正则化参数C和核参数 Table 2 UCI data set description 设置，在具体的实验中有具有相应表述 Datasets Instances Number of Number of Size of classes 以Vowel数据集为例，将第一层分类器中各 classes features Diabetes 乎类样本的权重分布与第三层进行对比，说明权重 768 2 268,500 lonosphere 351 2 34 126,225 在模型中的变化，如图2所示 3 72,89,172, 由图2(a)和图2(b)可知，6类样本分别赋予 Vowel 871 6 151,207,180 了不同的初始权重，其中，小样本类数据的权重得 Cancer 683 9 444.239 到了增加；经过三层AdBoost策略优化后，第三层 Bupa 345 2 6 145,200 分类器中，大部分样本权重趋于一致，个别样本权 Thyroid 215 150,35,30 重（分类错误样本）得到了显著增强.显然，经过分 3.5 0.06 (a) (b) 3.0 0.05 2.5 0.04 2.0 0.03 1.5 0.02 1.0 0.01 0.5 200 400600 800 200 400 600 800 Training samples Training samples 图2权重分布.()线性层分类器权重分布：(b)高斯层分类器权重分布 Fig.2 Weight distribution:(a)weight distribution of classifier on linear layer,(b)weight distribution of classifier on gaussian layer 类器权重的逐层更新，模型提高了对分类错误样 12.84%、7.36%、9.13%、8.08%,在F-measure-.micro 本的特征信息的关注. 指标上分别提升了8.31%、6.50%、5.97%、2.65%、将WKELM在w)、W2加权方式下的算法分 3.90%、3.48%,在F-measure-.macro标上分别提升了别简记为WKELM-W1和WKELM-W2.将所提模 12.77%、10.19%、9.71%、4.30%、6.09%、5.34%. 型在w、W②加权方式下的算法分别简记为。可以看到，使用样本加权的WKELM的诊断精 RWMKE-ELM-WI和In-RWMKE-ELM-W2.对每个度优于未使用样本加权的KELM,使用多核的I。数据集，进行20次试验，然后取均值和标准差， MKELM优于使用单核的KELM,集成多核分类器表3给出了相关算法的实验结果，图3对表3的结的In-RWMKE-ELM的诊断精度优于WKELM、I。果进行了图形化对比 MKELM和ITDSMM-KELM.这是因为多核学习相由表3和图3可知，所提方法的诊断精度均优对单核学习具有更高的映射灵活性，多个核函数组合于其他方法，以Thyroid数据集和l,RWMKE-ELM- 映射的高维空间兼具各个子空间独特的特征映射能 W2模型为例，与单核学习的KELM、WKELM- 力，将各类样本数据中的不同特征向量分别通过最合 wI、WKELM-W2和多核学习的-MKELM、p 适的单个核函数进行映射，因此，在新的组合空间里， MKELM、ITDSMM-KELM相比，I,RWMKE-ELM 可以更加精确地对样本进行合理表达，有效提高故障 W2在G-mean指标上分别提升了17.44%、12.69%、样本的诊断精度.同时，运用AadBoost策略对基于线

W(1) W(2) 算法通过文献 [23] 给出的方法来实现，加权模型所涉及到的样本加权方法分别选用上文给出的、加权方式. 首先对各数据进行归一化预处理，然后将所提出的方法应用于每次训练/测试. 各 UCI 数据集描述表 2 所示. 表 2 UCI 数据集描述[22] Table 2 UCI data set description[22] Datasets Instances Number of classes Number of features Size of classes Diabetes 768 2 8 268, 500 Ionosphere 351 2 34 126, 225 Vowel 871 6 3 72, 89, 172, 151, 207, 180 Cancer 683 2 9 444, 239 Bupa 345 2 6 145, 200 Thyroid 215 3 5 150, 35, 30 2 −19 ,··· 2 −9 ,··· 相关实验的条件设置为：第二层线性核个数为 3，第三层高斯核个数为 8；每次试验中，针对每个数据集，随机选择 80％的数据作为训练数据，其余 20％的作为测试数据；单核的核函数采用高斯核，以 5 倍交叉验证的方法从{2−20 , , 220}和 {2−10 , , 210}中分别选取正则化参数 C 和核参数；各算法中所涉及到的正则化参数 C 和核参数设置，在具体的实验中有具有相应表述. 以 Vowel 数据集为例，将第一层分类器中各类样本的权重分布与第三层进行对比，说明权重在模型中的变化，如图 2 所示. 由图 2（a）和图 2（b）可知，6 类样本分别赋予了不同的初始权重，其中，小样本类数据的权重得到了增加；经过三层 AdBoost 策略优化后，第三层分类器中，大部分样本权重趋于一致，个别样本权重（分类错误样本）得到了显著增强. 显然，经过分类器权重的逐层更新，模型提高了对分类错误样本的特征信息的关注. W(1) W(2) W(1) W(2) 将 WKELM 在、加权方式下的算法分别简记为 WKELM-W1 和 WKELM-W2，将所提模型在、加权方式下的算法分别简记为 lp - RWMKE-ELM-W1 和 lp -RWMKE-ELM-W2. 对每个数据集，进行 20 次试验，然后取均值和标准差，表 3 给出了相关算法的实验结果，图 3 对表 3 的结果进行了图形化对比. 由表 3 和图 3 可知，所提方法的诊断精度均优于其他方法，以 Thyroid 数据集和 lp -RWMKE-ELMW2 模型为例，与单核学习的 KELM、 WKELMW1、 WKELM-W2 和多核学习的 l1 -MKELM、 lp - MKELM、ITDSMM-KELM 相比， lp -RWMKE-ELMW2 在 G-mean 指标上分别提升了 17.44%、12.69%、 12.84%、 7.36%、 9.13%、 8.08%，在 F-measure-micro 指标上分别提升了 8.31%、6.50%、5.97%、2.65%、 3.90%、3.48%，在 F-measure-macro 标上分别提升了 12.77%、10.19%、9.71%、4.30%、6.09%、5.34%. 可以看到，使用样本加权的 WKELM 的诊断精度优于未使用样本加权的 KELM，使用多核的 lp - MKELM 优于使用单核的 KELM，集成多核分类器的 lp -RWMKE-ELM 的诊断精度优于 WKELM、lp - MKELM 和 ITDSMM-KELM. 这是因为多核学习相对单核学习具有更高的映射灵活性，多个核函数组合映射的高维空间兼具各个子空间独特的特征映射能力，将各类样本数据中的不同特征向量分别通过最合适的单个核函数进行映射，因此，在新的组合空间里，可以更加精确地对样本进行合理表达，有效提高故障样本的诊断精度. 同时，运用 AadBoost 策略对基于线 0 200 400 600 800 Training samples 0.5 1.0 1.5 2.0 2.5 3.0 3.5 Sample weight/10−3 0 0.01 0.02 0.03 0.04 0.05 0.06 Sample weight (a) 0 200 400 600 800 Training samples (b) 图 2 权重分布. （a）线性层分类器权重分布；（b）高斯层分类器权重分布 Fig.2 Weight distribution: (a) weight distribution of classifier on linear layer; (b) weight distribution of classifier on gaussian layer · 88 · 工程科学学报，第 44 卷，第 1 期

刘星等：一种改进的I。RWMKE-ELM故障诊断模型 89. 表3各模型在各个UCI数据集上诊断性能比较 Table 3 Comparison of the diagnostic performance of various models on various UCI data sets Datasets Model G-mean F-measure-micro F-measure-macro Parameter.C KELM 0.61190.0418 0.6150.0432 0.6126±0.0425 216 WKELM-W1 0.6252±0.0529 0.6301±0.0529 0.6269±0.053 2 WKELM-W2 0.6305±0.0431 0.6370±0.0432 0.6331±0.0429 29 /-MKELM 0.638±0.0332 0.6383±0.0343 0.6373±0.0338 29 Diabetes -MKELM 0.6462±0.0131 0.654±0.0152 0.6495±0.0135 21o ITDSMM-KELM 0.6387±0.0241 0.655±0.0243 0.6467±0.0238 30g -RWMKE-ELM-WI 0.68830.0612 0.6920±0.0581 0.6894±0.0596 2 /-RWMKE-ELM-W2 0.7053±0.0588 0.7080±0.0567 0.70590.0575 2 KELM 0.7955±0.0552 0.8607±0.0353 0.8335±0.0452 29 WKELM-WI 0.8519±0.0555 0.8964±0.0356 0.8791±0.0447 219 WKELM-W2 0.8309±0.0706 0.8843±0.0362 0.8624±0.0512 29 /-MKELM 0.9008±0.0315 0.9171±0.0221 0.9081±0.0259 2 lonosphere -MKELM 0.8889H0.0265 0.9146±0.0169 0.9031±0.0201 29 ITDSMM-KELM 0.8758±0.0461 0.9157±0.0305 0.90210.0379 214 /-RWMKE-ELM-WI 0.9241±0.0337 0.9429±0.0286 0.9361±0.0321 2 /-RWMKE-ELM-W2 0.9332±0.0346 0.9529±0.0234 0.9468±0.0268 2 KELM 0.8041±0.0356 0.8208±0.0259 0.8045±0.0275 26 WKELM-W1 0.8048±0.0149 0.8112±0.0273 0.8027±0.0217 29 WKELM-W2 0.7972±0.0176 0.817±0.0273 0.7965±0.0225 2010 /-MKELM 0.8121±0.0318 0.8343±0.0273 0.8063±0.0329 29 Vowel MKELM 0.8102±0.065 0.8362±0.0261 0.81540.0335 29 ITDSMM-KELM 0.8113±0.0358 0.8237±0.025 0.8174±0.0279 21 /-RWMKE-ELM-W1 0.8222±0.0499 0.8659±0.0336 0.8454±0.0389 2 -RWMKE-ELM-W2 0.8325±0.0341 0.8728±0.0187 0.8531±0.0247 2 KELM 0.9192±0.0252 0.9319±0.0171 0.9242±0.0198 2周 WKELM-WI 0.9212±0.0276 0.9445±0.0179 0.9368±0.0213 20 WKELM-W2 0.9328±0.0203 0.9409±0.0159 0.9348±0.0179 3% /-MKELM 0.9345±0.0289 0.9453±0.021 0.9391±0.0241 29 Cancer -MKELM 0.9557±0.0161 0.9562±0.0137 0.9522±0.015 29 ITDSMM-KELM 0.9498±0.0614 0.9574±0.0142 0.95290.0158 200 /-RWMKE-ELM-W1 0.9744±0.0198 0.9781±0.0052 0.9759±0.0056 29 -RWMKE-ELM-W2 0.974±0.0154 0.9737±0.0151 0.9713±0.0165 29 KELM 0.5897±0.0462 0.6063±0.0424 0.5953±0.0443 29 WKELM-W1 0.6203±0.0498 0.6232±0.0523 0.6185±0.05 29 WKELM-W2 0.6482±0.0404 0.6473±0.0418 0.6440.0412 200 /-MKELM 0.6464±0.0418 0.6473±0.0464 0.6437±0.0434 29 Bupa -MKELM 0.6272±0.049 0.6473±0.0586 0.635±0.0554 219 ITDSMM-KELM 0.6214±0.0614 0.6425±0.0731 0.6295±0.068 210 /-RWMKE-ELM-W1 0.7052±0.0459 0.7198±0.0586 0.71110.0537 29 /-RWMKE-ELM-W2 0.6762±0.0478 0.7101±0.0383 0.6924±0.0432 29

表 3 各模型在各个 UCI 数据集上诊断性能比较 Table 3 Comparison of the diagnostic performance of various models on various UCI data sets Datasets Model G-mean F-measure-micro F-measure-macro Parameter，C Diabetes KELM 0.6119±0.0418 0.615±0.0432 0.6126±0.0425 2 (6) WKELM-W1 0.6252±0.0529 0.6301±0.0529 0.6269±0.053 2 (8) WKELM-W2 0.6305±0.0431 0.6370±0.0432 0.6331±0.0429 2 (9) l1 -MKELM 0.638±0.0332 0.6383±0.0343 0.6373±0.0338 2 (3) lp -MKELM 0.6462±0.0131 0.654±0.0152 0.6495±0.0135 2 (10) ITDSMM-KELM 0.6387±0.0241 0.655±0.0243 0.6467±0.0238 2 (13) lp -RWMKE-ELM-W1 0.6883±0.0612 0.6920±0.0581 0.6894±0.0596 2 (3) lp -RWMKE-ELM-W2 0.7053±0.0588 0.7080±0.0567 0.7059±0.0575 2 (3) Ionosphere KELM 0.7955±0.0552 0.8607±0.0353 0.8335±0.0452 2 (5) WKELM-W1 0.8519±0.0555 0.8964±0.0356 0.8791±0.0447 2 (9) WKELM-W2 0.8309±0.0706 0.8843±0.0362 0.8624±0.0512 2 (8) l1 -MKELM 0.9008±0.0315 0.9171±0.0221 0.9081±0.0259 2 (3) lp -MKELM 0.8889±0.0265 0.9146±0.0169 0.9031±0.0201 2 (9) ITDSMM-KELM 0.8758±0.0461 0.9157±0.0305 0.9021±0.0379 2 (14) lp -RWMKE-ELM-W1 0.9241±0.0337 0.9429±0.0286 0.9361±0.0321 2 (3) lp -RWMKE-ELM-W2 0.9332±0.0346 0.9529±0.0234 0.9468±0.0268 2 (3) Vowel KELM 0.8041±0.0356 0.8208±0.0259 0.8045±0.0275 2 (6) WKELM-W1 0.8048±0.0149 0.8112±0.0273 0.8027±0.0217 2 (5) WKELM-W2 0.7972±0.0176 0.817±0.0273 0.7965±0.0225 2 (10) l1 -MKELM 0.8121±0.0318 0.8343±0.0273 0.8063±0.0329 2 (2) lp -MKELM 0.8102±0.065 0.8362±0.0261 0.8154±0.0335 2 (5) ITDSMM-KELM 0.8113±0.0358 0.8237±0.025 0.8174±0.0279 2 (15) lp -RWMKE-ELM-W1 0.8222±0.0499 0.8659±0.0336 0.8454±0.0389 2 (3) lp -RWMKE-ELM-W2 0.8325±0.0341 0.8728±0.0187 0.8531±0.0247 2 (3) Cancer KELM 0.9192±0.0252 0.9319±0.0171 0.9242±0.0198 2 (8) WKELM-W1 0.9212±0.0276 0.9445±0.0179 0.9368±0.0213 2 (7) WKELM-W2 0.9328±0.0203 0.9409±0.0159 0.9348±0.0179 2 (6) l1 -MKELM 0.9345±0.0289 0.9453±0.021 0.9391±0.0241 2 (5) lp -MKELM 0.9557±0.0161 0.9562±0.0137 0.9522±0.015 2 (9) ITDSMM-KELM 0.9498±0.0614 0.9574±0.0142 0.9529±0.0158 2 (11) lp -RWMKE-ELM-W1 0.9744±0.0198 0.9781±0.0052 0.9759±0.0056 2 (4) lp -RWMKE-ELM-W2 0.974±0.0154 0.9737±0.0151 0.9713±0.0165 2 (3) Bupa KELM 0.5897±0.0462 0.6063±0.0424 0.5953±0.0443 2 (5) WKELM-W1 0.6203±0.0498 0.6232±0.0523 0.6185±0.05 2 (9) WKELM-W2 0.6482±0.0404 0.6473±0.0418 0.644±0.0412 2 (11) l1 -MKELM 0.6464±0.0418 0.6473±0.0464 0.6437±0.0434 2 (5) lp -MKELM 0.6272±0.049 0.6473±0.0586 0.635±0.0554 2 (9) ITDSMM-KELM 0.6214±0.0614 0.6425±0.0731 0.6295±0.068 2 (11) lp -RWMKE-ELM-W1 0.7052±0.0459 0.7198±0.0586 0.7111±0.0537 2 (4) lp -RWMKE-ELM-W2 0.6762±0.0478 0.7101±0.0383 0.6924±0.0432 2 (3) 刘星等：一种改进的 lp -RWMKE-ELM 故障诊断模型 · 89 ·

点击进入文档下载页（PDF格式）

共14页，试读已结束，阅读完整版请下载

点击下载（PDF格式）

浏览记录