一种改进的lp-RWMKE-ELM故障诊断模型

工程科学学报 Chinese Journal of Engineering 一种改进的L-RWMK①-ELM故障诊断模型 刘星赵建印朱敏张伟 Research on an improvedRWMKE-ELM fault diagnosis model LIU Xing.ZHAO Jian-yin,ZHU Min,ZHANG Wei 引用本文： 刘星，赵建印，朱敏，张伟.一种改进的1。-RWMKE-ELM故障诊断模型[J.工程科学学报，2022,44(1)：82-94.doi: 10.13374/i.issn2095-9389.2020.07.09.001 LIU Xing,ZHAO Jian-yin,ZHU Min,ZHANG Wei.Research on an improved L-RWMKE-ELM fault diagnosis model[J].Chinese Journal of Engineering,.2022,44(1)82-94.doi:10.13374j.issn2095-9389.2020.07.09.001 在线阅读View online::https::/doi.org/10.13374j.issn2095-9389.2020.07.09.001 您可能感兴趣的其他文章 Articles you may be interested in 一种基于轻量级神经网络的高铁轮对轴承故障诊断方法 Fault diagnosis of high-speed train wheelset bearing based on a lightweight neural network 工程科学学报.2021,43(11)：1482 https:/oi.org/10.13374.issn2095-9389.2020.12.09.001 基于全局优化支持向量机的多类别高炉故障诊断 Multi-class fault diagnosis of BF based on global optimization LS-SVM 工程科学学报.2017,391)：39htps:1doi.org10.13374.issn2095-9389.2017.01.005 一种基于鲁棒随机向量函数链接网络的磨矿粒度集成建模方法 Grinding process particle size modeling method using robust RVFLN-based ensemble learning 工程科学学报.2019,41(1)：67 https:/1doi.org/10.13374.issn2095-9389.2019.01.007 形态分量分析在滚动轴承故障诊断中的应用 Application of morphological component analysis for rolling element bearing fault diagnosis 工程科学学报.2017,396：909 https::/1doi.org10.13374j.issn2095-9389.2017.06.014 基于极限学习机(ELM)的连铸坯质量预测 Quality prediction of the continuous casting bloom based on the extreme learning machine 工程科学学报.2018,40(7)：815 https:ldoi.org10.13374.issn2095-9389.2018.07.007 基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 Ensemble extreme learning machine approach for heartbeat classification by fusing Id convolutional and handcrafted features 工程科学学报.2021,43(9：外1224 https:/1doi.org/10.13374.issn2095-9389.2021.01.12.005

一种改进的l p -RWMKE-ELM故障诊断模型 刘星 赵建印 朱敏 张伟 Research on an improved l p -RWMKE-ELM fault diagnosis model LIU Xing, ZHAO Jian-yin, ZHU Min, ZHANG Wei 引用本文: 刘星, 赵建印, 朱敏, 张伟. 一种改进的l p -RWMKE-ELM故障诊断模型[J]. 工程科学学报, 2022, 44(1): 82-94. doi: 10.13374/j.issn2095-9389.2020.07.09.001 LIU Xing, ZHAO Jian-yin, ZHU Min, ZHANG Wei. Research on an improved l p -RWMKE-ELM fault diagnosis model[J]. Chinese Journal of Engineering, 2022, 44(1): 82-94. doi: 10.13374/j.issn2095-9389.2020.07.09.001 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2020.07.09.001 您可能感兴趣的其他文章 Articles you may be interested in 一种基于轻量级神经网络的高铁轮对轴承故障诊断方法 Fault diagnosis of high-speed train wheelset bearing based on a lightweight neural network 工程科学学报. 2021, 43(11): 1482 https://doi.org/10.13374/j.issn2095-9389.2020.12.09.001 基于全局优化支持向量机的多类别高炉故障诊断 Multi-class fault diagnosis of BF based on global optimization LS-SVM 工程科学学报. 2017, 39(1): 39 https://doi.org/10.13374/j.issn2095-9389.2017.01.005 一种基于鲁棒随机向量函数链接网络的磨矿粒度集成建模方法 Grinding process particle size modeling method using robust RVFLN-based ensemble learning 工程科学学报. 2019, 41(1): 67 https://doi.org/10.13374/j.issn2095-9389.2019.01.007 形态分量分析在滚动轴承故障诊断中的应用 Application of morphological component analysis for rolling element bearing fault diagnosis 工程科学学报. 2017, 39(6): 909 https://doi.org/10.13374/j.issn2095-9389.2017.06.014 基于极限学习机(ELM)的连铸坯质量预测 Quality prediction of the continuous casting bloom based on the extreme learning machine 工程科学学报. 2018, 40(7): 815 https://doi.org/10.13374/j.issn2095-9389.2018.07.007 基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 Ensemble extreme learning machine approach for heartbeat classification by fusing 1d convolutional and handcrafted features 工程科学学报. 2021, 43(9): 1224 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.005

工程科学学报.第44卷.第1期：82-94.2022年1月 Chinese Journal of Engineering,Vol.44,No.1:82-94,January 2022 https://doi.org/10.13374/j.issn2095-9389.2020.07.09.001;http://cje.ustb.edu.cn 一种改进的I。RWMKE-ELM故障诊断模型 刘星)区，赵建印山，朱敏2)，张伟) 1)海军航空大学，烟台2640012)中国人民解放军91576部队，宁波3150203)海装西安局驻咸阳地区军代室，咸阳713100 ☒通信作者，E-mail:xinghandeqipan(@sina.com 摘要针对装备各类故障样本分布不平衡、现有算法故障诊断精度较低的问题，通过引入P范数约束多核极限学习机和基 于AdaBoost的集成学习策略，定义了一种p范数约束下正则化加权多核集成极限学习机的故障诊断模型.首先，在p范数约 束下，基于各类故障样本自身规模，分别进行了两种自适应的样本权重分配；其次，在每层分类器的优化中，将多核学习的多 源数据融合能力和极限学习机运算高效的特点相结合，同时，将样本的权重W更新融入到多核极限学习机的优化进程：最后， 通过Adaboost集成策略，自适应提升富含信息的样本在模型中的权重，从而显著提升故障诊断的精度.以6个UCI公共数据 集以及1个实装案例为例，进行了故障诊断实验.结果表明，与核极限学习机、加权核极限学习机（使用W)和W2)加权方式） 以及多核极限学习机（在1范数和P范数约束下）相比，诊断精度有显著提升；范数约束形式对模型的诊断性能影响有限. 关键词加权核极限学习机：多核学习：集成学习；P范数约束；故障诊断 分类号V243.2 Research on an improved l-RWMKE-ELM fault diagnosis model LIU Xing,ZHAO Jian-yin,ZHU Min,ZHANG Wei 1)Naval Aviation University,Yantai 264001,China 2)Unit 91576 of the PLA,Ningbo 315020,China 3)Military Representative Office of Naval Equipment Department in Xianyang,Xianyang 713100.China Corresponding author,E-mail:xinghandeqipan @sina.com ABSTRACT As the service time of military equipment increases,equipment failure data is continuously accumulated during events such as routine maintenance,training,and combat readiness exercises,and the data presented is often imbalanced to varying degrees and consists of small samples.In addition,due to fault tolerances of various electrical component parameters in the equipment and widespread nonlinearity and feedback loops of the circuit,it is often difficult to accurately express the fault mechanism using mathematical models.This poses new challenges for the fault diagnosis of equipment.To address the aforementioned problems,machine learning methods are widely used for fault diagnosis.The essence of such methods is that they transform a fault diagnosis problem into a pattern recognition problem.By learning the characteristic data of normal modes and various failure modes,a diagnosis model is constructed and,ultimately,a diagnosis strategy is formed.Aiming at the problems of the unbalanced distribution of various fault samples from equipment and low fault diagnosis accuracy of existing algorithms,in this paper,we define a regularized weighted multiple kernel ensemble under a p-norm constraint by introducing a p-norm constraint weighted multicore extreme learning machine and an ensemble learning strategy based on the AdaBoost fault diagnosis model of extreme learning machine.Under the p-norm constraint,the model performed two types of adaptive sample weight distribution based on the size of various fault samples;simultaneously,the model combines the multisource data fusion and extreme learning abilities of the multiple kernel learning machine with high efficiency.The weight of a sample,W,is integrated into the optimization objective function of the multiple kernel extreme learning machine.Through 收稿日期：2020-07-09 基金项目：国家自然科学基金资助项目(11802338)

一种改进的 lp -RWMKE-ELM 故障诊断模型 刘    星1) 苣，赵建印1)，朱    敏2)，张    伟3) 1) 海军航空大学，烟台 264001    2) 中国人民解放军 91576 部队，宁波 315020    3) 海装西安局驻咸阳地区军代室，咸阳 713100 苣通信作者， E-mail: xinghandeqipan@sina.com W W(1) W(2) 摘    要    针对装备各类故障样本分布不平衡、现有算法故障诊断精度较低的问题，通过引入 p 范数约束多核极限学习机和基 于 AdaBoost 的集成学习策略，定义了一种 p 范数约束下正则化加权多核集成极限学习机的故障诊断模型. 首先，在 p 范数约 束下，基于各类故障样本自身规模，分别进行了两种自适应的样本权重分配；其次，在每层分类器的优化中，将多核学习的多 源数据融合能力和极限学习机运算高效的特点相结合，同时，将样本的权重 更新融入到多核极限学习机的优化进程；最后， 通过 Adaboost 集成策略，自适应提升富含信息的样本在模型中的权重，从而显著提升故障诊断的精度. 以 6 个 UCI 公共数据 集以及 1 个实装案例为例，进行了故障诊断实验. 结果表明，与核极限学习机、加权核极限学习机（使用 和 加权方式） 以及多核极限学习机（在 1 范数和 p 范数约束下）相比，诊断精度有显著提升；范数约束形式对模型的诊断性能影响有限. 关键词    加权核极限学习机；多核学习；集成学习；p 范数约束；故障诊断 分类号    V243.2 Research on an improved lp -RWMKE-ELM fault diagnosis model LIU Xing1) 苣 ，ZHAO Jian-yin1) ，ZHU Min2) ，ZHANG Wei3) 1) Naval Aviation University, Yantai 264001, China 2) Unit 91576 of the PLA, Ningbo 315020, China 3) Military Representative Office of Naval Equipment Department in Xianyang, Xianyang 713100, China 苣 Corresponding author, E-mail: xinghandeqipan@sina.com ABSTRACT    As the service time of military equipment increases, equipment failure data is continuously accumulated during events such as routine maintenance, training, and combat readiness exercises, and the data presented is often imbalanced to varying degrees and consists  of  small  samples.  In  addition,  due  to  fault  tolerances  of  various  electrical  component  parameters  in  the  equipment  and widespread  nonlinearity  and  feedback  loops  of  the  circuit,  it  is  often  difficult  to  accurately  express  the  fault  mechanism  using mathematical models. This poses new challenges for the fault diagnosis of equipment. To address the aforementioned problems, machine learning methods are widely used for fault diagnosis. The essence of such methods is that they transform a fault diagnosis problem into a pattern  recognition  problem.  By  learning  the  characteristic  data  of  normal  modes  and  various  failure  modes,  a  diagnosis  model  is constructed  and,  ultimately,  a  diagnosis  strategy  is  formed.  Aiming  at  the  problems  of  the  unbalanced  distribution  of  various  fault samples from equipment and low fault diagnosis accuracy of existing algorithms, in this paper, we define a regularized weighted multiple kernel  ensemble  under  a  p-norm  constraint  by  introducing  a  p-norm  constraint  weighted  multicore  extreme  learning  machine  and  an ensemble learning strategy based on the AdaBoost fault diagnosis model of extreme learning machine. Under the p-norm constraint, the model performed two types of adaptive sample weight distribution based on the size of various fault samples; simultaneously, the model combines the multisource data fusion and extreme learning abilities of the multiple kernel learning machine with high efficiency. The weight of a sample, W, is integrated into the optimization objective function of the multiple kernel extreme learning machine. Through 收稿日期: 2020−07−09 基金项目: 国家自然科学基金资助项目（11802338） 工程科学学报，第 44 卷，第 1 期：82−94，2022 年 1 月 Chinese Journal of Engineering, Vol. 44, No. 1: 82−94, January 2022 https://doi.org/10.13374/j.issn2095-9389.2020.07.09.001; http://cje.ustb.edu.cn

刘星等：一种改进的l。RWMKE-ELM故障诊断模型 83· the Adaboost integration strategy,the information-rich sample in the model is adaptively improved.Thus,the weight of a sample significantly improves the accuracy of fault diagnosis.Taking 6 UCI public data sets and 1 actual installation case as examples,a fault diagnosis experiment was conducted.The results of the experiment show that the model constructed in this study has significantly improved diagnostic accuracy compared with other models such as kernel extreme learning machine,weighted kernel extreme learning machine(W(1)and W2)weighting method),and weighted multiple kernel extreme learning machine under 1-norm constraint,and the model's diagnostic performance impact is limited. KEY WORDS weighted kernel extreme learning machine;multiple kernel learning;ensemble learning:p-norm constraint;fault diagnosis 随着服役时间的增加和故障案例的缓慢积 研究的重点方向).MKL因能找到一个相对合理 累，军事装备的故障数据往往呈现不同程度的类 的组合核函数而备受关注，并且在故障诊断4、 不平衡、小样本的特点.此外，由于装备中各类电 图像分析6-等领域得到了充分的应用.集成学 气元件参数存在容差四、普遍存在非线性和反馈 习8-的本质是基于多个弱分类器得出一个性能 回路冈，故障机理往往难以用准确的数学模型来表 更加优异的强分类器，达到提升模型整体分辨力 达.这对装备的故障诊断构成了巨大的挑战 的目的.文献[20]提出了在线ELM的集成版本， 在当前的故障诊断领域中，机器学习是解决上述 解决了概念漂移和数据类不平衡问题.文献[21] 问题的常用方法，其本质是将故障诊断转化为模式识 将加权ELM融入到Adboost模型中，用于解决数 别问题，以数据驱动的方式构建诊断模型并最终形成 据类不平衡的分类问题.然而，上述方法的改进方 诊断策略.其中，基于极限学习机(Extreme learning 向相对单一，并不能同时有效应对装备故障数据 machine,ELM)的研究近年来取得了许多优秀的研 小样本、不平衡且整体诊断精度偏低的问题. 究成果)ELM属于单隐层前馈神经网络，其输入 注意到NKELM与集成学习在关注个体样本 层到隐藏层的输入权重和偏置均为随机生成，其输出 重要性方面的共通性，本文以Adaboost集成学习 权重则通过矩阵求逆直接获取，具备学习速度极快、 框架为基础，同时将每层的WKELM的单核扩展 训练参数不多、泛化能力较强的优势 为多核，提出，范数约束下正则化加权多核集成 对于类不平衡问题啊，通常的做法是利用过采样 极限学习机(Regularized weighted multiple kernel 或欠采样方法建立数据的平衡分布，或者为每个 ensemble ELM under /-norm constraint,/-RWMKE- 训练样本分配不同的错误分类代价).在ELM领 ELM).其创新点和先进性体现在： 域，也衍生出一系列改进版本用于处理类不平衡条 (1)将各类样本的自适应加权、Adaboost集成 件下的多分类问题Deng等提出了加权正则化 学习策略及MKL纳入到一个统一的学习框架内， ELM.Zong等uo提出了加权极限学习机(Weighted 推导出了融合后的诊断决策的数学表达式； extreme learning machine,WELM),并对其实现了核 (2)选用6个UCI公共数据集和实装数据进行了 化，即加权核极限学习机(Weighted kernel extreme 仿真实验，与核极限学习机(Kernel based extreme learning machine,WKELM),其依据两种策略为每个 learning machine,.KELM)22、加权核极限学习机 训练样本赋予不同的权重，使WELM及WKELM (Weighted kernel based extreme learning machine,WK- 适用于不平衡分类问题.Mirza等山提出了加权在 ELM)、在1范数和p范数约束下的多核极限学习机 线序贯极限学习机(Weighted online sequential ELM, (分别简记为I1-MKELM、Ip-MKELM)、融入散度秩的 WOS-ELM),实现了加权增量学习.Mao等2针对 多核极限学习机(Incorporating Trace of Data Scattering 时间序列不平衡数据集，提出了基于加权极限学习 Matrix MKELM,ITDSMM-KELM)I相比，实验结 机的稀疏化改进模型，其核心思想是根据敏感性及 果表明，所提模型具有更高的诊断准确性和稳定性 特异性的变化为每个连续样本动态分配权重.上述 1理论基础 方法虽然在ELM框架内融入了不平衡分类的处理 方法，但并未给出合理的核函数的确定及核参数的 1.1多核ELM 选取方法，并且模型的整体分辨力仍然较低 假设训练数据集为D={(x,)冷=，测试数据 针对上述问题，与多核学习(Multiple kernel 集为De=yr其中，，xeR分别表示训 learning,.MKL)或集成学习相结合是近年来ELM 练样本实例和测试样本实例：deR表示样本实例

W(1) W(2) the  Adaboost  integration  strategy,  the  information-rich  sample  in  the  model  is  adaptively  improved.  Thus,  the  weight  of  a  sample significantly improves the accuracy of fault diagnosis. Taking 6 UCI public data sets and 1 actual installation case as examples, a fault diagnosis  experiment  was  conducted.  The  results  of  the  experiment  show  that  the  model  constructed  in  this  study  has  significantly improved diagnostic accuracy compared with other models such as kernel extreme learning machine, weighted kernel extreme learning machine ( and weighting method), and weighted multiple kernel extreme learning machine under 1-norm constraint, and the model’s diagnostic performance impact is limited. KEY  WORDS    weighted  kernel  extreme  learning  machine； multiple  kernel  learning； ensemble  learning； p-norm  constraint； fault diagnosis 随着服役时间的增加和故障案例的缓慢积 累，军事装备的故障数据往往呈现不同程度的类 不平衡、小样本的特点. 此外，由于装备中各类电 气元件参数存在容差[1]、普遍存在非线性和反馈 回路[2] ，故障机理往往难以用准确的数学模型来表 达. 这对装备的故障诊断构成了巨大的挑战. 在当前的故障诊断领域中，机器学习是解决上述 问题的常用方法，其本质是将故障诊断转化为模式识 别问题，以数据驱动的方式构建诊断模型并最终形成 诊断策略. 其中，基于极限学习机（Extreme learning machine , ELM）的研究近年来取得了许多优秀的研 究成果[3] . ELM 属于单隐层前馈神经网络[4] ，其输入 层到隐藏层的输入权重和偏置均为随机生成，其输出 权重则通过矩阵求逆直接获取，具备学习速度极快、 训练参数不多、泛化能力较强的优势. 对于类不平衡问题[5] ，通常的做法是利用过采样 或欠采样方法建立数据的平衡分布[6] ，或者为每个 训练样本分配不同的错误分类代价[7] . 在 ELM 领 域，也衍生出一系列改进版本用于处理类不平衡条 件下的多分类问题[8] . Deng 等[9] 提出了加权正则化 ELM. Zong 等[10] 提出了加权极限学习机（Weighted extreme learning machine，WELM），并对其实现了核 化，即加权核极限学习机（Weighted kernel extreme learning machine，WKELM），其依据两种策略为每个 训练样本赋予不同的权重，使 WELM 及 WKELM 适用于不平衡分类问题. Mirza 等[11] 提出了加权在 线序贯极限学习机（Weighted online sequential ELM, WOS-ELM），实现了加权增量学习. Mao 等[12] 针对 时间序列不平衡数据集，提出了基于加权极限学习 机的稀疏化改进模型，其核心思想是根据敏感性及 特异性的变化为每个连续样本动态分配权重. 上述 方法虽然在 ELM 框架内融入了不平衡分类的处理 方法，但并未给出合理的核函数的确定及核参数的 选取方法，并且模型的整体分辨力仍然较低. 针对上述问题 ，与多核学习（ Multiple kernel learning, MKL）或集成学习相结合是近年来 ELM 研究的重点方向[13] . MKL 因能找到一个相对合理 的组合核函数而备受关注，并且在故障诊断[14−15]、 图像分析[16−17] 等领域得到了充分的应用. 集成学 习[18−19] 的本质是基于多个弱分类器得出一个性能 更加优异的强分类器，达到提升模型整体分辨力 的目的. 文献 [20] 提出了在线 ELM 的集成版本， 解决了概念漂移和数据类不平衡问题. 文献 [21] 将加权 ELM 融入到 Adboost 模型中，用于解决数 据类不平衡的分类问题. 然而，上述方法的改进方 向相对单一，并不能同时有效应对装备故障数据 小样本、不平衡且整体诊断精度偏低的问题. 注意到 WKELM 与集成学习在关注个体样本 重要性方面的共通性，本文以 Adaboost 集成学习 框架为基础，同时将每层的 WKELM 的单核扩展 为多核，提出 lp 范数约束下正则化加权多核集成 极 限 学 习 机 （ Regularized  weighted  multiple  kernel ensemble ELM under lp -norm constraint， lp -RWMKE￾ELM）. 其创新点和先进性体现在： （1）将各类样本的自适应加权、Adaboost 集成 学习策略及 MKL 纳入到一个统一的学习框架内， 推导出了融合后的诊断决策的数学表达式； （2）选用 6 个 UCI 公共数据集和实装数据进行了 仿真实验 ，与核极限学习机（Kernel  based  extreme learning  machine， KELM） [22]、加权核极限学习机 （Weighted kernel based extreme learning machine，WK￾ELM）、在 1 范数和 p 范数约束下的多核极限学习机 （分别简记为 l1 -MKELM、lp -MKELM）、融入散度秩的 多核极限学习机（Incorporating Trace of Data Scattering Matrix MKELM, ITDSMM-KELM） [23] 相比，实验结 果表明，所提模型具有更高的诊断准确性和稳定性. 1    理论基础 1.1    多核 ELM DTr = {(xi , yi)} n i=1 DTe = {(x ′ j , y ′ j )} n ′ j=1 xi , x ′ j ∈ R d d ∈ R 假设训练数据集为 ，测试数据 集为 . 其中， 分别表示训 练样本实例和测试样本实例； 表示样本实例 刘    星等： 一种改进的 lp -RWMKE-ELM 故障诊断模型 · 83 ·

84 工程科学学报，第44卷，第1期 的维数；∈{1,2，，m表示x对应的故障模式，n 其中，AVG表示所有类的平均训练样本数，这样可 为样本个数.诊断模型设计的本质是基于D寻 以减少少数群体和多数群体之间的平衡步长，使 找一个映射函数fx):Rd→R,使其可以将De中 其达到0.618：1的比率.在多类分类中，少数类是 的任一个样本实例x映射为相应的故障模式 指样本数量低于所有类平均样本数的那些类别，而 ∈(l,2,…,m.当使用Ip-MKELM作为诊断模型 多数类是指样本数高于所有类平均样本数的类别 寻找映射函数fx)时，其初始优化问题表示为 2 改进的1，范数约束加权多核多故障集 成学习诊断框架 q=1 st∑g=-i=12n 21正则化加权多核极限学习机 对于输入空间中的n组故障样本，假设其权重 ∑e=l,≥0，p>1 (1) 分布为w={w”并且有∑”W=1.为便于运算， 其中，小表示F范数，kg,川=为预定义的r个基核 将其扩展为主对角线元素为w的n×n对角矩阵，表 y=yg表示基核的组合权重，B=B阴，B阴，…，BT 示为W=diag[w1,…,wnl 表示模型总的输出权重，B,∈Rgm表示对应于 对于优化问题(1)，令B,=V了B,可以得到 基核kg(,北的输出权重，仲gO北=为对应于基核 (5) kg(,)的特征映射；m表示ELM的输出节点个 数；东=[传，，m「表示对应于第个故障样本的 将式(3)代入优化问题(1)，同时，将样本分布 训练误差向量，y:=y,…ymJT表示第个故障样 权重矩阵W融合到优化问题中，得到I,范数约束 本的理想输出向量；C为正则化因子，p为范数约 下正则化加权多核极限学习机： 束形式.对式(1)对应的Lagrange函数中各变量分 别求偏导，并采用两步交替优化策略求解Lagrange min5∑Bg+22%l. P.5Y2 乘子矩阵α以及基核组合权重y,得出模型最优化 参数a和y,则决策函数为 st∑a,=听-，i=12n ∑g=l%>0,p>1 (6) (2) =1 q=1 对比新的优化问题(4)与原优化问题(1)，分 其中，a为Lagrange乘子，并且有ax=[a1,…,anJT, 布权重W的融入使得模型可以根据样本的类不平 i=[al,…,amJ 衡程度合理分配样本权重，确保诊断模型能够聚 1.2权重分配方式 焦到一些富含优化信息的训练样本上，从而有效 本文采用Vong等在文献[24中提出的权重 提高模型的解释能力 分配方法，为每个样本分配权重，寻求各类样本在 为了求解优化问题(4)，给出其对应的Lagrange 规模上的再平衡，将分隔超边界推向多数类来减 函数 轻样本类不平衡的影响，实际上属于代价敏感学 习范畴.两种权重分配方式如下： LI(Bq.5i.Yq.i)= 2a+空f- w=diag[w1,…,wn],wi= 1 #0)mi=1,2,,m (3) 其中，#O)表示故障模式y的训练样本数.通过权 (7) 重分布，使得少数样本被赋予更大的权重.显然， 式中，由上文序=V了g,可知耶g1=VYgBǔ和A均为 数据的类不平衡程度越高，各类样本之间的分布 Lagrange乘子，且a=[a1,…,anJT,ai=[al,…,mJT 权重相差就越大 对式(5)中的优化变量分别求偏导，可得 w2=diag[w1,…,wnl, OLI(Ba.5i.Yi) 0.618 A,-2xa= Wi= ,if#(vi)>AVG aBq g=l isl #(y)m (4) 1 Wi= if#(y)≤AVG 0→Bg=yg ∑gx)a (8) #(y)m

yi ∈ {1,2,··· ,m} xi n DTr f(x) : R d → R DTe x ′ j y ′ j ∈ {1,2,··· ,m} f(x) 的维数； 表示 对应的故障模式， 为样本个数. 诊断模型设计的本质是基于 寻 找一个映射函数 ，使其可以将 中 的任一个样本实例 映射为相应的故障模式 . 当使用 lp -MKELM 作为诊断模型 寻找映射函数 时，其初始优化问题表示为 min β,ξ,γ 1 2 ∑r q=1 ||βq||2 F + C 2 ∑n i=1 ||ξi ||2 2 , s.t. ∑r q=1 √ γqϕq(xi)βq = y T i −ξ T i ,i = 1,2,··· ,n, ∑r q=1 γ p q = 1, γq ⩾ 0, p > 1 （1） || · ||F {kq(·,·)} r q=1 γ={γq} r q=1 β=[β T 1 ,β T 2 ,··· ,β T r ] T βq ∈ R |ϕq(·)|×m {kq(·,·)} r q=1 {ϕq(·)} r q=1 {kq(·,·)} r q=1 ξi = [ξi1,··· , ξim] T i yi = [yi1,··· , yim] T i α γ α ∗ γ ∗ 其中， 表示F 范数， 为预定义的r 个基核， 表示基核的组合权重， 表示模型总的输出权重， 表示对应于 基核 的输出权重， 为对应于基核 的特征映射；m 表示 ELM 的输出节点个 数 ； 表示对应于第 个故障样本的 训练误差向量， 表示第 个故障样 本的理想输出向量；C 为正则化因子，p 为范数约 束形式. 对式（1）对应的 Lagrange 函数中各变量分 别求偏导，并采用两步交替优化策略求解 Lagrange 乘子矩阵 以及基核组合权重 ，得出模型最优化 参数 和 ，则决策函数为 f(·) = ∑n i=1 (α ∗ i ) T∑r q=1 γ ∗ q kq(xi ,·) （2） α α = [α1,··· ,αn] T αi = [αi1,··· ,αim] T 其中 ， 为 Lagrange 乘子 ，并且有 ， . 1.2    权重分配方式 本文采用 Vong 等在文献 [24] 中提出的权重 分配方法，为每个样本分配权重，寻求各类样本在 规模上的再平衡，将分隔超边界推向多数类来减 轻样本类不平衡的影响，实际上属于代价敏感学 习范畴. 两种权重分配方式如下： W(1) = diag[w1,··· ,wn],wi = 1 #(yi)m ,i = 1,2,··· ,m （3） 其中， #(yi) 表示故障模式 yi 的训练样本数. 通过权 重分布，使得少数样本被赋予更大的权重. 显然， 数据的类不平衡程度越高，各类样本之间的分布 权重相差就越大. W(2) = diag[w1,··· ,wn],    wi = 0.618 #(yi)m ,if#(yi) > AVG wi = 1 #(yi)m ,if#(yi) ⩽ AVG （4） 其中，AVG 表示所有类的平均训练样本数，这样可 以减少少数群体和多数群体之间的平衡步长，使 其达到 0.618∶1 的比率. 在多类分类中，少数类是 指样本数量低于所有类平均样本数的那些类别，而 多数类是指样本数高于所有类平均样本数的类别. 2    改进的 lp 范数约束加权多核多故障集 成学习诊断框架 2.1    正则化加权多核极限学习机 w = {wi} n i=1 ∑n i=1wi = 1 wi n×n W = diag[w1,··· ,wn] 对于输入空间中的 n 组故障样本，假设其权重 分布为 ，并且有 . 为便于运算， 将其扩展为主对角线元素为 的 对角矩阵，表 示为 . β˜ q = √ 对于优化问题（1），令 γqβq ，可以得到 ∑r q=1 ||βq||2 F = ∑r q=1 ||β˜ q||2 F / γq （5） W 将式（3）代入优化问题（1），同时，将样本分布 权重矩阵 融合到优化问题中，得到 lp 范数约束 下正则化加权多核极限学习机： min β˜,ξ,γ 1 2 ∑r q=1 1 γq ||β˜ q||2 F + C 2 ∑n i=1 wi ||ξi ||2 2 , s.t.∑r q=1 ϕq(xi)β˜ q = y T i −ξ T i ,i = 1,2,··· ,n, ∑r q=1 γ p q = 1,γq ⩾ 0, p > 1 （6） W 对比新的优化问题（4）与原优化问题（1），分 布权重 的融入使得模型可以根据样本的类不平 衡程度合理分配样本权重，确保诊断模型能够聚 焦到一些富含优化信息的训练样本上，从而有效 提高模型的解释能力. 为了求解优化问题（4），给出其对应的 Lagrange 函数. L1(β˜ q,ξi , γq,αi) = 1 2 ∑r q=1 1 γq ||β˜ q||2 F + C 2 ∑n i=1 wi ||ξi ||2 − ∑n i=1 ∑m l=1 αil   ∑r q=1 ϕq(xi)β˜ ql −yil +ξil   +λ   ∑r q=1 γ p q −1   （7） β˜ q = √ γqβq β˜ ql = √ γqlβql α λ α = [α1,··· ,αn] T αi = [αi1,··· ,αim] T 式中，由上文 ，可知 ， 和 均为 Lagrange 乘子，且 ， . 对式（5）中的优化变量分别求偏导，可得 ∂L1(β˜ q,ξi , γq,αi) ∂β˜ q = ∑r q=1 1 γq β˜ q − ∑r q=1 ∑n i=1 ϕ T q (xi)α T i = 0 → β˜ q = γq ∑n i=1 ϕ T q (xi)α T i （8） · 84 · 工程科学学报，第 44 卷，第 1 期

刘星等：一种改进的l。RWMKE-ELM故障诊断模型 85 0了w5iZ4s ∑1Bg.且B∈，ox1,所以可以得到 OE (9) B,=∑l∑15x6= aL,5coa-2a,-y+=010》 ∑∑Ax∑g ∑1∑∑nc) (18) ,-2,+2p 将式(16)代人式(15)可得yw.显然，当yg的 aY4 初始值非负时，在每次迭代中其为非负，因此，式 0→9g眼=2pyg1 (5)中不再对yg进行非负约束.通过两步交替优 (11) 化，得到最优模型参数和y,此时决策函数为 以下采用两步交替优化策略求解Lagrange乘 f0=∑∑yk (19) 子矩阵α以及基核组合权重y =1 (1)在固定y的条件下求解a 2.2基于Adaboost的多核集成学习诊断框架 将公式(6)、(7)依次代入式(8)中，得到 为进一步提升1，范数约束下正则化加权多核 an2--c (12) 极限学习机的诊断模型性能，本文采用集成学习 中广泛应用的Adaboost集成策略2（权重分别取 由公式(10)可得到， WD、W2两种形式)，构造三层集成诊断框架，每 三an,am- 层为一个分类器，将基核的集合定义为KZ= il {41;2;43,其中，1=km表示线性核；42= {pol.l,poly2,…,kPoly,pr表示pr个不同参数的多项 式核集合；43={KGauss.l,kGauss..2,…,KGaus.gr表示gr个 =1 (13) 不同参数的高斯核集合，并且有1+pr+gr=r. 以Y=[y1,…,yJ表示理想的输出矩阵，由式(12) 第一层分类器采用41去训练一个单核诊断模 得Ky)a=Y-a/WC,K)为核矩阵，由此求得 型，将公式(1)中多核数量设置为1（分类器退化为 =(K(y)+1/WC)-Y 一个KELM),得到决策函数f():第二层分类器采 (14) 用42训练多项式多核2-MKELM模型，由公式(19) (2)在固定α的条件下求解y (核函数选择组合多项式核)得到决策函数f(:同 由式(9)得到 理，当核函数选择组合高斯核时，得到第三层的决 (l 、/(p+I) IBll (p+D) (15) 策函数f().在获取f()(u=1,2,3)后，为方便表示， Ya= (2p)p* 用G():X→{1,2，…，m表示对应于f(的分类器， 根据∑冶=1的约束条件，由式(9)还可以 为得到最终的决策模型，还有三个问题要解决： 得到 (I)计算各层基本分类器分类误差率e4 令w表示第个样本在第u层分类器中的权重 (2p)/p*) (∑，a,2p+Vp (16) 值，则 因为Bg=ygBg,将其与式(14)一起代入 eu=P(Gu(i)≠y）)= wuil(Gn(x）≠y》） (20) 式(13)中，得到更新方程 台 (YallBl )(P+D) (为指示函数，其定义为 (17) YalB ll (D (0,if Gu(xi)=yi IGc)=1,ifGx)≠片 (21) 其中，yg表示第q个基核在上一次迭代中的权值； (2)计算决策函数f(⊙的重要度系数km yw表示第q个基核在本次迭代中的权值更新.由 重要度系数K表示G(x)在最终分类器中的重 式(6)得到，Bg=yg[(x1),x2),…,xna.根据 要程度，定义为 B,=ygBg,进一步有Bg=VTg∑%1aφgx, Ku =(1/2)In[(1-)/eu] (22) 12g(x…,%1cmg(x因为有邮g眼= 由上式可知，当eu≤1/2时，ku≥0，且kw随着eu

∂L1(β˜ q,ξi , γq,αi) ∂ξi = C ∑n i=1 wiξi − ∑n i=1 αi = 0 → ξi = 1 wiC αi （9） ∂L1(β˜ q,ξi , γq,αi) ∂αi = ∑r q=1 ϕq(xi)β˜ q − y T i +ξ T i = 0 （10） ∂L1(β˜ q,ξi , γq,αi) ∂γq = − 1 2 ∑r q=1 1 γ 2 q ||β˜ q||2 F +λ ∑r q=1 pγ p−1 q = 0 → ||β˜ q||2 F = 2pλγp+1 q （11） α γ 以下采用两步交替优化策略求解 Lagrange 乘 子矩阵 以及基核组合权重 . （1）在固定 γ 的条件下求解 α. 将公式（6）、（7）依次代入式（8）中，得到 ∑r q=1 ϕq(xi)γq ∑n i=1 ϕ T q (xi)α T i = y T i −α T i / wiC （12） 由公式（10）可得到， ∑r q=1 ϕq(xi)γq ∑n i=1 ϕ T q (xi)α T i =   ∑r q=1 γqkq(xi , x1), ∑r q=1 γqkq(xi , x2),··· , ∑r q=1 γqkq(xi , xn)   α （13） Y = [ y1,··· , yn ]T K(γ)α = Y −α/WC 以 表示理想的输出矩阵，由式（12） 得 ，K( ) 为核矩阵，由此求得 α = (K(γ)+1/WC) −1Y （14） （2）在固定 α 的条件下求解 γ. 由式（9）得到 γq =   ||β˜ q||2 F 2pλ   1/ (p+1) = ||β˜ q||2/ (p+1) F (2pλ) 1/ (p+1) （15） ∑r q=1 γ p 根据 q = 1 的约束条件，由式（9）还可以 得到 (2pλ) 1/ (p+1) = (∑r q=1 ||β˜ q||2p/ (p+1) F )1/ p （16） ||β˜ q||2 F = γq||βq||2 因为 F ，将其与式（14）一起代入 式（13）中，得到更新方程. γ new q = (γq||βq||2 F ) 1/ (p+1) [∑r q=1 (γq||βq||2 F ) p/ (p+1)]1/ p （17） γq γ new q β˜ q = γq[ϕ T q (x1),ϕ T q (x2),··· ,ϕ T q (xn)]α ||β˜ q||2 F = γq||βq||2 F βq = √ γq [∑n i=1 αi1ϕ T q (xi), ∑n i=1 αi2ϕ T q (xi),··· , ∑n i=1 αimϕ T q (xi) ] βq 2 F = 其中， 表示第 q 个基核在上一次迭代中的权值； 表示第 q 个基核在本次迭代中的权值更新. 由 式（6）得到， . 根据 ， 进 一 步 有 . 因 为 有 ∑m l−1 βq 2 2 βql ∈ R |ϕq(·)|×1 ，且 ，所以可以得到 ||βq||2 F = ∑m l=1 || √ γq ∑n i=1 αilϕ T q (xi)||2 2 = ∑m l=1 √ γq ∑n i=1 αilϕq(xi) √ γq ∑n j=1 αjlϕ T q (xj) = γq ∑n i=1 ∑n j=1 ∑m l=1 αilαjlkq(xi , xj) （18） γ new q γq γq α ∗ γ ∗ 将式（16）代入式（15）可得 . 显然，当 的 初始值非负时，在每次迭代中其为非负，因此，式 （5）中不再对 进行非负约束. 通过两步交替优 化，得到最优模型参数 和 ，此时决策函数为 f(·) = ∑n i=1 (α ∗ i ) T∑r q=1 γ ∗ q kq(xi ,·) （19） 2.2    基于 Adaboost 的多核集成学习诊断框架 W(1) W(2) KZ = {∆1; ∆2; ∆3} ∆1 = {kLin} ∆2 = {kPoly,1, kPoly,2,··· , kPoly,pr} pr ∆3 = {kGauss,1, kGauss,2,··· , kGauss,gr} gr 1+pr+gr = r 为进一步提升 lp 范数约束下正则化加权多核 极限学习机的诊断模型性能，本文采用集成学习 中广泛应用的 Adaboost 集成策略[25] （权重分别取 、 两种形式），构造三层集成诊断框架，每 层 为 一 个 分 类 器 ， 将 基 核 的 集 合 定 义 为 ， 其 中 ， 表 示 线 性 核 ； 表示 个不同参数的多项 式核集合； 表示 个 不同参数的高斯核集合，并且有 . ∆1 f1(·) ∆2 f2(·) f3(·) fu(·)(u = 1,2,3) Gu(·) : X → {1,2,··· ,m} fu(·) 第一层分类器采用 去训练一个单核诊断模 型，将公式（1）中多核数量设置为 1（分类器退化为 一个 KELM），得到决策函数 ；第二层分类器采 用 训练多项式多核 lp -MKELM 模型，由公式（19） （核函数选择组合多项式核）得到决策函数 ；同 理，当核函数选择组合高斯核时，得到第三层的决 策函数 . 在获取 后，为方便表示， 用 表示对应于 的分类器， 为得到最终的决策模型，还有三个问题要解决： （1）计算各层基本分类器分类误差率e˜u. wu,i 令 表示第 i 个样本在第u层分类器中的权重 值，则 e˜u = P(Gu(xi) , yi) = ∑n i=1 wu,iI(Gu(xi) , yi) （20） I(·) 为指示函数，其定义为 I(Gu(xi), yi) = { 0, if Gu(xi) = yi 1, if Gu(xi) , yi （21） （2）计算决策函数 fu(·) 的重要度系数κu. 重要度系数κu表示 Gu(x) 在最终分类器中的重 要程度，定义为 κu = (1/2)ln[(1−e˜u)/e˜u] （22） 由上式可知，当e˜u ⩽ 1/2 时 ， κu ⩾ 0 ，且κu随着e˜u 刘    星等： 一种改进的 lp -RWMKE-ELM 故障诊断模型 · 85 ·

86 工程科学学报，第44卷，第1期 的减小而增大，实现了基于分类误差率提升分类 2.3诊断决策 错误样本的权重，这就实现了后层分类器能够“聚 基于以上讨论，I。RWMKE-ELM的最终决策 焦”到前层分类器难以正确区分的训练样本上， 函数表示为： (3)更新各层训练样本的权值分布 f0=∑kf⊙= 将文献[24]中的初始化权重Wo赋予线性分类 ue1.2.3 器层的W1,当由下层向上层传递时，第i个故障样 ∑k∑(a)∑Y(u)kaxi） (24) 本的权值更新关系为 e1,2.31iel,2,…,ml gEAu Wu+l.i= Wu.iexp(-Kua) 其中，a(),yu)表示第u层的最优模型参数，并 (23) Zo 且基核权重∑y0=1. 其中，Z是所有训练样本权值的归一化因子，表示 令f=f(),f2(),…,fm(),式中f0)是诊 所有训练样本权值的加权和.当G-1(x)=y时， 断模型中第1个输出节点的输出值.对于需要进行 a=l;而Gw-1(x)≠y时，a=-l,Zu=∑1 Wu.ieXp(-kra). 诊断的测试样本x,其诊断结果为 权重分布的传递使下层分类器中被错误分类的样 =label(》=aenf9c (25) 本获得更大的权重，这会使上层分类器更多地关 注这些难以正确分类的样本 RWMKE-ELM的基本框架如图1所示. Training data example Fault feature extraction Calculate initial weight ELM ELM ELM (WKELM) (/-WMKELM) (/-WKMELM) W W Basic Update Basic Update Basic decision sampie decision sampl decision function weight function distribu function distrbu f(x) tion (x) tion f(x) Classifier Classifier Classifier classifica coefticent classifica Importanc Importance coettcient classifica tion error tion error tion error coefficient, rate, rate, rate, er )=∑K∑(a(0)r∑ygw)k,cp） 123)e,24 I Diagnostic -RWMKE-ELM. G(X→{1,2，…，m} Test data example decision 图1一-RWMKE-ELM诊断模型 Fig.1 Diagnosis model based on /-RWMKE-ELM

的减小而增大，实现了基于分类误差率提升分类 错误样本的权重，这就实现了后层分类器能够“聚 焦”到前层分类器难以正确区分的训练样本上. （3）更新各层训练样本的权值分布. W0 W1 将文献 [24] 中的初始化权重 赋予线性分类 器层的 ，当由下层向上层传递时，第 i 个故障样 本的权值更新关系为 wu+1,i = wu,i exp(−κua) Zu （23） Zu Gu−1(xi) = yi a = 1 Gu−1(xi) , yi a = −1 Zu = ∑n i=1wu,i exp(−κua) 其中， 是所有训练样本权值的归一化因子，表示 所有训练样本权值的加权和. 当 时 ， ；而 时， ， . 权重分布的传递使下层分类器中被错误分类的样 本获得更大的权重，这会使上层分类器更多地关 注这些难以正确分类的样本. 2.3    诊断决策 基于以上讨论，lp -RWMKE-ELM 的最终决策 函数表示为： f(·) = ∑ u∈{1,2,3} κu fu(·) = ∑ u∈{1,2,3} κu ∑ i∈{1,2,···,n} (α ∗ i (u))T ∑ q∈∆u γ ∗ q (u)kq(xi ,·) （24） α ∗ i (u) γ ∗ q (u) ∑ γ ∗ q (·) = 1 其中， ， 表示第 u 层的最优模型参数，并 且基核权重 . f(·) = [f (1)(·), f (2)(·),··· , f (m) (·)] f (l) (·) x ′ j 令 ，式中 是诊 断模型中第 l 个输出节点的输出值. 对于需要进行 诊断的测试样本 ，其诊断结果为 y ′ j = label(x ′ j) = arg max l∈{1,2,···,m} f (l) (x ′ j ) （25） lp -RWMKE-ELM 的基本框架如图 1 所示. Fault feature extraction ELM (WKELM) Test data example Importance coefficient, Importance coefficient, Importance coefficient, e1 ~ e2 ~ e3 ~ Classifier classifica tion error rate, ELM (lp -WMKELM) ELM (lp -WKMELM) Basic decision function, f1 (x) Update sample weight distribu tion Classifier classifica tion error rate, Classifier classifica tion error rate, Basic decision function, f2 (x) Basic decision function, f3 (x) Update sample weight distribu tion f(⋅)=∑ κu ∑ (αi * (u))T ∑ γq * (u)kq (xi ,⋅) q∈∆u … … Diagnostic decision Training data example Calculate initial weight W0 lp -RWMKE-ELM, G(⋅): X→{1,2,…,m} kLin kPoly,1 kPoly,pr kGauss,1 kGauss,gr W1 W2 W3 κ1 κ2 κ3 u∈{1,2,3} i∈{1,2,···,n} 图 1    lp -RWMKE-ELM 诊断模型 Fig.1    Diagnosis model based on lp -RWMKE-ELM · 86 · 工程科学学报，第 44 卷，第 1 期

刘星等：一种改进的l。RWMKE-ELM故障诊断模型 87… 2.4算法流程 正的例子中真实值为正的比例，Recall是真实值为 I,-RWMKE-ELM算法流程如下 正的例子中被预测为正的比例.表1给出了分类 步骤1输入训练数据Dr={x,)冷：设置正 器在二分类问题中的混淆矩阵 则化因子C,范数约束形式P,最大迭代次数N;设置 表1混淆矩阵 基核g,川=，并确定各层基本分类器4,2和4 Table 1 Confusion matrix 步骤2令u=1,根据训练样本初始权重的自 Classification result 适应加权原则(W或W2②)，生成初始权值矩阵 The true situation Positive Negative Wo,根据公式(17)，令r=L,求得基于4的KELM模 Positive TP(True positive) FN(False negative) 型的决策函数ff(,并记录f(f(⊙ Negative FP(False positive) TN(True false negative) 步骤3根据公式(23)重分布wud→wu+1;且 l=u+1. π=TP/(TP+FP) (27) 步骤4根据公式(22)计算k,并记录Ku (28) 步骤5当u≤3时，用4表示4中包含的基 p=TP/(TP+FN) 核个数，令h=l,yi=[1/4l,…,1/4ul F-meanure =2xp/(x+p) (29) 步骤6当h≤N时，根据wu、4u及y由公式(12) 为了将F-measure扩展到多类分类问题，通常 计算MK-ELM模型参数根据公式(I5)更新 使用两种平均类型，即F-measure-.micro和F-measure- yh→yl:根据公式(16)计算Blq=1,2,…,) micro. 步骤7如果maxy*1-y≤2-6，根据公式(17) F-measure-micro定义为： 计算决策函数f(),并记录f).根据公式(23)更 新数据权值分布wu→w+I:根据公式(22)计算k, -.m (30) 并记录ku=u+1.若u≤3，转步骤5，若u>3,转 步骤9. p-22w (31) 步骤8如果max{hytl->26,h=h+1.若 F-measure-micro=2xp/(+p) (32) h≤N,转到步骤6，若h>N,转步骤5. 步骤9输入测试样本De={x,对于x计 F-measure-macro定义为： F:=2πiP/(π+Pi) (33) 算kgx,x(q=1,2,…,i=1,2,…,n),利用公式(24) 计算f(x),利用公式(25)得到x所对应的故障标签 F-measure-macro=∑f: (34) y=label(x) i=l 由F-measure指标的定义可知，只有当各类的 3类不平衡数据集分类问题的评价指标 分类的准确率和召回率都较高时，F-measure才会 在传统的分类问题中，通常以分类正确率作 较大.因此，在综合体现各类别样本数据的分类 为分类器准确性的重要评价指标.然而，对于不平 精度时，F-measure更加侧重对少数类的分类性能 衡数据集的分类诊断，仅用分类正确率难以评价 评价 分类器的综合性能.针对该问题，本文采用文献[26] 4实验仿真 提出的G-mean、F-measure作为分类器性能的度量 指标. 4.1UCI公共数据集实验 G-mean是所有m类分类精度的几何平均值，其 本文选取机器学习领域中广泛使用的6个UCI 定义为 数据集(Diabetes,Ionosphere,Vowel,Cancer,.Bupa, Thyroid)进行仿真实验，各数据集均不同程度地呈 G-mea (26) 现类不平衡特征.实验选取KELM、WKELMI、 MKELM、I1-MKELM、I,-MKELM、ITDSMM-KELM 其中，Acc为准确率.F-measure广泛用于评估二元 六种相关算法作为对比以验证模型的诊断性能.其 分类系统.它被定义为Precision(π)和Recall(p)的 中，KELM算法通过文献[22]所给出的方法来实现、 调和均值，即公式(29)，其中，Precision是预测值为 WKELM、I1-MKELM、I,-MKELM、ITDSMM-KELM

2.4    算法流程 lp -RWMKE-ELM 算法流程如下. DTr = {(xi , yi)} n i=1 C p N {kq(·,·)} r q=1 ∆1 ∆2 ∆3 步骤 1 输入训练数据 ；设置正 则化因子 ，范数约束形式 ，最大迭代次数 ；设置 基核 ，并确定各层基本分类器 ， 和 . u = 1 W(1) W(2) W0 r = 1 ∆u fu(·)fu(·) fu(·)fu(·) 步骤 2 令 ，根据训练样本初始权重的自 适应加权原则（ 或 ），生成初始权值矩阵 ，根据公式（17），令 ，求得基于 的 KELM 模 型的决策函数 ，并记录 . wu,i → wu+1,i u = u+1 步骤 3 根据公式（23）重分布 ；且 . 步骤 4 根据公式（22）计算κu，并记录κu. u ⩽ 3 |∆u| ∆u γ h u = [1/|∆u|,··· ,1/|∆u|] 步骤 5 当 时，用 表示 中包含的基 核个数，令 h=1， . h ⩽ N wu ∆u γ h u α h u γ h u → γ h+1 u ||βq||2 F q = 1,2,··· ,r 步骤 6 当 时，根据 、 及 由公式（12） 计算 MK-ELM 模型参数 . 根据公式（ 15）更新 ；根据公式（16）计算 ( ). max{|γ h+1 u −γ h u |} ⩽ 2 −6 fu(·) fu(·) wu → wu+1 κu κu u = u+1 u ⩽ 3 u > 3 步骤7 如果 ，根据公式（17） 计算决策函数 ，并记录 . 根据公式（23）更 新数据权值分布 ；根据公式（22）计算 ， 并记录 , . 若 ，转步骤 5，若 ，转 步骤 9. max{|γ h+1 u −γ h u |} > 2 −6 h = h+1 h ⩽ N h > N 步骤 8 如果 ， . 若 ，转到步骤 6，若 ，转步骤 5. DTe = {x ′ j } n ′ j=1 x ′ j kq(xi , x ′ j ) q = 1,2,··· ,r i = 1,2,··· ,n f(x ′ j ) x ′ j y ′ j = label(x ′ j ) 步骤 9 输入测试样本 ，对于 计 算 ( ； )，利用公式（24） 计算 ，利用公式（25）得到 所对应的故障标签 . 3    类不平衡数据集分类问题的评价指标 在传统的分类问题中，通常以分类正确率作 为分类器准确性的重要评价指标. 然而，对于不平 衡数据集的分类诊断，仅用分类正确率难以评价 分类器的综合性能. 针对该问题，本文采用文献 [26] 提出的 G-mean、F-measure 作为分类器性能的度量 指标. G-mean 是所有 m 类分类精度的几何平均值，其 定义为 G-mean =   ∏m i = 1 Acci   1 m （26） π ρ 其中，Acc 为准确率. F-measure 广泛用于评估二元 分类系统. 它被定义为 Precision（ ）和 Recall（ ）的 调和均值，即公式（29），其中，Precision 是预测值为 正的例子中真实值为正的比例，Recall 是真实值为 正的例子中被预测为正的比例. 表 1 给出了分类 器在二分类问题中的混淆矩阵. 表 1 混淆矩阵 Table 1   Confusion matrix The true situation Classification result Positive Negative Positive TP (True positive) FN（False negative） Negative FP (False positive) TN（True false negative） π = TP/(TP + FP) （27） ρ = TP/(TP + FN) （28） F-meanure = 2πρ/(π+ρ) （29） F-measure-micro 为了将 F-measure 扩展到多类分类问题，通常 使用两种平均类型，即 和 F-measure￾micro. F-measure-micro 定义为： π = ∑m i=1 TPi /∑m i=1 (TPi +FPi) （30） ρ = ∑m i=1 TPi /∑m i=1 (TPi +FNi) （31） F-measure-micro = 2πρ/(π+ρ) （32） F-measure-macro 定义为： Fi = 2πiρi/(πi +ρi) （33） F-measure-macro = 1 m ∑m i=1 Fi （34） 由 F-measure 指标的定义可知，只有当各类的 分类的准确率和召回率都较高时，F-measure 才会 较大. 因此，在综合体现各类别样本数据的分类 精度时，F-measure 更加侧重对少数类的分类性能 评价. 4    实验仿真 4.1    UCI 公共数据集实验 本文选取机器学习领域中广泛使用的 6 个 UCI 数据集（Diabetes， Ionosphere，Vowel，Cancer，Bupa， Thyroid）进行仿真实验，各数据集均不同程度地呈 现类不平衡特征. 实验选取 KELM、WKELM[21]、 MKELM、l1 -MKELM、lp -MKELM、ITDSMM-KELM 六种相关算法作为对比以验证模型的诊断性能. 其 中，KELM 算法通过文献 [22] 所给出的方法来实现、 WKELM、l1 -MKELM、lp -MKELM、ITDSMM-KELM 刘    星等： 一种改进的 lp -RWMKE-ELM 故障诊断模型 · 87 ·

88 工程科学学报，第44卷，第1期 算法通过文献[23]给出的方法来实现，加权模型 相关实验的条件设置为：第二层线性核个数 所涉及到的样本加权方法分别选用上文给出的 为3，第三层高斯核个数为8：每次试验中，针对每 W)、w2加权方式.首先对各数据进行归一化预 个数据集，随机选择80%的数据作为训练数据，其 处理，然后将所提出的方法应用于每次训练/测试 余20%的作为测试数据：单核的核函数采用高斯 各UCI数据集描述表2所示 核，以5倍交叉验证的方法从{220,219,220}和 {20,29,,21)中分别选取正则化参数C和核参 表2UCI数据集描述2四 数：各算法中所涉及到的正则化参数C和核参数 Table 2 UCI data set description 设置，在具体的实验中有具有相应表述 Datasets Instances Number of Number of Size of classes 以Vowel数据集为例，将第一层分类器中各 classes features Diabetes 乎 类样本的权重分布与第三层进行对比，说明权重 768 2 268,500 lonosphere 351 2 34 126,225 在模型中的变化，如图2所示 3 72,89,172, 由图2(a)和图2(b)可知，6类样本分别赋予 Vowel 871 6 151,207,180 了不同的初始权重，其中，小样本类数据的权重得 Cancer 683 9 444.239 到了增加；经过三层AdBoost策略优化后，第三层 Bupa 345 2 6 145,200 分类器中，大部分样本权重趋于一致，个别样本权 Thyroid 215 150,35,30 重（分类错误样本）得到了显著增强.显然，经过分 3.5 0.06 (a) (b) 3.0 0.05 2.5 0.04 2.0 0.03 1.5 0.02 1.0 0.01 0.5 200 400600 800 200 400 600 800 Training samples Training samples 图2权重分布.()线性层分类器权重分布：(b)高斯层分类器权重分布 Fig.2 Weight distribution:(a)weight distribution of classifier on linear layer,(b)weight distribution of classifier on gaussian layer 类器权重的逐层更新，模型提高了对分类错误样 12.84%、7.36%、9.13%、8.08%,在F-measure-.micro 本的特征信息的关注. 指标上分别提升了8.31%、6.50%、5.97%、2.65%、 将WKELM在w)、W2加权方式下的算法分 3.90%、3.48%,在F-measure-.macro标上分别提升了 别简记为WKELM-W1和WKELM-W2.将所提模 12.77%、10.19%、9.71%、4.30%、6.09%、5.34%. 型在w、W②加权方式下的算法分别简记为。 可以看到，使用样本加权的WKELM的诊断精 RWMKE-ELM-WI和In-RWMKE-ELM-W2.对每个 度优于未使用样本加权的KELM,使用多核的I。 数据集，进行20次试验，然后取均值和标准差， MKELM优于使用单核的KELM,集成多核分类器 表3给出了相关算法的实验结果，图3对表3的结 的In-RWMKE-ELM的诊断精度优于WKELM、I。 果进行了图形化对比 MKELM和ITDSMM-KELM.这是因为多核学习相 由表3和图3可知，所提方法的诊断精度均优 对单核学习具有更高的映射灵活性，多个核函数组合 于其他方法，以Thyroid数据集和l,RWMKE-ELM- 映射的高维空间兼具各个子空间独特的特征映射能 W2模型为例，与单核学习的KELM、WKELM- 力，将各类样本数据中的不同特征向量分别通过最合 wI、WKELM-W2和多核学习的-MKELM、p 适的单个核函数进行映射，因此，在新的组合空间里， MKELM、ITDSMM-KELM相比，I,RWMKE-ELM 可以更加精确地对样本进行合理表达，有效提高故障 W2在G-mean指标上分别提升了17.44%、12.69%、 样本的诊断精度.同时，运用AadBoost策略对基于线

W(1) W(2) 算法通过文献 [23] 给出的方法来实现，加权模型 所涉及到的样本加权方法分别选用上文给出的 、 加权方式. 首先对各数据进行归一化预 处理，然后将所提出的方法应用于每次训练/测试. 各 UCI 数据集描述表 2 所示. 表 2  UCI 数据集描述[22] Table 2   UCI data set description[22] Datasets Instances Number of classes Number of features Size of classes Diabetes 768 2 8 268, 500 Ionosphere 351 2 34 126, 225 Vowel 871 6 3 72, 89, 172, 151, 207, 180 Cancer 683 2 9 444, 239 Bupa 345 2 6 145, 200 Thyroid 215 3 5 150, 35, 30 2 −19 ,··· 2 −9 ,··· 相关实验的条件设置为：第二层线性核个数 为 3，第三层高斯核个数为 8；每次试验中，针对每 个数据集，随机选择 80％的数据作为训练数据，其 余 20％的作为测试数据；单核的核函数采用高斯 核 ，以 5 倍交叉验证的方法从{2−20 , , 220}和 {2−10 , , 210}中分别选取正则化参数 C 和核参 数；各算法中所涉及到的正则化参数 C 和核参数 设置，在具体的实验中有具有相应表述. 以 Vowel 数据集为例，将第一层分类器中各 类样本的权重分布与第三层进行对比，说明权重 在模型中的变化，如图 2 所示. 由图 2（a）和图 2（b）可知，6 类样本分别赋予 了不同的初始权重，其中，小样本类数据的权重得 到了增加；经过三层 AdBoost 策略优化后，第三层 分类器中，大部分样本权重趋于一致，个别样本权 重（分类错误样本）得到了显著增强. 显然，经过分 类器权重的逐层更新，模型提高了对分类错误样 本的特征信息的关注. W(1) W(2) W(1) W(2) 将 WKELM 在 、 加权方式下的算法分 别简记为 WKELM-W1 和 WKELM-W2，将所提模 型在 、 加权方式下的算法分别简记为 lp - RWMKE-ELM-W1 和 lp -RWMKE-ELM-W2. 对每个 数据集，进行 20 次试验，然后取均值和标准差， 表 3 给出了相关算法的实验结果，图 3 对表 3 的结 果进行了图形化对比. 由表 3 和图 3 可知，所提方法的诊断精度均优 于其他方法，以 Thyroid 数据集和 lp -RWMKE-ELM￾W2 模型为例 ，与单核学习 的 KELM、 WKELM￾W1、 WKELM-W2 和 多 核 学 习 的 l1 -MKELM、 lp - MKELM、ITDSMM-KELM 相比， lp -RWMKE-ELM￾W2 在 G-mean 指标上分别提升了 17.44%、12.69%、 12.84%、 7.36%、 9.13%、 8.08%， 在 F-measure-micro 指标上分别提升了 8.31%、6.50%、5.97%、2.65%、 3.90%、3.48%，在 F-measure-macro 标上分别提升了 12.77%、10.19%、9.71%、4.30%、6.09%、5.34%. 可以看到，使用样本加权的 WKELM 的诊断精 度优于未使用样本加权的 KELM，使用多核的 lp - MKELM 优于使用单核的 KELM，集成多核分类器 的 lp -RWMKE-ELM 的诊断精度优于 WKELM、lp - MKELM 和 ITDSMM-KELM. 这是因为多核学习相 对单核学习具有更高的映射灵活性，多个核函数组合 映射的高维空间兼具各个子空间独特的特征映射能 力，将各类样本数据中的不同特征向量分别通过最合 适的单个核函数进行映射，因此，在新的组合空间里， 可以更加精确地对样本进行合理表达，有效提高故障 样本的诊断精度. 同时，运用 AadBoost 策略对基于线 0 200 400 600 800 Training samples 0.5 1.0 1.5 2.0 2.5 3.0 3.5 Sample weight/10−3 0 0.01 0.02 0.03 0.04 0.05 0.06 Sample weight (a) 0 200 400 600 800 Training samples (b) 图 2    权重分布. （a）线性层分类器权重分布；（b）高斯层分类器权重分布 Fig.2    Weight distribution: (a) weight distribution of classifier on linear layer; (b) weight distribution of classifier on gaussian layer · 88 · 工程科学学报，第 44 卷，第 1 期

刘星等：一种改进的I。RWMKE-ELM故障诊断模型 89. 表3各模型在各个UCI数据集上诊断性能比较 Table 3 Comparison of the diagnostic performance of various models on various UCI data sets Datasets Model G-mean F-measure-micro F-measure-macro Parameter.C KELM 0.61190.0418 0.6150.0432 0.6126±0.0425 216 WKELM-W1 0.6252±0.0529 0.6301±0.0529 0.6269±0.053 2 WKELM-W2 0.6305±0.0431 0.6370±0.0432 0.6331±0.0429 29 /-MKELM 0.638±0.0332 0.6383±0.0343 0.6373±0.0338 29 Diabetes -MKELM 0.6462±0.0131 0.654±0.0152 0.6495±0.0135 21o ITDSMM-KELM 0.6387±0.0241 0.655±0.0243 0.6467±0.0238 30g -RWMKE-ELM-WI 0.68830.0612 0.6920±0.0581 0.6894±0.0596 2 /-RWMKE-ELM-W2 0.7053±0.0588 0.7080±0.0567 0.70590.0575 2 KELM 0.7955±0.0552 0.8607±0.0353 0.8335±0.0452 29 WKELM-WI 0.8519±0.0555 0.8964±0.0356 0.8791±0.0447 219 WKELM-W2 0.8309±0.0706 0.8843±0.0362 0.8624±0.0512 29 /-MKELM 0.9008±0.0315 0.9171±0.0221 0.9081±0.0259 2 lonosphere -MKELM 0.8889H0.0265 0.9146±0.0169 0.9031±0.0201 29 ITDSMM-KELM 0.8758±0.0461 0.9157±0.0305 0.90210.0379 214 /-RWMKE-ELM-WI 0.9241±0.0337 0.9429±0.0286 0.9361±0.0321 2 /-RWMKE-ELM-W2 0.9332±0.0346 0.9529±0.0234 0.9468±0.0268 2 KELM 0.8041±0.0356 0.8208±0.0259 0.8045±0.0275 26 WKELM-W1 0.8048±0.0149 0.8112±0.0273 0.8027±0.0217 29 WKELM-W2 0.7972±0.0176 0.817±0.0273 0.7965±0.0225 2010 /-MKELM 0.8121±0.0318 0.8343±0.0273 0.8063±0.0329 29 Vowel MKELM 0.8102±0.065 0.8362±0.0261 0.81540.0335 29 ITDSMM-KELM 0.8113±0.0358 0.8237±0.025 0.8174±0.0279 21 /-RWMKE-ELM-W1 0.8222±0.0499 0.8659±0.0336 0.8454±0.0389 2 -RWMKE-ELM-W2 0.8325±0.0341 0.8728±0.0187 0.8531±0.0247 2 KELM 0.9192±0.0252 0.9319±0.0171 0.9242±0.0198 2周 WKELM-WI 0.9212±0.0276 0.9445±0.0179 0.9368±0.0213 20 WKELM-W2 0.9328±0.0203 0.9409±0.0159 0.9348±0.0179 3% /-MKELM 0.9345±0.0289 0.9453±0.021 0.9391±0.0241 29 Cancer -MKELM 0.9557±0.0161 0.9562±0.0137 0.9522±0.015 29 ITDSMM-KELM 0.9498±0.0614 0.9574±0.0142 0.95290.0158 200 /-RWMKE-ELM-W1 0.9744±0.0198 0.9781±0.0052 0.9759±0.0056 29 -RWMKE-ELM-W2 0.974±0.0154 0.9737±0.0151 0.9713±0.0165 29 KELM 0.5897±0.0462 0.6063±0.0424 0.5953±0.0443 29 WKELM-W1 0.6203±0.0498 0.6232±0.0523 0.6185±0.05 29 WKELM-W2 0.6482±0.0404 0.6473±0.0418 0.6440.0412 200 /-MKELM 0.6464±0.0418 0.6473±0.0464 0.6437±0.0434 29 Bupa -MKELM 0.6272±0.049 0.6473±0.0586 0.635±0.0554 219 ITDSMM-KELM 0.6214±0.0614 0.6425±0.0731 0.6295±0.068 210 /-RWMKE-ELM-W1 0.7052±0.0459 0.7198±0.0586 0.71110.0537 29 /-RWMKE-ELM-W2 0.6762±0.0478 0.7101±0.0383 0.6924±0.0432 29

表 3 各模型在各个 UCI 数据集上诊断性能比较 Table 3 Comparison of the diagnostic performance of various models on various UCI data sets Datasets Model G-mean F-measure-micro F-measure-macro Parameter，C Diabetes KELM 0.6119±0.0418 0.615±0.0432 0.6126±0.0425 2 (6) WKELM-W1 0.6252±0.0529 0.6301±0.0529 0.6269±0.053 2 (8) WKELM-W2 0.6305±0.0431 0.6370±0.0432 0.6331±0.0429 2 (9) l1 -MKELM 0.638±0.0332 0.6383±0.0343 0.6373±0.0338 2 (3) lp -MKELM 0.6462±0.0131 0.654±0.0152 0.6495±0.0135 2 (10) ITDSMM-KELM 0.6387±0.0241 0.655±0.0243 0.6467±0.0238 2 (13) lp -RWMKE-ELM-W1 0.6883±0.0612 0.6920±0.0581 0.6894±0.0596 2 (3) lp -RWMKE-ELM-W2 0.7053±0.0588 0.7080±0.0567 0.7059±0.0575 2 (3) Ionosphere KELM 0.7955±0.0552 0.8607±0.0353 0.8335±0.0452 2 (5) WKELM-W1 0.8519±0.0555 0.8964±0.0356 0.8791±0.0447 2 (9) WKELM-W2 0.8309±0.0706 0.8843±0.0362 0.8624±0.0512 2 (8) l1 -MKELM 0.9008±0.0315 0.9171±0.0221 0.9081±0.0259 2 (3) lp -MKELM 0.8889±0.0265 0.9146±0.0169 0.9031±0.0201 2 (9) ITDSMM-KELM 0.8758±0.0461 0.9157±0.0305 0.9021±0.0379 2 (14) lp -RWMKE-ELM-W1 0.9241±0.0337 0.9429±0.0286 0.9361±0.0321 2 (3) lp -RWMKE-ELM-W2 0.9332±0.0346 0.9529±0.0234 0.9468±0.0268 2 (3) Vowel KELM 0.8041±0.0356 0.8208±0.0259 0.8045±0.0275 2 (6) WKELM-W1 0.8048±0.0149 0.8112±0.0273 0.8027±0.0217 2 (5) WKELM-W2 0.7972±0.0176 0.817±0.0273 0.7965±0.0225 2 (10) l1 -MKELM 0.8121±0.0318 0.8343±0.0273 0.8063±0.0329 2 (2) lp -MKELM 0.8102±0.065 0.8362±0.0261 0.8154±0.0335 2 (5) ITDSMM-KELM 0.8113±0.0358 0.8237±0.025 0.8174±0.0279 2 (15) lp -RWMKE-ELM-W1 0.8222±0.0499 0.8659±0.0336 0.8454±0.0389 2 (3) lp -RWMKE-ELM-W2 0.8325±0.0341 0.8728±0.0187 0.8531±0.0247 2 (3) Cancer KELM 0.9192±0.0252 0.9319±0.0171 0.9242±0.0198 2 (8) WKELM-W1 0.9212±0.0276 0.9445±0.0179 0.9368±0.0213 2 (7) WKELM-W2 0.9328±0.0203 0.9409±0.0159 0.9348±0.0179 2 (6) l1 -MKELM 0.9345±0.0289 0.9453±0.021 0.9391±0.0241 2 (5) lp -MKELM 0.9557±0.0161 0.9562±0.0137 0.9522±0.015 2 (9) ITDSMM-KELM 0.9498±0.0614 0.9574±0.0142 0.9529±0.0158 2 (11) lp -RWMKE-ELM-W1 0.9744±0.0198 0.9781±0.0052 0.9759±0.0056 2 (4) lp -RWMKE-ELM-W2 0.974±0.0154 0.9737±0.0151 0.9713±0.0165 2 (3) Bupa KELM 0.5897±0.0462 0.6063±0.0424 0.5953±0.0443 2 (5) WKELM-W1 0.6203±0.0498 0.6232±0.0523 0.6185±0.05 2 (9) WKELM-W2 0.6482±0.0404 0.6473±0.0418 0.644±0.0412 2 (11) l1 -MKELM 0.6464±0.0418 0.6473±0.0464 0.6437±0.0434 2 (5) lp -MKELM 0.6272±0.049 0.6473±0.0586 0.635±0.0554 2 (9) ITDSMM-KELM 0.6214±0.0614 0.6425±0.0731 0.6295±0.068 2 (11) lp -RWMKE-ELM-W1 0.7052±0.0459 0.7198±0.0586 0.7111±0.0537 2 (4) lp -RWMKE-ELM-W2 0.6762±0.0478 0.7101±0.0383 0.6924±0.0432 2 (3) 刘    星等： 一种改进的 lp -RWMKE-ELM 故障诊断模型 · 89 ·

90 工程科学学报，第44卷，第1期 表3（续） Table 3(Continued) Datasets Model G-mean F-measure-micro F-measure-macro Parameter.C KELM 0.841±0.0861 0.9147±0.0433 0.8757±0.066 27 WKELM-WI 0.8765±0.0759 0.9302±0.0347 0.8962±0.0524 26 WKELM-W2 0.8753±0.0662 0.9349±0.0264 0.9±0.0428 20 /-MKELM 0.92±0.0712 0.9651±0.0353 0.9468±0.0507 2 Thyroid -MKELM 0.9051±0.0877 0.9535±0.0329 0.9308±0.051 2, ITDSMM-KELM 0.9139±0.0796 0.9574±0.0373 0.9374±0.0559 24 /p-RWMKE-ELM-W1 0.9231±0.0471 0.9628±0.0127 0.9438±0.0221 22 -RWMKE-ELM-W2 0.9877±0.0217 0.9907±0.0127 0.9875±0.0171 29 0.75 1.00 eG-mean 米F-measure-micro 0.95 -F-measure-macro 0.90 0.85 0.80 0.60 0.75 45 Model Model 0.88 0.98 0.86 0.96 0.84 uonen je 0.94 0.82 0.92 0.78 0.90 2 3 4 567 3 Model Model 0.75 1.00 0.95 0.90 1 米 0.85 0.55 0.80 7 2 3 6 7 Model Model The model names represented by the numbers are as follows:1-KELM;2-WKELM-W1;3-WKELM-W2;4-1-MKELM; 5-/-MKELM;6-TRMKELM;7-/-RWMKEELM-WI;8-/-RWMKEELM-W2 图3各模型在各个UCI数据集上诊断性能比较 Fig.3 Comparison of the diagnostic performance of various models on various UCI data sets

表 3 (续) Table 3 (Continued) Datasets Model G-mean F-measure-micro F-measure-macro Parameter，C Thyroid KELM 0.841±0.0861 0.9147±0.0433 0.8757±0.066 2 (7) WKELM-W1 0.8765±0.0759 0.9302±0.0347 0.8962±0.0524 2 (6) WKELM-W2 0.8753±0.0662 0.9349±0.0264 0.9±0.0428 2 (7) l1 -MKELM 0.92±0.0712 0.9651±0.0353 0.9468±0.0507 2 (3) lp -MKELM 0.9051±0.0877 0.9535±0.0329 0.9308±0.051 2 (3) ITDSMM-KELM 0.9139±0.0796 0.9574±0.0373 0.9374±0.0559 2 (6) lp -RWMKE-ELM-W1 0.9231±0.0471 0.9628±0.0127 0.9438±0.0221 2 (2) lp -RWMKE-ELM-W2 0.9877±0.0217 0.9907±0.0127 0.9875±0.0171 2 (4) The model names represented by the numbers are as follows: 1—KELM; 2—WKELM-W1; 3—WKELM-W2; 4−l1 -MKELM; 5—lp -MKELM; 6−TRMKELM; 7—lp -RWMKEELM-W1; 8—lp -RWMKEELM-W2 1 2 3 4 5 6 7 8 Model 1 2 3 4 5 6 7 8 1 Model 1 2 3 4 5 6 7 8 Model 1 2 3 4 5 6 7 8 Model 2 3 4 5 6 7 8 Model 1 2 3 4 5 6 7 8 Model 0.60 0.65 0.70 0.75 Diabetes set evaluation index G-mean F-measure-micro F-measure-macro 0.75 0.80 0.85 0.90 0.95 1.00 Ionosphere set evaluation index 0.78 0.80 0.82 0.84 0.86 0.88 Vowel set evaluation index 0.90 0.92 0.94 0.96 0.98 Cancer set evaluation index 0.55 0.60 0.65 0.70 0.75 Bupa set evaluation index 0.80 0.85 0.90 0.95 1.00 Thyroid set evaluation index 图 3    各模型在各个 UCI 数据集上诊断性能比较 Fig.3    Comparison of the diagnostic performance of various models on various UCI data sets · 90 · 工程科学学报，第 44 卷，第 1 期