·832· 智能系统学报 第14卷 多标记学习山则将一个示例同时分配给多个标 可以直接处理回归问题、单标记和多标记分类。 记，即每个对象由一个特征向量和一个二元标记 基于ELM的多标记分类算法，ER等1]和Sun 向量来表示。多标记学习的这种示例表达方式更 等19]利用ELM提出一种高速多标记分类器模 加契合现实世界对象存在的多义性，因此多标记 型，将ELM适应于多标记数据集，分类效果较为 学习成为模式识别与标记学习的重点研究课题之 理想。Zhang等2o提出了一种多层ELM-RBF算 一，并已成功应用于文本分类)、图像识别、生 法，改变传统ELM算法的单隐藏层策略，使用多 物学习囵和情感分析等领域。 隐藏层来实现多标记分类，在分类精度上也取得 目前，在多标记学习问题中，诸多学者已研究 了不错的效果。Luo等2u首次采用核ELM来处 并提出多种多标记学习算法，而这些方法大致可 理多标记问题，以保证分类算法的稳定性。对于 以分为2类，即问题转换法和算法适应法。其中 多标记学习与正则化理论结合部分。Han等四提 问题转换法是将多标记学习任务转换为一个或者 出将多标记学习作为弹性网络惩罚的最小二乘优 多个相应单标记学习任务，然后再通过传统单标 化问题，并不使用L1惩罚进行稀疏表示。本文创 记学习方法进行处理，典型算法包括BR、LPI、 作的思想来源于此，且已有研究表明在多标记数 PPT和RAKEL等。而算法适应法通过扩展特 据集中特征之间存在着相关性和冗余性，此时将 定单标记学习算法，修改其约束条件从而可以直 RELM原L2正则项用弹性网络正则代替，既保证 接处理多标记学习任务，例如ML-KNNU01、ML 模型稳定性也可对模型进行稀疏性表示。 NB、Rank.SVM2I和ML-RBF1等。而这些适 结合上述ELM算法和正则化理论，本文首次 应型算法就是将最近邻(k-nearest neighbors,. 将弹性网络正则结合核极限学习机(kernel ex- KNN)、朴素贝叶斯(naive bayes,NB)、支持向量机 treme learning machine,.KELM)应用到多标记分类 (support vector machine,.SVM)和径向基函数(radi- 中，使用弹性网络正则约束核KELM,提出基于弹 al basis function,RBF)神经网络等算法适应于多 性网络极限学习机的多标记学习算法(multi--label 标记数据。这些改造的算法在多标记学习中取得 learning algorithm of elastic net kernel extreme learn- 了不错的效果。但其中BR、LP、ML-KNN、MLNB ing machine,ML-EKELM)。该算法通过KELM映 和Rank-SVM等算法因本身特点所限，导致其时 射特征空间，然后对损失函数添加弹性网络21正 间消耗较大。 则项，最后采用坐标下降法2迭代求解多标记目 为了解决分类算法时间消耗大的问题，近年 标优化问题。KELM与弹性网络的结合提高了算 间，部分学者提出了多种基于极限学习机(ex- 法鲁棒性，保证了模型稀疏性，提供了一种基于 treme learning machine,ELM)的多标记学习算 ELM解决多标记问题的新途径。通过对比现有 法。ELM是由Huang等u,提出的是一种单隐藏 基于ELM的先进多标记算法和经典多标记算法， 层前馈神经网络(single-.hidden layer feedforward 验证了本文算法的有效性和可靠性。 neural networks,.SLFNs)算法，该算法具有模型设 1基本理论研究 计简单、运行速度快和泛化性能高等特点，在多 标记学习中具有良好的性能表现。为提高ELM 1.1 极限学习机理论 分类模型的稳定性及鲁棒性，邓万宇等提出正 传统神经网络算法需要较多的网络参数设 则极限学习机算法(regularized extreme learning 置，在求解最优解时很有可能出现局部最优解， machine,RELM),对损失函数施加L2惩罚以避免 而无法得到全局最优解。而极限学习机是一种高 分类模型出现过拟合现象。随后，Miche等lo提 效且具有优化学习算法的单隐层前馈神经网络， TROP-ELM(tikhonov-regularized optimally 求解时只需设置隐藏层节点数，并随机初始化权 pruned extreme learning machine,TROP-ELM) 值和偏置就可求解出全局最优解。ELM求解单 法，将L1和L2惩罚级联使用，对隐藏层神经元 隐层前馈神经网络，可分为2个阶段：随机特征映 施加L1惩罚，对回归权重施加L2惩罚，以达到 射和线性参数求解。 删减神经元个数和稳定数值的作用。但这些算法 在对ELM两个阶段进行分析之前，需要做出 都需要随机初始化权值和偏置，使得算法对于随 以下形式化定义：设有N个随机样本{(X,Y)川 机值敏感，导致算法稳定性不高。为处理这一问 i=1,2,…,W,其中特征空间与标记空间可分别表 题，Huang等)提出使用核函数映射特征空间以 示为X,=[xx2…xnJ,Y=yay2…ymJ,则对于具 代替传统隐藏层随机特征映射函数，使得该算法 有L个隐藏节点的单隐藏层神经网络形式化定多标记学习[1] 则将一个示例同时分配给多个标 记，即每个对象由一个特征向量和一个二元标记 向量来表示。多标记学习的这种示例表达方式更 加契合现实世界对象存在的多义性，因此多标记 学习成为模式识别与标记学习的重点研究课题之 一，并已成功应用于文本分类[2-3] 、图像识别[4] 、生 物学习[5] 和情感分析[6] 等领域。 目前，在多标记学习问题中，诸多学者已研究 并提出多种多标记学习算法，而这些方法大致可 以分为 2 类，即问题转换法和算法适应法。其中 问题转换法是将多标记学习任务转换为一个或者 多个相应单标记学习任务，然后再通过传统单标 记学习方法进行处理，典型算法包括 BR[4] 、LP[7] 、 PPT[8] 和 RAKEL[9] 等。而算法适应法通过扩展特 定单标记学习算法，修改其约束条件从而可以直 接处理多标记学习任务，例如 ML-KNN[10] 、ML￾NB[11] 、Rank-SVM[12] 和 ML-RBF[13] 等。而这些适 应型算法就是将最近邻 (k-nearest neighbors， KNN)、朴素贝叶斯 (naive bayes，NB)、支持向量机 (support vector machine，SVM) 和径向基函数 (radi￾al basis function，RBF) 神经网络等算法适应于多 标记数据。这些改造的算法在多标记学习中取得 了不错的效果。但其中 BR、LP、ML-KNN、MLNB 和 Rank-SVM 等算法因本身特点所限，导致其时 间消耗较大。 为了解决分类算法时间消耗大的问题，近年 间，部分学者提出了多种基于极限学习机 (ex￾treme learning machine，ELM) 的多标记学习算 法。ELM 是由 Huang 等 [14] 提出的是一种单隐藏 层前馈神经网络 (single-hidden layer feedforward neural networks，SLFNs) 算法，该算法具有模型设 计简单、运行速度快和泛化性能高等特点，在多 标记学习中具有良好的性能表现。为提高 ELM 分类模型的稳定性及鲁棒性，邓万宇等[15] 提出正 则极限学习机算法 (regularized extreme learning machine，RELM)，对损失函数施加 L2 惩罚以避免 分类模型出现过拟合现象。随后，Miche 等 [16] 提 出 TROP-ELM(tikhonov-regularized optimally pruned extreme learning machine，TROP-ELM) 算 法，将 L1 和 L2 惩罚级联使用，对隐藏层神经元 施加 L1 惩罚，对回归权重施加 L2 惩罚，以达到 删减神经元个数和稳定数值的作用。但这些算法 都需要随机初始化权值和偏置，使得算法对于随 机值敏感，导致算法稳定性不高。为处理这一问 题，Huang 等 [17] 提出使用核函数映射特征空间以 代替传统隐藏层随机特征映射函数，使得该算法 可以直接处理回归问题、单标记和多标记分类。 基于 ELM 的多标记分类算法，ER 等 [ 1 8 ] 和 Sun 等 [19] 利用 ELM 提出一种高速多标记分类器模 型，将 ELM 适应于多标记数据集，分类效果较为 理想。Zhang 等 [20] 提出了一种多层 ELM-RBF 算 法，改变传统 ELM 算法的单隐藏层策略，使用多 隐藏层来实现多标记分类，在分类精度上也取得 了不错的效果。Luo 等 [21] 首次采用核 ELM 来处 理多标记问题，以保证分类算法的稳定性。对于 多标记学习与正则化理论结合部分。Han 等 [22] 提 出将多标记学习作为弹性网络惩罚的最小二乘优 化问题，并不使用 L1 惩罚进行稀疏表示。本文创 作的思想来源于此，且已有研究表明在多标记数 据集中特征之间存在着相关性和冗余性，此时将 RELM 原 L2 正则项用弹性网络正则代替，既保证 模型稳定性也可对模型进行稀疏性表示。 结合上述 ELM 算法和正则化理论，本文首次 将弹性网络正则结合核极限学习机 (kernel ex￾treme learning machine，KELM) 应用到多标记分类 中，使用弹性网络正则约束核 KELM，提出基于弹 性网络极限学习机的多标记学习算法 (multi-label learning algorithm of elastic net kernel extreme learn￾ing machine，ML-EKELM)。该算法通过 KELM 映 射特征空间，然后对损失函数添加弹性网络[23] 正 则项，最后采用坐标下降法[24] 迭代求解多标记目 标优化问题。KELM 与弹性网络的结合提高了算 法鲁棒性，保证了模型稀疏性，提供了一种基于 ELM 解决多标记问题的新途径。通过对比现有 基于 ELM 的先进多标记算法和经典多标记算法， 验证了本文算法的有效性和可靠性。 1 基本理论研究 1.1 极限学习机理论 传统神经网络算法需要较多的网络参数设 置，在求解最优解时很有可能出现局部最优解， 而无法得到全局最优解。而极限学习机是一种高 效且具有优化学习算法的单隐层前馈神经网络， 求解时只需设置隐藏层节点数，并随机初始化权 值和偏置就可求解出全局最优解。ELM 求解单 隐层前馈神经网络，可分为 2 个阶段：随机特征映 射和线性参数求解。 {(Xi ,Yi)| i = 1,2,··· ,N} Xi = [xi1 xi2 ··· xin] T Yi = [ yi1yi2 ··· yim ]T 在对 ELM 两个阶段进行分析之前，需要做出 以下形式化定义：设 有 N 个随机样本 ，其中特征空间与标记空间可分别表 示为 ， ，则对于具 有 L 个隐藏节点的单隐藏层神经网络形式化定 ·832· 智 能 系 统 学 报 第 14 卷