第14卷第5期 智能系统学报 Vol.14 No.5 2019年9月 CAAI Transactions on Intelligent Systems Sep.2019 D0:10.11992/tis.201809019 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20181225.1017.002.html 结合谱聚类的标记分布学习 王一宾2，李田力，程玉胜2 (1.安庆师范大学计算机与信息学院，安徽安庆246011,2.安徽省高校智能感知与计算重点实验室，安徽安 庆246011) 摘要：标记分布是一种新的学习范式，现有算法大多数直接使用条件概率建立参数模型，未充分考虑样本之 间的相关性，导致计算复杂度增大。基于此，引人谱聚类算法，通过样本之间相似性关系将聚类问题转化为图 的全局最优划分问题，进而提出一种结合谱聚类的标记分布学习算法(label distribution learning with spectral clus- tering,SC-LDL)。首先，计算样本相似度矩阵：然后，对矩阵进行拉普拉斯变换，构造特征向量空间：最后，通过 K-meas算法对数据进行聚类建立参数模型，预测未知样本的标记分布。与现有算法在多个数据集上的实验 表明.本算法优于多个对比算法，统计假设检验进一步说明算法的有效性和优越性。 关键词：谱聚类：标记分布学习：相似度矩阵：拉普拉斯变换：K均值：参数模型：标记分布：机器学习 中图分类号：TP181 文献标志码：A文章编号：1673-4785(2019)05-0966-08 中文引用格式：王一宾，李田力，程玉胜.结合谱聚类的标记分布学习.智能系统学报，2019,14(5)：966-973. 英文引用格式：VANG Yibin,,LITianli,,CHENG Yusheng..Label distribution learning based on spectral clustering.CAAI trans- actions on intelligent systems,2019,14(5):966-973. Label distribution learning based on spectral clustering WANG Yibin'2,LI Tianli',CHENG Yusheng"2 (1.School of Computer and Information,Anqing Normal University,Anqing 246011,China;2.Key Laboratory of Intelligent Percep- tion and Computing of Anhui Province,Anqing 246011,China) Abstract:Label distribution is a new learning paradigm.Most of the existing algorithms use conditional probability to build parametric models but do not consider the links between samples fully,which increases computational complexity. On this basis,the spectral clustering algorithm is introduced to transform the clustering problem into the global optim- um graph partitioning problem based on the similarity relation between samples.Thus,a label distribution learning al- gorithm combined with spectral clustering (SC-LDL)is proposed.First,we calculate the similarity matrix of the samples.Then,we transform the matrix using the Laplace transform to construct the feature vector space.Finally,we cluster the data to establish the parameter model with K-means algorithm and use this new model to predict the label dis- tribution of unknown samples.The comparison between SC-LDL and the existing algorithm on multiple data sets shows that this algorithm is superior to multiple contrast algorithms.Furthermore,statistical hypothesis testing illustrates the effectiveness and superiority of the SC-LDL algorithm. Keywords:spectral clustering;label distribution learning;similarity matrix;Laplace transform;K-means;parametric model:label distribution;machine learning 标记多义性学习作为机器学习领域中一个热 成熟。其中多标记学习是单标记学习的拓展， 门方向，目前单标记学习与多标记学习已经较为 许多已有的研究成果也证实了多标记学习是一种 有效的学习范式。传统的多标记学习虽然可以 收稿日期：2018-09-13.网络出版日期：2018-12-26 基金项目：安徽省高校重点科研项目(KJ2017A352). 有效地处理实例和标记之间的关系，但却将标记 通信作者：程玉胜.E-mail:chengyshaq@l63.com. 进行了简单的定义，即存在为“1”不存在为“-1
DOI: 10.11992/tis.201809019 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20181225.1017.002.html 结合谱聚类的标记分布学习 王一宾1,2，李田力1 ，程玉胜1,2 （1. 安庆师范大学 计算机与信息学院，安徽 安庆 246011; 2. 安徽省高校智能感知与计算重点实验室，安徽 安 庆 246011） 摘 要：标记分布是一种新的学习范式，现有算法大多数直接使用条件概率建立参数模型，未充分考虑样本之 间的相关性，导致计算复杂度增大。基于此，引入谱聚类算法，通过样本之间相似性关系将聚类问题转化为图 的全局最优划分问题，进而提出一种结合谱聚类的标记分布学习算法 (label distribution learning with spectral clustering，SC-LDL)。首先，计算样本相似度矩阵；然后，对矩阵进行拉普拉斯变换，构造特征向量空间；最后，通过 K-means 算法对数据进行聚类建立参数模型，预测未知样本的标记分布。与现有算法在多个数据集上的实验 表明，本算法优于多个对比算法，统计假设检验进一步说明算法的有效性和优越性。 关键词：谱聚类；标记分布学习；相似度矩阵；拉普拉斯变换；K-均值；参数模型；标记分布；机器学习 中图分类号：TP181 文献标志码：A 文章编号：1673−4785(2019)05−0966−08 中文引用格式：王一宾, 李田力, 程玉胜. 结合谱聚类的标记分布学习 [J]. 智能系统学报, 2019, 14(5): 966–973. 英文引用格式：WANG Yibin, LI Tianli, CHENG Yusheng. Label distribution learning based on spectral clustering[J]. CAAI transactions on intelligent systems, 2019, 14(5): 966–973. Label distribution learning based on spectral clustering WANG Yibin1,2 ，LI Tianli1 ，CHENG Yusheng1,2 (1. School of Computer and Information, Anqing Normal University, Anqing 246011, China; 2. Key Laboratory of Intelligent Perception and Computing of Anhui Province, Anqing 246011, China) Abstract: Label distribution is a new learning paradigm. Most of the existing algorithms use conditional probability to build parametric models but do not consider the links between samples fully, which increases computational complexity. On this basis, the spectral clustering algorithm is introduced to transform the clustering problem into the global optimum graph partitioning problem based on the similarity relation between samples. Thus, a label distribution learning algorithm combined with spectral clustering (SC-LDL) is proposed. First, we calculate the similarity matrix of the samples. Then, we transform the matrix using the Laplace transform to construct the feature vector space. Finally, we cluster the data to establish the parameter model with K-means algorithm and use this new model to predict the label distribution of unknown samples. The comparison between SC-LDL and the existing algorithm on multiple data sets shows that this algorithm is superior to multiple contrast algorithms. Furthermore, statistical hypothesis testing illustrates the effectiveness and superiority of the SC-LDL algorithm. Keywords: spectral clustering; label distribution learning; similarity matrix; Laplace transform; K-means; parametric model; label distribution; machine learning 标记多义性学习作为机器学习领域中一个热 门方向，目前单标记学习与多标记学习已经较为 成熟[1-2]。其中多标记学习是单标记学习的拓展， 许多已有的研究成果也证实了多标记学习是一种 有效的学习范式[3]。传统的多标记学习虽然可以 有效地处理实例和标记之间的关系，但却将标记 进行了简单的定义，即存在为“1”不存在为“−1”， 收稿日期：2018−09−13. 网络出版日期：2018−12−26. 基金项目：安徽省高校重点科研项目 (KJ2017A352). 通信作者：程玉胜. E-mail：chengyshaq@163.com. 第 14 卷第 5 期 智 能 系 统 学 报 Vol.14 No.5 2019 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2019
第5期 王一宾，等：结合谱聚类的标记分布学习 ·967· 忽略了标记对实例的描述有着不同重要程度这一 因此，为了解决以上传统聚类的问题，将谱聚 问题，因此并不适用于真实世界中某些实例，例 类中NW算法引入到标记分布学习中，提出了 如人的情感分析。人的情感可以通过面部表情来 种结合谱聚类的标记分布学习算法(label distribu- 表达，而面部表情往往是一种混合了多种基本情 tion learning with spectral clustering,SC-LDL). 绪的综合表情，例如：惊讶和恐惧可能会同时出 征相似的样本对应的标记分布理论上也是相似 现，高兴和感动可能会在同一时刻表现出来；这 的，将这些聚类中心作为新的输人空间，可以得 些基本情绪共同组成了一种情绪分布，在表达的 到新的预测标记分布。相比于已有算法，本算法 情感中各自占有不同的比重。针对这类实例， 考虑了样本之间的联系，并且通过谱聚类预处理 Geng等提出了一种标记分布学习范式(label 后的样本数据有效减少了相似数据和异常数据对 distribution learning,LDL). 模型复杂度及预测精度的影响，相比于其他聚类 基于此，为了更好地研究标记分布学习，研究 算法既不限定样本空间，也不需要迭代更新，同 者们提出了许多预测标记分布的算法。目前已有 时本文通过在12个数据集上和5个经典算法进 的算法主要分为3类：1)为了使用现有学习范式 行对比实验，证明了本文所提算法的有效性。 的相关公式定义，提出了将标记分布学习退化成 1相关知识 单标记学习的PT-Bayes(problem transformation bayes)算法和PT-SVM(problem transformation sup- 1.1谱聚类算法 port vector machine)算法；2)将机器学习领域相 谱聚类(spectral clustering)l是一种基于谱图 关算法引入到标记分布学习中，以提高预测精 理论的算法，该算法是将数据聚类问题转换成寻 度，如AA-KNN算法(algorithm adaptation k nearest 求图的最优分割，它是一种点对聚类算法，并且 neighbors)和AA-BP算法(algorithm adaptation 适用于非凸数据。谱聚类基本步骤可以描述 back propagation);3)为了切合标记分布学习自 为：通过高斯核函数计算原始数据集对应的相似 身的特性，而专门设计的CPNN(conditional prob- 矩阵W,进而得到一个度矩阵D,之后进行拉普拉 ability neural network)算法m、SA-lIS(specialized al-- 斯变换，对转换后的拉普拉斯矩阵L进行特征值 gorithms improved iterative scaling)SA-BFGS 分解，找出前m个特征值对应的特征向量，并将 (specialized algorithms broyden fletcher gold- 特征向量按列存储得到新的特征矩阵，对新的特 farb shanno)⑧。然而上述算法均未考虑样本之间 征矩阵进行K-means聚类处理2o。谱聚类算法一 联系，导致样本数目过多，计算时间过长，甚至受 经提出，其在数据降维、不规则数据聚类、图像分 异常样本数据的影响使得预测精度下降。为了解 割等方面获得了广泛的应用。 决这种问题，本文考虑引入聚类方法处理。 定义1高斯核函数。定义一个d维的欧式 聚类是一种无监督的处理数据并寻找内部关 空间P,其中有一点p∈X,p到某一中心点P之 联的分类方式。目前聚类算法以及改进算法很 间欧氏距离的单调函数记作kp-poD,称之为核 多，如K-means和模糊聚类等o"。聚类对简化 函数。高斯核函数是一种常用的核函数，定义为 训练模型效果优秀，其中，张敏灵在多标记学 ko(p-Poll)exp(-IP-p.ll 2o2） (1) 习中对输入空间进行K-means聚类，构建类属属 式中：p属于欧式空间P;P。为核函数中心；σ为函 性，然后训练对应的分类模型；邵东恒等]将K 数的宽度参数。 means引入标记分布学习，取得了较好的效果。 定义2相似矩阵。相似矩阵又称亲和矩 但是这些传统聚类算法依托于凸球形样本空间， 阵，其与原矩阵特征值和特征向量相同，本文用 并且由于采取迭代更新，算法容易陷入局部最 W来表示，矩阵定义为 优，同时对数据适应性也不够。为了避免传统 聚类这些弊端导致算法可能不具备一般性，故 Wi=exp- d(s,S》 22 (2) 而引入谱聚类方法。谱聚类近年被引入了机器学 式中：s和s表示样本数据点；d(s,s)通常取 习领域，并迅速成为热点之一。谱聚类算法中 s,-s;“是预先设定的尺度因子，用来控制样本 最经典的算法是Ng等提出的NJW(Ng Jordan 点s和s之间距离对W的影响。 Weiss)算法，NJW算法聚类效果也较为理想。 定义3度矩阵。将W的每行元素相加，将
忽略了标记对实例的描述有着不同重要程度这一 问题，因此并不适用于真实世界中某些实例，例 如人的情感分析。人的情感可以通过面部表情来 表达，而面部表情往往是一种混合了多种基本情 绪的综合表情，例如：惊讶和恐惧可能会同时出 现，高兴和感动可能会在同一时刻表现出来；这 些基本情绪共同组成了一种情绪分布，在表达的 情感中各自占有不同的比重。针对这类实例， Geng 等 [4] 提出了一种标记分布学习范式 (label distribution learning, LDL)。 基于此，为了更好地研究标记分布学习，研究 者们提出了许多预测标记分布的算法。目前已有 的算法主要分为 3 类：1) 为了使用现有学习范式 的相关公式定义，提出了将标记分布学习退化成 单标记学习的 PT-Bayes(problem transformation bayes) 算法和 PT-SVM(problem transformation support vector machine) 算法[5] ；2) 将机器学习领域相 关算法引入到标记分布学习中，以提高预测精 度，如 AA-KNN 算法 (algorithm adaptation k nearest neighbors) 和 AA-BP 算法 (algorithm adaptation back propagation)[6] ；3) 为了切合标记分布学习自 身的特性，而专门设计的 CPNN(conditional probability neural network) 算法[7] 、SA-IIS(specialized algorithms improved iterative scaling) 和 SA-BFGS 算法 (specialized algorithms broyden fletcher goldfarb shanno)[8]。然而上述算法均未考虑样本之间 联系，导致样本数目过多，计算时间过长，甚至受 异常样本数据的影响使得预测精度下降。为了解 决这种问题，本文考虑引入聚类方法处理。 聚类是一种无监督的处理数据并寻找内部关 联的分类方式[9]。目前聚类算法以及改进算法很 多，如 K-means 和模糊聚类等[10-11]。聚类对简化 训练模型效果优秀，其中，张敏灵[12] 在多标记学 习中对输入空间进行 K-means 聚类，构建类属属 性，然后训练对应的分类模型；邵东恒等[13] 将 Kmeans 引入标记分布学习，取得了较好的效果。 但是这些传统聚类算法依托于凸球形样本空间， 并且由于采取迭代更新，算法容易陷入局部最 优，同时对数据适应性也不够[14]。为了避免传统 聚类这些弊端导致算法可能不具备一般性[15] ，故 而引入谱聚类方法。谱聚类近年被引入了机器学 习领域，并迅速成为热点之一[16]。谱聚类算法中 最经典的算法是 Ng 等 [17] 提出的 NJW (Ng Jordan Weiss) 算法，NJW 算法聚类效果也较为理想。 因此，为了解决以上传统聚类的问题，将谱聚 类中 NJW 算法引入到标记分布学习中，提出了一 种结合谱聚类的标记分布学习算法 (label distribution learning with spectral clustering，SC-LDL)。特 征相似的样本对应的标记分布理论上也是相似 的，将这些聚类中心作为新的输入空间，可以得 到新的预测标记分布。相比于已有算法，本算法 考虑了样本之间的联系，并且通过谱聚类预处理 后的样本数据有效减少了相似数据和异常数据对 模型复杂度及预测精度的影响，相比于其他聚类 算法既不限定样本空间，也不需要迭代更新，同 时本文通过在 12 个数据集上和 5 个经典算法进 行对比实验，证明了本文所提算法的有效性。 1 相关知识 1.1 谱聚类算法 谱聚类 (spectral clustering)[18] 是一种基于谱图 理论的算法，该算法是将数据聚类问题转换成寻 求图的最优分割，它是一种点对聚类算法，并且 适用于非凸数据[19]。谱聚类基本步骤可以描述 为：通过高斯核函数计算原始数据集对应的相似 矩阵 W，进而得到一个度矩阵 D，之后进行拉普拉 斯变换，对转换后的拉普拉斯矩阵 L 进行特征值 分解，找出前 m 个特征值对应的特征向量，并将 特征向量按列存储得到新的特征矩阵，对新的特 征矩阵进行 K-means 聚类处理[20]。谱聚类算法一 经提出，其在数据降维、不规则数据聚类、图像分 割等方面获得了广泛的应用。 p ∈ X k(∥p− p0∥) 定义 1 高斯核函数。定义一个 d 维的欧式 空间 P，其中有一点 ，p 到某一中心点 p0 之 间欧氏距离的单调函数记作 ，称之为核 函数。高斯核函数是一种常用的核函数，定义为 kG(∥p− po∥) = exp(− ∥p− po∥ 2 2σ2 ) (1) 式中：p 属于欧式空间 P；po 为核函数中心；σ 为函 数的宽度参数。 定义 2 相似矩阵。相似矩阵又称亲和矩 阵，其与原矩阵特征值和特征向量相同，本文用 W 来表示，矩阵定义为 Wi j = exp( − d(si ,sj) 2µ 2 ) (2) si sj d(si ,sj) si − sj 2 si sj Wi j 式中： 和 表示样本数据点； 通常取 ；μ 是预先设定的尺度因子，用来控制样本 点 和 之间距离对 的影响。 定义 3 度矩阵。将 W 的每行元素相加，将 第 5 期 王一宾，等：结合谱聚类的标记分布学习 ·967·
·968· 智能系统学报 第14卷 相加后的数值用作对角元素构建对角矩阵，称之 中心C。 为度矩阵，其中非对角元素取值为0。本文用 算法1NJW算法 D来表示度矩阵，其定义为 输入预设参数σ、k,其中k值选择样本数 的20%(k为聚类数目)，标记分布训练集S= (3) {x1,D1),(x2,D2),…,(xa,Dn)} 定义4拉普拉斯矩阵。拉普拉斯矩阵主要 输出簇类中心C。 应用在图论中，是一种用来表示图的矩阵，用 1)利用式(1)和式(2)计算相似矩阵W: L来表示，本文选取不规范拉普拉斯矩阵，其定义为 2)通过式(3)计算度矩阵D,度矩阵主对角线 L=D1/2WD-/2 (4) 上的元素D为相似矩阵W的第i行元素之和， 1.2标记分布学习 其余元素均为0； 标记分布学习是一种更加贴近真实世界的分 3)通过式(4)对度矩阵D进行拉普拉斯变 布学习范式2四。在传统的多标记学习中，每一个 换，得到变换后的矩阵L: 实例对应一个标记集合，其中每一个标记的描述 4)对矩阵L进行特征值分解； 度为“1”或“-1”。当将这种描述度用一种类似于 5)升序排列； 概率分布的形式来表示，即为标记分布。一个实 6)得出前m个特征值对应的特征向量，按列 例对应一个标记分布的学习过程，称为标记分布 存储得到新的特征矩阵X; 学习四。真实世界中的实例所对应的标记多是有 7)对矩阵X'进行K-means聚类得到新的聚 重要程度之分的，标记分布学习考虑这些重要程 类中心； 度，并且结合概率分布理论，将标记集合通过 8)初始样本点S,划分为j个聚类，当且仅当 种概率分布的形式来表达。 样本矩阵的第i行被划分为第j聚类： 定义5在标记分布学习中，每一个用来描 9)输出聚类中心C; 述实例x的标记y用d:来标注重要程度，不失一 10)结束。 般性，可知de[0,1,且∑d=1。 通过NJW算法，将原有标记分布集合划分成q 定义6给定标记分布学习中的训练集 个不相关的簇类，其中簇类中心C={c1,cz,…,cg, S={(x1,D),(x2,D2,(x3,D3)…,(xnDn)》,其中实例 g=1,2,…,ko 矩阵X=xx…xnx∈R4表示X中第i个实 2.2结合谱聚类算法的构造过程 例，i=1,2,…,n。标记矩阵Y=y1y2…y,y是 当使用NJW算法对样本数据聚类得到簇类 第j个标记，j=1,2,…,c。训练集对应的标记分 中心C后，对应的标记分布划分为相应簇类，对 布为D=[D1D2…D],实例x,的标记分布为 应新的分布矩阵，命名为S。使用KNN分类器对 D:=dd…d。d为标记y对实例x,的描述 S中的样本x进行分类，通过式（⑤）计算，得到最 程度。 终预测标记分布。 目前的标记分布学习通过训练集S得到条件 (5) 概率POx,进而得到预测标记分布。 EN国 2结合谱聚类算法的标记分布学习 式中：y为S中标记；k为示例的最近邻居数； 算法的构造 N()表示S中x的索引集。 算法2结合谱聚类NW的标记分布学习算法 2.1谱聚类NJW算法 输入簇类中心C={c1,c2,…,cg,k值； 给定训练集S,将这些数据点看作图节点，相 输出Pyx)。 似度矩阵为W={Wll≤i≤n,1≤j≤n,相似性按照 1)计算当前数据点和各个数据点的距离； 式(2)来计算。根据式(3)得到一个归一化的对 2)将该距离升序排列； 角矩阵D,对D进行拉普拉斯变换，根据式(4)得 3)选择和当前数据点最近的k个数据点； 到归一化拉普拉斯图矩阵L。计算L的特征向 4)判断这k个数据点对应类别的出现频率： 量，按照从小到大排列，将前m个特征向量按列 5)将最高出现频率的这k个数据点对应类别 排序得到新的矩阵X=[x'1r2…xm],将该矩阵 作为当前数据点的预测分类； X作为新的输入再进行K-means聚类，得到簇类 6)结束
相加后的数值用作对角元素构建对角矩阵，称之 为度矩阵，其中非对角元素取值为 0。本文用 D 来表示度矩阵，其定义为 Di j = ∑n i, j=1 Wi j (3) 定义 4 拉普拉斯矩阵。拉普拉斯矩阵主要 应用在图论中，是一种用来表示图的矩阵，用 L 来表示，本文选取不规范拉普拉斯矩阵，其定义为 L = D −1/2W D−1/2 (4) 1.2 标记分布学习 标记分布学习是一种更加贴近真实世界的分 布学习范式[21]。在传统的多标记学习中，每一个 实例对应一个标记集合，其中每一个标记的描述 度为“1”或“−1”。当将这种描述度用一种类似于 概率分布的形式来表示，即为标记分布。一个实 例对应一个标记分布的学习过程，称为标记分布 学习[22]。真实世界中的实例所对应的标记多是有 重要程度之分的，标记分布学习考虑这些重要程 度，并且结合概率分布理论，将标记集合通过一 种概率分布的形式来表达。 d y x d y x ∈ [0,1] ∑ y d y x = 1 定义 5 在标记分布学习中，每一个用来描 述实例 x 的标记 y 用 来标注重要程度，不失一 般性，可知 ，且 。 S = {(x1, D1),(x2, D2),(x3, D3),··· ,(xn, Dn)} X = [ x1 x2 ··· xn ] xi ∈ R d i = 1,2,··· ,n Y = [ y1 y2 ··· yc ] j = 1,2,··· , c D = [ D1 D2 ··· Dn ] Di = [ d y1 xi d y2 xi ··· d yc xi ] d yj xi 定 义 6 给定标记分布学习中的训练集 ，其中实例 矩阵 ， 表示 X 中第 i 个实 例 ， 。标记矩阵 ，yj 是 第 j 个标记， 。训练集对应的标记分 布 为 ,实 例 x i 的标记分布为 。 为标记 yj 对实例 xi 的描述 程度。 P(y|x) 目前的标记分布学习通过训练集 S 得到条件 概率 ，进而得到预测标记分布。 2 结合谱聚类算法的标记分布学习 算法的构造 2.1 谱聚类 NJW 算法 W = {Wi j|1 ⩽ i ⩽ n,1 ⩽ j ⩽ n} X ′ = [x ′ 1 x ′ 2 ··· x ′ m] 给定训练集 S，将这些数据点看作图节点，相 似度矩阵为 ,相似性按照 式 (2) 来计算。根据式 (3) 得到一个归一化的对 角矩阵 D,对 D 进行拉普拉斯变换，根据式 (4) 得 到归一化拉普拉斯图矩阵 L。计算 L 的特征向 量，按照从小到大排列，将前 m 个特征向量按列 排序得到新的矩阵 ，将该矩阵 X′作为新的输入再进行 K-means 聚类，得到簇类 中心 C。 算法 1 NJW 算法 {(x1, D1),(x2, D2),··· ,(xn, Dn)} 输入 预设参数 σ、k，其中 k 值选择样本数 的 20%( k 为聚类数目 )，标记分布训练 集 S = ； 输出 簇类中心 C。 1) 利用式 (1) 和式 (2) 计算相似矩阵 W； Di j 2) 通过式 (3) 计算度矩阵 D，度矩阵主对角线 上的元素 为相似矩阵 W 的第 i 行元素之和， 其余元素均为 0； 3) 通过式 (4) 对度矩阵 D 进行拉普拉斯变 换，得到变换后的矩阵 L； 4) 对矩阵 L 进行特征值分解； 5) 升序排列； X ′ 6) 得出前 m 个特征值对应的特征向量，按列 存储得到新的特征矩阵 ； X 7 ′ ) 对矩阵 进行 K-means 聚类得到新的聚 类中心； 8) 初始样本点 Si 划分为 j 个聚类，当且仅当 样本矩阵的第 i 行被划分为第 j 聚类； 9) 输出聚类中心 C ; 10) 结束。 C = { c1, c2,··· , cq } , q = 1,2, ··· , k 通过 NJW 算法，将原有标记分布集合划分成 q 个不相关的簇类，其中簇类中心 。 2.2 结合谱聚类算法的构造过程 S ′ S ′ x ′ 当使用 NJW 算法对样本数据聚类得到簇类 中心 C 后，对应的标记分布划分为相应簇类，对 应新的分布矩阵，命名为 。使用 KNN 分类器对 中的样本 进行分类，通过式 (5) 计算，得到最 终预测标记分布。 P ( yj ′ |x ′ ) = 1 k ∑ i∈Nk (x) d yj xi (5) yj ′ S ′ x ′ Nk(x) x ′ 式中： 为 中标记；k 为示例 的最近邻居数； 表示 S′中 的索引集。 算法 2 结合谱聚类 NJW 的标记分布学习算法 C = { c1, c2,··· , cq } 输入 簇类中心 ，k 值； P ( yj ′ |x ′ ) 输出 。 1) 计算当前数据点和各个数据点的距离； 2) 将该距离升序排列； 3) 选择和当前数据点最近的 k 个数据点； 4) 判断这 k 个数据点对应类别的出现频率； 5) 将最高出现频率的这 k 个数据点对应类别 作为当前数据点的预测分类； 6) 结束。 ·968· 智 能 系 统 学 报 第 14 卷
第5期 王一宾，等：结合谱聚类的标记分布学习 ·969· 3实验与结果分析 213张对10名日本女性模特进行人脸采集得到表 情灰度图，特征向量是由Local Binary Patterns方 为了验证本文SC-LDL算法有效性，选取 法抽取图像特征获得的，实例中的标记分布包含 5种经典算法在12个标准数据集上进行对比实 了开心、难过、惊讶、害怕、生气和厌恶6种情 验。相关实验结果还使用统计分析中Nemenyi检 感。SDU3DFE数据集与s-JAFFE不同的是，它 验来进一步表明算法有效性。其中Nemenyi检验 包含了2500张表情灰度图。Movie是用户对电 是统计学中一种针对成组数据的有效检验方法。 影评级的数据集。所有数据来自于Netflix,电影 3.1标记分布学习评价指标 评级分5级，作为标记，用户在各个级别上的评价 标记分布学习输出的是一个标记分布，评价 比例作为标记分布存在，该数据集所有特征均来 算法并不能简单地用标记准确度多少来建立。根 自于电影相关属性的提取。 据Geng等在文献[4]中提出的对标记分布学习评 表2数据集 价算法的建议，本实验采用了6种代表性的标记 Table 2 Data sets 分布评价指标，分别为Chebyshev距离、Clark距 数据集 样本 特征 标记 离、Canberra距离、Kullback-Leibler(KL-div)散度、 Yeast-alpha 2465 24 18 余弦相关系数(Cosine)和交叉相似度(Intersection)。 Yeast-cdc 2465 24 其中，前4个指标是衡量距离的指标，后两个是相 似度指标。假设有c个标记的实例，真实标记分 Yeast-diau 2465 品 布为D=[dd2…d],预测标记分布为D=d Yeast-heat 2465 24 6 d2…d],各个指标的计算公式见表1，其中表示 Yeast-spo 2465 24 该指标越低越好，而↑表示该指标越高越好。 Yeast-cold 2465 24 表1标记分布评价指标 Table 1 Evaluation measures for label distribution learn- Yeast-dtt 2465 24 ing Yeast-spo5 2465 24 评价指标 计算公式 Yeast-elu 2465 14 Chebyshev距离！ Dis1 max dj-d s-JAFFE 213 243 6 Clark距离」 Dis2= 色- N台+ SDU_3DFE 2500 243 6 Ds=户4-d动 Movie 7700 1869 5 Canberra距离I 台4+d 本文所有实验均在Matlab:2016a中运行，硬件 KL-div散度 d 环境Intel®CoreTMi5-75003.40 GHz CPU,操作系 2 统为Windows10。 本文SC-LDL为了加强说服力，使用十折交 Cosine相似度t Diss 叉验证来进行实验，即每次进行实验时将数据集 随机分为10个部分，其中1份数据集用来测试， Intersection相似度↑ Dis6= 了) 剩余9份作为训练数据集，总计进行10次实验， 综合10次实验得到的评价指标结果求出平均值 3.2 实验数据与环境描述 (mean)和标准差(std)。 实验数据：本文SC-LDL算法与5种常用经 3.3实验结果与分析 典算法进行对比，使用的12个数据集相关信息如 表3~8给出了本文算法与5种对比算法在 表2。Yeast类都是在酵母菌上做实验收集到的 12个数据集上的实验对比结果，其中在每一个数 真实数据，每个数据集中含有2465个酵母菌基 据集上运行的最优结果用黑体表示；表格最后一 因，每个基因由24个特征表达，标记对应不同的 行给出了6种算法的算法排位。算法排位越小， 时间点，标记分布是不同的时间点上基因表达水 表示算法总体性能越好。 平。s-JAFFE和SDU3DFE数据集是两个常用的 对以上6项评价指标结果进行统计检验，结 表情数据集的拓展，其中s-JAFFE数据集中包含 果如图1所示
3 实验与结果分析 为了验证本文 SC-LDL 算法有效性，选取 5 种经典算法在 12 个标准数据集上进行对比实 验。相关实验结果还使用统计分析中 Nemenyi 检 验来进一步表明算法有效性。其中 Nemenyi 检验 是统计学中一种针对成组数据的有效检验方法。 3.1 标记分布学习评价指标 D = [d1 d2 ··· dc] Dˆ = [dˆ 1 dˆ 2 ··· dˆ c] 标记分布学习输出的是一个标记分布，评价 算法并不能简单地用标记准确度多少来建立。根 据 Geng 等在文献 [4] 中提出的对标记分布学习评 价算法的建议，本实验采用了 6 种代表性的标记 分布评价指标，分别为 Chebyshev 距离、Clark 距 离、Canberra 距离、Kullback-Leibler(KL-div) 散度、 余弦相关系数 (Cosine) 和交叉相似度 (Intersection)。 其中，前 4 个指标是衡量距离的指标，后两个是相 似度指标。假设有 c 个标记的实例，真实标记分 布 为 ，预测标记分布为 ，各个指标的计算公式见表 1，其中↓表示 该指标越低越好，而↑表示该指标越高越好。 表 1 标记分布评价指标 Table 1 Evaluation measures for label distribution learning 评价指标 计算公式 Chebyshev距离↓ Dis1 = max j dj −dˆ j Clark距离↓ Dis2 = vuuut∑n j=1 ( dj −dˆ j )2 ( dj +dˆ j )2 Canberra距离↓ Dis3= ∑n j=1 dj −dˆ j dj +dˆ j KL-div散度↓ Dis4= ∑n j=1 dj ln dj dˆ j Cosine相似度↑ Dis5 = ∑n j=1 djdˆ j vt∑n j=1 d 2 j vt∑n j=1 dˆ 2 j Intersection相似度↑ Dis6 = ∑n j=1 min(dj ,dˆ j) 3.2 实验数据与环境描述 实验数据：本文 SC-LDL 算法与 5 种常用经 典算法进行对比，使用的 12 个数据集相关信息如 表 2。Yeast 类都是在酵母菌上做实验收集到的 真实数据，每个数据集中含有 2 465 个酵母菌基 因，每个基因由 24 个特征表达，标记对应不同的 时间点，标记分布是不同的时间点上基因表达水 平。s-JAFFE 和 SDU_3DFE 数据集是两个常用的 表情数据集的拓展，其中 s-JAFFE 数据集中包含 213 张对 10 名日本女性模特进行人脸采集得到表 情灰度图，特征向量是由 Local Binary Patterns 方 法抽取图像特征获得的，实例中的标记分布包含 了开心、难过、惊讶、害怕、生气和厌恶 6 种情 感。SDU_3DFE 数据集与 s-JAFFE 不同的是，它 包含了 2 500 张表情灰度图。Movie 是用户对电 影评级的数据集。所有数据来自于 Netflix，电影 评级分 5 级，作为标记，用户在各个级别上的评价 比例作为标记分布存在，该数据集所有特征均来 自于电影相关属性的提取。 表 2 数据集 Table 2 Data sets 数据集 样本 特征 标记 Yeast-alpha 2 465 24 18 Yeast-cdc 2 465 24 15 Yeast-diau 2 465 24 7 Yeast-heat 2 465 24 6 Yeast-spo 2 465 24 6 Yeast-cold 2 465 24 4 Yeast-dtt 2 465 24 4 Yeast-spo5 2 465 24 3 Yeast-elu 2 465 24 14 s-JAFFE 213 243 6 SDU_3DFE 2 500 243 6 Movie 7 700 1 869 5 本文所有实验均在 Matlab2016a 中运行，硬件 环境 Intel® CoreTMi5-7500 3.40 GHz CPU，操作系 统为 Windows 10。 本文 SC-LDL 为了加强说服力，使用十折交 叉验证来进行实验，即每次进行实验时将数据集 随机分为 10 个部分，其中 1 份数据集用来测试， 剩余 9 份作为训练数据集，总计进行 10 次实验， 综合 10 次实验得到的评价指标结果求出平均值 (mean) 和标准差 (std)。 3.3 实验结果与分析 表 3~8 给出了本文算法与 5 种对比算法在 12 个数据集上的实验对比结果，其中在每一个数 据集上运行的最优结果用黑体表示；表格最后一 行给出了 6 种算法的算法排位。算法排位越小， 表示算法总体性能越好。 对以上 6 项评价指标结果进行统计检验，结 果如图 1 所示。 第 5 期 王一宾，等：结合谱聚类的标记分布学习 ·969·
·970· 智能系统学报 第14卷 表3 Chebyshev()指标结果 Table 3 Results in Chebyshev ( 数据集 PT-SVM PT-Bayes AA-KNN AA-BP SA-IIS SC-LDL Yeast-alpha 0.0170±0.0020 0.0996±0.0051 0.0146±0.00040.0367±0.0013 0.0170±0.0005 0.0135±0.0001 Yeast-cdc 0.0200±0.0031 0.1087±0.0101 0.0175±0.0004 0.0388±0.0021 0.0200±0.0005 0.0162±0.0001 Yeast-elu 0.0190±0.0010 0.1121±0.0061 0.0176±0.0004 0.0389±0.0018 0.0203±0.0004 0.0163±0.0001 Yeast-diau 0.0460±0.0040 0.1577±0.0069 0.0391±0.0013 0.0501±0.0020 0.0412±0.0009 0.0375±0.0012 Yeast-heat 0.0460±0.0011 0.1741±0.0105 0.0447±0.0017 0.0530±0.0027 0.0466±0.0011 0.0427±0.0012 Yeast-spo 0.0650±0.0061 0.1754±0.0090 0.062940.0027 0.0671±0.0035 0.0613±0.0015 0.0581±0.0017 Yeast-cold 0.0574±0.0031 0.1831±0.0133 0.0550±0.0017 0.0591±0.0026 0.0566±0.0016 0.0508±0.0014 Yeast-dtt 0.0401±0.0011 0.1818±0.0134 0.0397±0.0017 0.0433±0.0015 0.0436±0.0013 0.0366±0.0013 Yeast-spo5 0.0929±0.0060 0.2013±0.0133 0.0970±0.0054 0.0942±0.0035 0.0950±0.0023 0.09200.0027 s-JAFFE 0.1271±0.0171 0.1232±0.0083 0.0988±0.0139 0.1391±0.0129 0.1160±0.0141 0.1147±0.0108 s-BU 3DFE 0.1191±0.0060 0.1386±0.0037 0.1030±0.0035 0.1429±0.0064 0.1344±0.0050 0.1332±0.0061 Movie 0.2130±0.0391 0.2014±0.0028 0.1240±0.00260.1391±0.0034 0.1473±0.0020 0.1297±0.0031 算法排位 3.7500 5.6667 2.1667 4.6667 3.4167 1.3333 表4 Clark()指标结果 Table 4 Results in Clark() 数据集 PT-SVM PT-Bayes AA-KNN AA-BP SA-IIS SC-LDL Yeast-alpha 0.2771±0.0310 1.1729±0.0395 0.2305±0.0041 0.73490.0311 0.2614±0.0071 0.2111±0.0051 Yeast-cdc 0.2601±0.0290 1.0801±0.0619 0.2354±0.0049 0.5957±0.0362 0.2578±0.0063 0.2155±0.0042 Yeast-elu 0.2340±0.0150 1.0343±0.0496 0.2171±0.0057 0.5449±0.0279 0.2404±0.0035 0.1996±0.0062 Yeast-diau 0.2460H0.0140 0.7531±0.0333 0.2110±0.0062 0.2753±0.0104 0.2215±0.0052 0.2037±0.0075 Yeast-heat 0.1981±0.0070 0.6838±0.0386 0.1939±0.0070 0.2321±0.0132 0.2010±0.0047 0.1840±0.0051 Yeast-spo 0.2731±0.0240 0.6843±0.0302 0.2668±0.0103 0.2907±0.0164 0.2624±0.0074 0.2494±0.0053 Yeast-cold 0.1552±0.0080 0.4954±0.0351 0.1497±0.0047 0.1609±0.0069 0.1532±0.0049 0.13870.0032 Yeast-dtt 0.1080±0.0050 0.4986±0.0358 0.1075±0.0051 0.1183±0.0042 0.1172±0.0039 0.0997±0.0040 Yeast-spo5 0.1870±0.0130 0.4180±0.0278 0.1958±0.0113 0.1895±0.0073 0.1914±0.0051 0.1854±0.0062 s-JAFFE 0.4570±0.0390 0.4397±0.0152 0.3485±0.0306 0.5229±0.0487 0.4155±0.0256 0.4148±0.0209 s-BU 3DFE 0.4940±0.0220 0.4125±0.0070 0.4031±0.0087 0.4654±0.0199 0.4138±0.0072 0.4071±0.0132 Movie 0.7970±0.1080 0.8065±0.00860.5488±0.0102 0.6405±0.0165 0.5824±0.0076 0.5928±0.0082 算法排位 4.0000 5.0833 2.1667 4.8333 3.1667 1.3333 表5 Canberra()指标结果 Table 5 Results in Canberra() 数据集 PT-SVM PT-Bayes AA-KNN AA-BP SA-IIS SC-LDL Yeast-alpha 0.9210±0.10704.1937±0.1492 0.7532±0.01402.4208±0.0956 0.8618±0.0232 0.6846±0.0148 Yeast-cdc 0.7850±0.0840 3.5412±0.22580.7121±0.0147 1.79860.1084 0.7831±0.0157 0.6463±0.0104 Yeast-elu 0.6910±0.0470 3.2778±0.17120.641940.0179 1.5983±0.0830 0.7125±0.0093 0.5857±0.0165 Yeast-diau 0.5280±0.0310 1.7086±0.08400.453940.0151 0.59440.0207 0.4787±0.0101 0.4377±0.0155 Yeast-heat 0.3960±0.0160 1.4440±0.0827 0.3903±0.0135 0.4671±0.0236 0.4042±0.0098 0.3672±0.0096 Yeast-spo 0.5650±0.0490 1.4431±0.0689 0.5490±0.0220 0.5951±0.0337 0.5394±0.0159 0.5130±0.0107 Yeast-cold 0.2670±0.0140 0.8669±0.06200.2593±0.0072 0.2773±0.0123 0.2649±0.0085 0.2390±0.0053 Yeast-dtt 0.1860±0.0080 0.8719±0.0649 0.1847±0.0081 0.2041±0.0076 0.2027±0.0072 0.1714±0.0065 Yeast-spo5 0.2870±0.0190 0.6488±0.0450 0.3003±0.01700.2911±0.0112 0.2939±0.0077 0.2847±0.0092 s-JAFFE 0.9350±0.0740 0.9225±0.0391 0.714240.06401.0716±0.1133 0.8620±0.0580 0.8630±0.0420 s-BU 3DFE 1.1470±0.0640 0.9025±0.0160 0.8315±0.01930.9823±0.0385 0.8969±0.0180 0.8786±0.0316 Movie 1.5370±0.2160 1.5635±0.0188 1.0553±0.02101.2238±0.0305 1.1199±0.0164 1.1308±0.0180 算法排位 3.4167 5.6667 2.1667 4.8333 3.0000 1.4167
表 3 Chebyshev(↓) 指标结果 Table 3 Results in Chebyshev (↓) 数据集 PT-SVM PT-Bayes AA-KNN AA-BP SA-IIS SC-LDL Yeast-alpha 0.017 0±0.002 0 0.099 6±0.005 1 0.014 6±0.000 4 0.036 7±0.001 3 0.017 0±0.000 5 0.013 5±0.000 1 Yeast-cdc 0.020 0±0.003 1 0.108 7±0.010 1 0.017 5±0.000 4 0.038 8±0.002 1 0.020 0±0.000 5 0.016 2±0.000 1 Yeast-elu 0.019 0±0.001 0 0.112 1±0.006 1 0.017 6±0.000 4 0.038 9±0.001 8 0.020 3±0.000 4 0.016 3±0.000 1 Yeast-diau 0.046 0±0.004 0 0.157 7±0.006 9 0.039 1±0.001 3 0.050 1±0.002 0 0.041 2±0.000 9 0.037 5±0.001 2 Yeast-heat 0.046 0±0.001 1 0.174 1±0.010 5 0.044 7±0.001 7 0.053 0±0.002 7 0.046 6±0.001 1 0.042 7±0.001 2 Yeast-spo 0.065 0±0.006 1 0.175 4±0.009 0 0.062 9±0.002 7 0.067 1±0.003 5 0.061 3±0.001 5 0.058 1±0.001 7 Yeast-cold 0.057 4±0.003 1 0.183 1±0.013 3 0.055 0±0.001 7 0.059 1±0.002 6 0.056 6±0.001 6 0.050 8±0.001 4 Yeast-dtt 0.040 1±0.001 1 0.181 8±0.013 4 0.039 7±0.001 7 0.043 3±0.001 5 0.043 6±0.001 3 0.036 6±0.001 3 Yeast-spo5 0.092 9±0.006 0 0.201 3±0.013 3 0.097 0±0.005 4 0.094 2±0.003 5 0.095 0±0.002 3 0.092 0±0.002 7 s-JAFFE 0.127 1±0.017 1 0.123 2±0.008 3 0.098 8±0.013 9 0.139 1±0.012 9 0.116 0±0.014 1 0.114 7±0.010 8 s-BU_3DFE 0.119 1±0.006 0 0.138 6±0.003 7 0.103 0±0.003 5 0.142 9±0.006 4 0.134 4±0.005 0 0.133 2±0.006 1 Movie 0.213 0±0.039 1 0.201 4±0.002 8 0.124 0±0.002 6 0.139 1±0.003 4 0.147 3±0.002 0 0.129 7±0.003 1 算法排位 3.750 0 5.666 7 2.166 7 4.666 7 3.416 7 1.333 3 表 4 Clark(↓) 指标结果 Table 4 Results in Clark (↓) 数据集 PT-SVM PT-Bayes AA-KNN AA-BP SA-IIS SC-LDL Yeast-alpha 0.277 1±0.031 0 1.172 9±0.039 5 0.230 5±0.004 1 0.734 9±0.031 1 0.261 4±0.007 1 0.211 1±0.005 1 Yeast-cdc 0.260 1±0.029 0 1.080 1±0.061 9 0.235 4±0.004 9 0.595 7±0.036 2 0.257 8±0.006 3 0.215 5±0.004 2 Yeast-elu 0.234 0±0.015 0 1.034 3±0.049 6 0.217 1±0.005 7 0.544 9±0.027 9 0.240 4±0.003 5 0.199 6±0.006 2 Yeast-diau 0.246 0±0.014 0 0.753 1±0.033 3 0.211 0±0.006 2 0.275 3±0.010 4 0.221 5±0.005 2 0.203 7±0.007 5 Yeast-heat 0.198 1±0.007 0 0.683 8±0.038 6 0.193 9±0.007 0 0.232 1±0.013 2 0.201 0±0.004 7 0.184 0±0.005 1 Yeast-spo 0.273 1±0.024 0 0.684 3±0.030 2 0.266 8±0.010 3 0.290 7±0.016 4 0.262 4±0.007 4 0.249 4±0.005 3 Yeast-cold 0.155 2±0.008 0 0.495 4±0.035 1 0.149 7±0.004 7 0.160 9±0.006 9 0.153 2±0.004 9 0.138 7±0.003 2 Yeast-dtt 0.108 0±0.005 0 0.498 6±0.035 8 0.107 5±0.005 1 0.118 3±0.004 2 0.117 2±0.003 9 0.099 7±0.004 0 Yeast-spo5 0.187 0±0.013 0 0.418 0±0.027 8 0.195 8±0.011 3 0.189 5±0.007 3 0.191 4±0.005 1 0.185 4±0.006 2 s-JAFFE 0.457 0±0.039 0 0.439 7±0.015 2 0.348 5±0.030 6 0.522 9±0.048 7 0.415 5±0.025 6 0.414 8±0.020 9 s-BU_3DFE 0.494 0±0.022 0 0.412 5±0.007 0 0.403 1±0.008 7 0.465 4±0.019 9 0.413 8±0.007 2 0.407 1±0.013 2 Movie 0.797 0±0.108 0 0.806 5±0.008 6 0.548 8±0.010 2 0.640 5±0.016 5 0.582 4±0.007 6 0.592 8±0.008 2 算法排位 4.000 0 5.083 3 2.166 7 4.833 3 3.166 7 1.333 3 表 5 Canberra (↓) 指标结果 Table 5 Results in Canberra (↓) 数据集 PT-SVM PT-Bayes AA-KNN AA-BP SA-IIS SC-LDL Yeast-alpha 0.921 0±0.107 0 4.193 7±0.149 2 0.753 2±0.014 0 2.420 8±0.095 6 0.861 8±0.023 2 0.684 6±0.014 8 Yeast-cdc 0.785 0±0.084 0 3.541 2±0.225 8 0.712 1±0.014 7 1.798 6±0.108 4 0.783 1±0.015 7 0.646 3±0.010 4 Yeast-elu 0.691 0±0.047 0 3.277 8±0.171 2 0.641 9±0.017 9 1.598 3±0.083 0 0.712 5±0.009 3 0.585 7±0.016 5 Yeast-diau 0.528 0±0.031 0 1.708 6±0.084 0 0.453 9±0.015 1 0.594 4±0.020 7 0.478 7±0.010 1 0.437 7±0.015 5 Yeast-heat 0.396 0±0.016 0 1.444 0±0.082 7 0.390 3±0.013 5 0.467 1±0.023 6 0.404 2±0.009 8 0.367 2±0.009 6 Yeast-spo 0.565 0±0.049 0 1.443 1±0.068 9 0.549 0±0.022 0 0.595 1±0.033 7 0.539 4±0.015 9 0.513 0±0.010 7 Yeast-cold 0.267 0±0.014 0 0.866 9±0.062 0 0.259 3±0.007 2 0.277 3±0.012 3 0.264 9±0.008 5 0.239 0±0.005 3 Yeast-dtt 0.186 0±0.008 0 0.871 9±0.064 9 0.184 7±0.008 1 0.204 1±0.007 6 0.202 7±0.007 2 0.171 4±0.006 5 Yeast-spo5 0.287 0±0.019 0 0.648 8±0.045 0 0.300 3±0.017 0 0.291 1±0.011 2 0.293 9±0.007 7 0.284 7±0.009 2 s-JAFFE 0.935 0±0.074 0 0.922 5±0.039 1 0.714 2±0.064 0 1.071 6±0.113 3 0.862 0±0.058 0 0.863 0±0.042 0 s-BU_3DFE 1.147 0±0.064 0 0.902 5±0.016 0 0.831 5±0.019 3 0.982 3±0.038 5 0.896 9±0.018 0 0.878 6±0.031 6 Movie 1.537 0±0.216 0 1.563 5±0.018 8 1.055 3±0.021 0 1.223 8±0.030 5 1.119 9±0.016 4 1.130 8±0.018 0 算法排位 3.416 7 5.666 7 2.166 7 4.833 3 3.000 0 1.416 7 ·970· 智 能 系 统 学 报 第 14 卷
第5期 王一宾，等：结合谱聚类的标记分布学习 ·971 表6 Kullback-Leibler()指标结果 Table 6 Results in Kullback-Leibler ( 数据集 PT-SVM PT-Bayes AA-KNN AA-BP SA-IIS SC-LDL Yeast-alpha 0.0090±0.0020 0.2776±0.0238 0.0065±0.00020.0872±0.9475 0.0085±0.0004 0.0055±0.0001 Yeast-cdc 0.0100±0.0020 02831±0.0421 0.0082±0.0003 0.0672±0.0098 0.0099±0.0005 0.0070±0.0001 Yeast-elu 0.0080±0.0010 0.2825±0.0328 0.0073±0.0004 0.0608±0.0092 0.0091±0.0003 0.0062±0.0001 Yeast-diau 0.0190±0.0020 0.2698±0.0276 0.014940.0009 0.0264±0.0024 0.0157±0.0006 0.0135±0.0001 Yeast-heat 0.0148±0.0010 02684±0.0345 0.0144±0.0010 0.0216±0.0029 0.0152±0.0007 0.0130±0.0001 Yeast-spo 0.0304±0.0050 0.2788±0.0398 0.0291±0.0023 0.0332±0.0039 0.0268±0.0015 0.0245±0.0013 Yeast-cold 0.0147±0.0010 02174±0.0356 0.0139±0.0011 0.0162±0.0016 0.0146±0.0010 0.0121±0.0001 Yeast-dtt 0.0073±0.0010 0.2264±0.0393 0.0074±0.0008 0.0089±0.0006 0.0080±0.0006 0.0064±0.0001 Yeast-spo5 0.0301±0.0030 0.2066±0.0427 0.0347±0.0039 0.0312±0.0023 0.0314±0.0015 0.02970.0019 s-JAFFE 0.0860±0.0160 0.0763±0.0063 0.0538±0.0107 0.1173±0.0245 0.0693±0.0116 0.0687±0.0085 s-BU 3DFE 0.08900.0070 0.0849±0.0029 0.0818±0.0039 0.1023±0.0096 0.0819±0.0040 0.0806±0.0051 Movie 0.2680±0.0790 0.7297±0.0590 0.1177±0.0051 0.1664±0.0107 0.1317±0.0046 0.1240±0.0051 算法排位 3.9167 4.9167 2.3333 4.9167 3.2500 1.1667 表7 Cosine(t)指标结果 Table 7 Results in Cosine ( 数据集 PT-SVM PT-Bayes AA-KNN AA-BP SA-IIS SC-LDL Yeast-alpha 0.9910±0.0020 0.8485±0.0070 0.9936±0.0002 0.9475±0.0032 0.9914±0.0004 0.9946±0.0001 Yeast-cdc 0.9910±0.0020 0.8508±0.0130 0.9921±0.0003 0.9564±0.0045 0.9902±0.0004 0.9933±0.0001 Yeast-elu 0.9920±0.0010 0.8531±0.0092 0.9929±0.0004 0.9597±0.0039 0.9910±0.0003 0.9940±0.0001 Yeast-diau 0.9820±0.0020 0.8638±0.0070 0.9863±0.0009 0.9773±0.0017 0.9853±0.0005 0.9876±0.0001 Yeast-heat 0.9860±0.0010 0.8668±0.0103 0.9863±0.0009 0.9803±0.0020 0.9854±0.0006 0.9877±0.0001 Yeast-spo 0.9710±0.0050 0.8611±0.0093 0.9727±0.0022 0.9695±0.0032 0.9747±0.0013 0.9770±0.0011 Yeast-cold 0.9860±0.0010 0.8936±0.0095 0.9868±0.0008 0.9848±0.0014 0.9861±0.0008 0.9886±0.0001 Yeast-dtt 0.9930±0.0005 0.8950±0.0098 0.9929±0.0006 0.9916±0.0005 0.9915±0.0005 0.9939±0.0001 Yeast-spo5 0.9732±0.0030 0.8980±0.0106 0.9694±0.0033 0.9723±0.0018 0.9721±0.0012 0.9738±0.0014 s-JAFFE 0.92000.0140 0.9281±0.0063 0.9484±0.0109 0.8991±0.0189 0.9347±0.0112 0.9352±0.0083 s-BU_3DFE 0.9140±0.0060 0.9179±0.0028 0.9202±0.0035 0.9037±0.0069 0.9203±0.0036 0.92410.0047 Movie 0.8060±0.0610 0.8495±0.0022 0.9224±0.00320.9028±0.0045 0.9081±0.0030 0.9194±0.0034 算法排位 4.0000 5.5833 2.2500 4.8333 3.1667 1.1667 表8 Intersection(T)指标结果 Table 8 Results in Intersection ( 数据集 PT-SVM PT-Bayes AA-KNN AA-BP SA-IIS SC-LDL Yeast-alpha 0.9490±0.00600.7725±0.00780.958440.0008 0.8740±0.00430.9518±0.0013 0.9622±0.0001 Yeast-cdc 0.9480±0.0060 0.7711±0.01460.9531±0.0010 0.8867±0.0063 0.9478±0.0009 0.9575±0.0001 Yeast-elu 0.9510±0.00300.7727±0.0109 0.9547±0.0013 0.8917±0.0052 0.9491±0.0007 0.9587±0.0012 Yeast-diau 0.9260±0.0040 0.7690±0.0108 0.9370±0.0022 0.9177±0.0028 0.9331±0.0013 0.9393±0.0020 Yeast-heat 0.935040.00300.7708±0.0122 0.9359±0.0022 0.9235±0.0035 0.9332±0.0016 0.9394±0.0015 Yeast-spo 0.9060±0.00800.7691±0.0108 0.9095±0.0037 0.9022±0.0053 0.9109±0.0026 0.9156±0.0017 Yeast-cold 0.933940.00400.7965±0.0139 0.9360±0.0016 0.9317±0.0031 0.9344±0.0020 0.9411±0.0013 Yeast-dtt 0.9540±0.00200.7964±0.0147 0.9544±0.0018 0.9496±0.0019 0.9496±0.0018 0.9577±0.0015 Yeast-spo5 0.9071±0.0060 0.7987±0.0133 0.9030±0.00540.9058±0.0035 0.9050±0.0023 0.9080±0.0027 s-JAFFE 0.8390±0.0150 0.8430±0.0077 0.8763±0.0133 0.8181±0.0195 0.8536±0.0119 0.8533±0.0083 s-BU 3DFE 0.8270±0.0090 0.8388±0.0032 0.8479±0.00380.8236±0.0067 0.8394±0.0037 0.8423±0.0059 Movie 0.7110±0.0520 0.7226±0.0028 0.8224±0.00380.7976±0.0051 0.8032±0.0033 0.8116±0.0036 算法排位 3.3333 5.5833 2.0833 4.9167 3.2500 1.3333
表 6 Kullback-Leibler (↓) 指标结果 Table 6 Results in Kullback–Leibler (↓) 数据集 PT-SVM PT-Bayes AA-KNN AA-BP SA-IIS SC-LDL Yeast-alpha 0.009 0±0.002 0 0.277 6±0.023 8 0.006 5±0.000 2 0.087 2±0.947 5 0.008 5±0.000 4 0.005 5±0.000 1 Yeast-cdc 0.010 0±0.002 0 0.283 1±0.042 1 0.008 2±0.000 3 0.067 2±0.009 8 0.009 9±0.000 5 0.007 0±0.000 1 Yeast-elu 0.008 0±0.001 0 0.282 5±0.032 8 0.007 3±0.000 4 0.060 8±0.009 2 0.009 1±0.000 3 0.006 2±0.000 1 Yeast-diau 0.019 0±0.002 0 0.269 8±0.027 6 0.014 9±0.000 9 0.026 4±0.002 4 0.015 7±0.000 6 0.013 5±0.000 1 Yeast-heat 0.014 8±0.001 0 0.268 4±0.034 5 0.014 4±0.001 0 0.021 6±0.002 9 0.015 2±0.000 7 0.013 0±0.000 1 Yeast-spo 0.030 4±0.005 0 0.278 8±0.039 8 0.029 1±0.002 3 0.033 2±0.003 9 0.026 8±0.001 5 0.024 5±0.001 3 Yeast-cold 0.014 7±0.001 0 0.217 4±0.035 6 0.013 9±0.001 1 0.016 2±0.001 6 0.014 6±0.001 0 0.012 1±0.000 1 Yeast-dtt 0.007 3±0.001 0 0.226 4±0.039 3 0.007 4±0.000 8 0.008 9±0.000 6 0.008 0±0.000 6 0.006 4±0.000 1 Yeast-spo5 0.030 1±0.003 0 0.206 6±0.042 7 0.034 7±0.003 9 0.031 2±0.002 3 0.031 4±0.001 5 0.029 7±0.001 9 s-JAFFE 0.086 0±0.016 0 0.076 3±0.006 3 0.053 8±0.010 7 0.117 3±0.024 5 0.069 3±0.011 6 0.068 7±0.008 5 s-BU_3DFE 0.089 0±0.007 0 0.084 9±0.002 9 0.081 8±0.003 9 0.102 3±0.009 6 0.081 9±0.004 0 0.080 6±0.005 1 Movie 0.268 0±0.079 0 0.729 7±0.059 0 0.117 7±0.005 1 0.166 4±0.010 7 0.131 7±0.004 6 0.124 0±0.005 1 算法排位 3.916 7 4.916 7 2.333 3 4.916 7 3.250 0 1.166 7 表 7 Cosine (↑) 指标结果 Table 7 Results in Cosine (↑) 数据集 PT-SVM PT-Bayes AA-KNN AA-BP SA-IIS SC-LDL Yeast-alpha 0.991 0±0.002 0 0.848 5±0.007 0 0.993 6±0.000 2 0.947 5±0.003 2 0.991 4±0.000 4 0.994 6±0.000 1 Yeast-cdc 0.991 0±0.002 0 0.850 8±0.013 0 0.992 1±0.000 3 0.956 4±0.004 5 0.990 2±0.000 4 0.993 3±0.000 1 Yeast-elu 0.992 0±0.001 0 0.853 1±0.009 2 0.992 9±0.000 4 0.959 7±0.003 9 0.991 0±0.000 3 0.994 0±0.000 1 Yeast-diau 0.982 0±0.002 0 0.863 8±0.007 0 0.986 3±0.000 9 0.977 3±0.001 7 0.985 3±0.000 5 0.987 6±0.000 1 Yeast-heat 0.986 0±0.001 0 0.866 8±0.010 3 0.986 3±0.000 9 0.980 3±0.002 0 0.985 4±0.000 6 0.987 7±0.000 1 Yeast-spo 0.971 0±0.005 0 0.861 1±0.009 3 0.972 7±0.002 2 0.969 5±0.003 2 0.974 7±0.001 3 0.977 0±0.001 1 Yeast-cold 0.986 0±0.001 0 0.893 6±0.009 5 0.986 8±0.000 8 0.984 8±0.001 4 0.986 1±0.000 8 0.988 6±0.000 1 Yeast-dtt 0.993 0±0.000 5 0.895 0±0.009 8 0.992 9±0.000 6 0.991 6±0.000 5 0.991 5±0.000 5 0.993 9±0.000 1 Yeast-spo5 0.973 2±0.003 0 0.898 0±0.010 6 0.969 4±0.003 3 0.972 3±0.001 8 0.972 1±0.001 2 0.973 8±0.001 4 s-JAFFE 0.920 0±0.014 0 0.928 1±0.006 3 0.948 4±0.010 9 0.899 1±0.018 9 0.934 7±0.011 2 0.935 2±0.008 3 s-BU_3DFE 0.914 0±0.006 0 0.917 9±0.002 8 0.920 2±0.003 5 0.903 7±0.006 9 0.920 3±0.003 6 0.924 1±0.004 7 Movie 0.806 0±0.061 0 0.849 5±0.002 2 0.922 4±0.003 2 0.902 8±0.004 5 0.908 1±0.003 0 0.919 4±0.003 4 算法排位 4.000 0 5.583 3 2.250 0 4.833 3 3.166 7 1.166 7 表 8 Intersection (↑) 指标结果 Table 8 Results in Intersection (↑) 数据集 PT-SVM PT-Bayes AA-KNN AA-BP SA-IIS SC-LDL Yeast-alpha 0.949 0±0.006 0 0.772 5±0.007 8 0.958 4±0.000 8 0.874 0±0.004 3 0.951 8±0.001 3 0.962 2±0.000 1 Yeast-cdc 0.948 0±0.006 0 0.771 1±0.014 6 0.953 1±0.001 0 0.886 7±0.006 3 0.947 8±0.000 9 0.957 5±0.000 1 Yeast-elu 0.951 0±0.003 0 0.772 7±0.010 9 0.954 7±0.001 3 0.891 7±0.005 2 0.949 1±0.000 7 0.958 7±0.001 2 Yeast-diau 0.926 0±0.004 0 0.769 0±0.010 8 0.937 0±0.002 2 0.917 7±0.002 8 0.933 1±0.001 3 0.939 3±0.002 0 Yeast-heat 0.935 0±0.003 0 0.770 8±0.012 2 0.935 9±0.002 2 0.923 5±0.003 5 0.933 2±0.001 6 0.939 4±0.001 5 Yeast-spo 0.906 0±0.008 0 0.769 1±0.010 8 0.909 5±0.003 7 0.902 2±0.005 3 0.910 9±0.002 6 0.915 6±0.001 7 Yeast-cold 0.933 9±0.004 0 0.796 5±0.013 9 0.936 0±0.001 6 0.931 7±0.003 1 0.934 4±0.002 0 0.941 1±0.001 3 Yeast-dtt 0.954 0±0.002 0 0.796 4±0.014 7 0.954 4±0.001 8 0.949 6±0.001 9 0.949 6±0.001 8 0.957 7±0.001 5 Yeast-spo5 0.907 1±0.006 0 0.798 7±0.013 3 0.903 0±0.005 4 0.905 8±0.003 5 0.905 0±0.002 3 0.908 0±0.002 7 s-JAFFE 0.839 0±0.015 0 0.843 0±0.007 7 0.876 3±0.013 3 0.818 1±0.019 5 0.853 6±0.011 9 0.853 3±0.008 3 s-BU_3DFE 0.827 0±0.009 0 0.838 8±0.003 2 0.847 9±0.003 8 0.823 6±0.006 7 0.839 4±0.003 7 0.842 3±0.005 9 Movie 0.711 0±0.052 0 0.722 6±0.002 8 0.822 4±0.003 8 0.797 6±0.005 1 0.803 2±0.003 3 0.811 6±0.003 6 算法排位 3.333 3 5.583 3 2.083 3 4.916 7 3.250 0 1.333 3 第 5 期 王一宾，等：结合谱聚类的标记分布学习 ·971·
·972· 智能系统学报 第14卷 CD CD 1 6 5 6 SC-LDL PT-Bayes SC-LDL- PT-Baves AA-KNN AA-BP AA-KNN AA-BP SA-IIS PT-SVM SA-IIS PT-SVM (a)Chebyshev (b)Clark CD CD 6 5 6 SC-LDL -PT-Bayes SC-LDL -PT-Bayes AA-KNN AA-BP AA-KNN AA-BP SA-IIS PT-SVM SA-IIS PT-SVM (c)Canberra (d)Kullback-Leibler CD CD 4 5 6 3 5 SC-LDL -PT-Bayes SC-LDL PT-Bayes AA-KNN -AA-BP AA-KNN AA-BP SA-lⅡS -PT-SVM SA-IIS PT-SVM (e)Cosine (f)Intersetion 图1 Nemenyi检验在6个标记分布学习算法上的CD图 Fig.1 CD diagrams of the nemenyi test on six label distribution learning algorithms 实验结果分析：表2~8给出了6种算法在12 的复杂性及Movie数据集的稀疏性，导致算法精 个标准数据集上的6项评价指标结果，图1是实 度偏低，这也说明了进一步研究降低相似度矩阵 验结果的统计分析图。由表2~8分析可以得到： 构造复杂性的必要性。 1)在6项指标中，SC-LDL至少4项占优，其 4结束语 它2项相差也很小； 2)本实验选择的数据集中，9个数据集为酵 谱聚类在图像分割领域取得了较大成就，将 母菌基因，2个表情数据集，1个影评，其中在酵 谱聚类引入标记分布学习是一个大胆的尝试。实 母菌基因数据集中，SC-LDL效果均最优： 验结果表明是有效的。本文提出的结合谱聚类的 3)在样本数少，特征数多的数据集（例如s- 标记分布学习算法SC-LDL,继承了标记分布学 JAFFE)中，少部分结果略优； 习和谱聚类的优点，考虑数据样本之间的联系， 4)在样本数多，特征数很多的数据集(Movie) 对原始数据降维处理，减少了原有标记分布学习 中，算法效果偏低； 计算复杂度。对比现有主流算法，实验结果表 5)通过综合算法排位分析，SC-LDL总是总 明，经过约简的数据建立概率分布模型预测未知 体最优。 样本的标记分布精度更高，假设统计检验也证明 图1统计分析Nemenyi检验结果均在显著性 了算法的有效性。 水平为5%下得出。Nemenyi检验是当两个算法 虽然谱聚类效果理想，但是在高维样本下计 的评价指标结果在平均排序中差值不大于临界 算却变得复杂，如何解决谱聚类在高维下计算复 值(critical difference,CD),则说明二者无显著性差 杂问题，将是未来研究重点方向。 异，反之则有显著性差异。该统计分析中有5个 参考文献： 对比算法，12个数据集，其中CD=2.1767。在图1 中，线段相连的算法表示二者的平均排序差值低 [1]ZHOU Zhihua,ZHANG Minling.Multi-label learning [M]//SAMMUT C,WEBB G I.Encyclopedia of Machine 于CD值，即无显著性差异，各子图中无显著性差 Learning and Data Mining.Boston,MA:Springer,2017: 异的算法用线段连接，可以看出，SC-LDL与大部 875-881」 分算法有显著性差异。这进一步说明SC-LDL具 [2]王一宾，程玉胜，裴根生.结合均值漂移的多示例多标记 有更好的效果。 学习改进算法[).南京大学学报（自然科学版），2018， 综上所述，在考虑样本相似性的前提下，将原 54(2:422-435. WANG Yibin,CHENG Yusheng,PEI Gensheng.Im- 始样本转化为图模型进行降维，在大多数据集下 proved algorithm for multi-instance multi-label learning 提升了算法精度。这说明使用谱聚类是一种有效 based on mean shift[J].Journal of Nanjing University (Nat- 的方式。在大样本高维特征下，由于相似度计算 ural Science,2018,54(2):422-435
(a) Chebyshev (b) Clark (c) Canberra (d) Kullback-Leibler (e) Cosine (f) Intersetion CD SC-LDL AA-KNN SA-IIS 1 2 3 4 5 6 CD SC-LDL AA-KNN SA-IIS 1 2 3 4 5 6 PT-Bayes AA-BP PT-SVM PT-Bayes AA-BP PT-SVM CD SC-LDL AA-KNN SA-IIS 1 2 3 4 5 6 CD SC-LDL AA-KNN SA-IIS 1 2 3 4 5 6 PT-Bayes AA-BP PT-SVM PT-Bayes AA-BP PT-SVM CD SC-LDL AA-KNN SA-IIS 1 2 3 4 5 6 CD SC-LDL AA-KNN SA-IIS 1 2 3 4 5 6 PT-Bayes AA-BP PT-SVM PT-Bayes AA-BP PT-SVM 图 1 Nemenyi 检验在 6 个标记分布学习算法上的 CD 图 Fig. 1 CD diagrams of the nemenyi test on six label distribution learning algorithms 实验结果分析：表 2~8 给出了 6 种算法在 12 个标准数据集上的 6 项评价指标结果，图 1 是实 验结果的统计分析图。由表 2~8 分析可以得到： 1) 在 6 项指标中，SC-LDL 至少 4 项占优，其 它 2 项相差也很小； 2) 本实验选择的数据集中，9 个数据集为酵 母菌基因，2 个表情数据集，1 个影评，其中在酵 母菌基因数据集中，SC-LDL 效果均最优； 3) 在样本数少，特征数多的数据集 (例如 sJAFFE) 中，少部分结果略优； 4) 在样本数多，特征数很多的数据集 (Movie) 中，算法效果偏低； 5) 通过综合算法排位分析，SC-LDL 总是总 体最优。 图 1 统计分析 Nemenyi 检验结果均在显著性 水平为 5% 下得出。Nemenyi 检验是当两个算法 的评价指标结果在平均排序中差值不大于临界 值 (critical difference，CD)，则说明二者无显著性差 异，反之则有显著性差异。该统计分析中有 5 个 对比算法，12 个数据集，其中 CD=2.176 7。在图 1 中，线段相连的算法表示二者的平均排序差值低 于 CD 值，即无显著性差异，各子图中无显著性差 异的算法用线段连接，可以看出，SC-LDL 与大部 分算法有显著性差异。这进一步说明 SC-LDL 具 有更好的效果。 综上所述，在考虑样本相似性的前提下，将原 始样本转化为图模型进行降维，在大多数据集下 提升了算法精度。这说明使用谱聚类是一种有效 的方式。在大样本高维特征下，由于相似度计算 的复杂性及 Movie 数据集的稀疏性，导致算法精 度偏低，这也说明了进一步研究降低相似度矩阵 构造复杂性的必要性。 4 结束语 谱聚类在图像分割领域取得了较大成就，将 谱聚类引入标记分布学习是一个大胆的尝试。实 验结果表明是有效的。本文提出的结合谱聚类的 标记分布学习算法 SC-LDL，继承了标记分布学 习和谱聚类的优点，考虑数据样本之间的联系， 对原始数据降维处理，减少了原有标记分布学习 计算复杂度。对比现有主流算法，实验结果表 明，经过约简的数据建立概率分布模型预测未知 样本的标记分布精度更高，假设统计检验也证明 了算法的有效性。 虽然谱聚类效果理想，但是在高维样本下计 算却变得复杂，如何解决谱聚类在高维下计算复 杂问题，将是未来研究重点方向。 参考文献： ZHOU Zhihua, ZHANG Minling. Multi-label learning [M]//SAMMUT C, WEBB G I. Encyclopedia of Machine Learning and Data Mining. Boston, MA: Springer, 2017: 875–881. [1] 王一宾, 程玉胜, 裴根生. 结合均值漂移的多示例多标记 学习改进算法 [J]. 南京大学学报(自然科学版), 2018, 54(2): 422–435. WANG Yibin, CHENG Yusheng, PEI Gensheng. Improved algorithm for multi-instance multi-label learning based on mean shift[J]. Journal of Nanjing University (Natural Science), 2018, 54(2): 422–435. [2] ·972· 智 能 系 统 学 报 第 14 卷
第5期 王一宾，等：结合谱聚类的标记分布学习 ·973· [3]ZHANG Minling,ZHOU Zhihua.A review on multi-label [16]CAI Deng,CHEN Xinlei.Large Scale spectral clustering learning algorithms[J].IEEE Transactions on Knowledge via landmark-based sparse representation[J].IEEE trans- and Data Engineering,2014,26(8):1819-1837. actions on cybernetics.2015.45(8):1669-1680. [4]GENG Xin.Label distribution learning[J].IEEE transac- [17]NG A Y,JORDAN M I.WEISS Y.On spectral cluster- tions on knowledge and data engineering,2016,28(7): ing:analysis and an algorithm[Cl//Proceedings of the 14th 1734-1748 International Conference on Neural Information Pro- [5]季荣姿.标记分布学习及其应用[D].南京：东南大学， cessing Systems:Natural and Synthetic.Cambridge, 2014. USA,2001:849-856. JI Rongzi.Label distribution learning and its applications [18]YANG Yifang,WANG Yuping,XUE Xingsi.A novel [D].Nanjing:Southeast University,2014. spectral clustering method with superpixels for image seg- [6]GENG Xin,HOU Peng.Pre-release prediction of crowd mentation[J].Optik,2016,127(1):161-167. opinion on movies by label distribution learning[C]//Pro- [19]WANG Sheng,LU Jianfeng,GU Xingjian,et al.Unsu- ceedings of the 24th International Conference on Artificial pervised discriminant canonical correlation analysis based Intelligence.Buenos Aires,Argentina,2015:3511-3517. on spectral clustering[J].Neurocomputing,2016,171: [7]GENG Xin,YIN Chao,ZHOU Zhihua.Facial age estima- 425-433. tion by learning from label distributions[J].IEEE transac- [20]LI Xinye,GUO Lijie.Constructing affinity matrix in tions on pattern analysis and machine intelligence,2013, spectral clustering based on neighbor propagation[J]. 35(10):2401-2412 Neurocomputing,2012,97:125-130. [8]GENG Xin,XIA Yu.Head pose estimation based on mul- [21]赵权，耿新.标记分布学习中目标函数的选择).计算 tivariate label distribution[C]//Proceedings of 2014 IEEE 机科学与探索，2017,11(5)：708-719. Conference on Computer Vision and Pattern Recognition. ZHAO Quan,GENG Xin.Selection of target function in Columbus,USA,2014:1837-1842. label distribution learning[J].Journal of frontiers of com- [9]伍育红.聚类算法综述[U.计算机科学，2015,42(6A): puter science and technology,2017,11(5):708-719. 491-499.524. [22】]耿新，徐宁，邵瑞枫.面向标记分布学习的标记增强 WU Yuhong.General overview on clustering algorithms 计算机研究与发展，2017,546)：1171-1184 [J.Computer science,2015,42(6A):491-499,524. GENG Xin,XU Ning,SHAO Ruifeng.Label enhance- [10]GENOLINI C.FALISSARD B.KmL:k-means for longit- ment for label distribution learning[J].Journal of com- udinal data[J].Computational statistics,2010,25(2): puter research and development,2017,54(6):1171- 317-328. 1184. [11]ZHOU Jin,CHEN Long,CHEN C L P,et al.Fuzzy clus- 作者简介： tering with the entropy of attribute weights[].Neurocom- 王一宾，男，1970年生，教授，主 puting,2016,198:125-134. 要研究方向为多标记学习、机器学习 [12]ZHANG Minling.Lift:multi-label learning with label- 和软件安全。发表学术论文40余 specific features[Cl//Proceedings of the 22nd Internation- 篇。 al Joint Conference on Artificial Intelligence.Barcelona, Spain,.2011:1609-1614 [13]邵东恒，杨文元，赵红.应用k-means算法实现标记分布 学习[.智能系统学报，2017,12(3)325-332， SHAO Dongheng,YANG Wenyuan,ZHAO Hong.Label 李田力，男，1996年生，硕土研究 distribution learning based on k-means algorithm[J]. 生，主要研究方向为标记分布学习。 CAAI transactions on Intelligent systems.2017.12(3): 325-332. [14]管涛，杨婷.谱聚类广义模型与典型算法分析).模式 识别与人工智能，2014,27(11)：1015-1025. GUAN Tao,YANG Ting.Analysis of general model and classical algorithms for spectral clustering[J].Pattern re- 程玉胜，男，1969年生，教授，博 cognition and artificial intelligence,2014,27(11): 土，主要研究方向为数据挖掘、粗糙 1015-1025. 集。发表学术论文90余篇。 [15]ZELNIK-MANOR L,PERONA P.Self-tuning spectral clustering[C]//Proceedings of the 17th International Con- ference on Neural Information Processing Systems.Cam- bridge,USA,2004:1601-1608
ZHANG Minling, ZHOU Zhihua. A review on multi-label learning algorithms[J]. IEEE Transactions on Knowledge and Data Engineering, 2014, 26(8): 1819–1837. [3] GENG Xin. Label distribution learning[J]. IEEE transactions on knowledge and data engineering, 2016, 28(7): 1734–1748. [4] 季荣姿. 标记分布学习及其应用 [D]. 南京: 东南大学, 2014. JI Rongzi. Label distribution learning and its applications [D]. Nanjing: Southeast University, 2014. [5] GENG Xin, HOU Peng. Pre-release prediction of crowd opinion on movies by label distribution learning[C]//Proceedings of the 24th International Conference on Artificial Intelligence. Buenos Aires, Argentina, 2015: 3511−3517. [6] GENG Xin, YIN Chao, ZHOU Zhihua. Facial age estimation by learning from label distributions[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(10): 2401–2412. [7] GENG Xin, XIA Yu. Head pose estimation based on multivariate label distribution[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA, 2014: 1837–1842. [8] 伍育红. 聚类算法综述 [J]. 计算机科学, 2015, 42(6A): 491–499, 524. WU Yuhong. General overview on clustering algorithms [J]. Computer science, 2015, 42(6A): 491–499, 524. [9] GENOLINI C, FALISSARD B. KmL: k-means for longitudinal data[J]. Computational statistics, 2010, 25(2): 317–328. [10] ZHOU Jin, CHEN Long, CHEN C L P, et al. Fuzzy clustering with the entropy of attribute weights[J]. Neurocomputing, 2016, 198: 125–134. [11] ZHANG Minling. Lift: multi-label learning with labelspecific features[C]//Proceedings of the 22nd International Joint Conference on Artificial Intelligence. Barcelona, Spain, 2011: 1609−1614. [12] 邵东恒, 杨文元, 赵红. 应用 k-means 算法实现标记分布 学习 [J]. 智能系统学报, 2017, 12(3): 325–332. SHAO Dongheng, YANG Wenyuan, ZHAO Hong. Label distribution learning based on k-means algorithm[J]. CAAI transactions on lntelligent systems, 2017, 12(3): 325–332. [13] 管涛, 杨婷. 谱聚类广义模型与典型算法分析 [J]. 模式 识别与人工智能, 2014, 27(11): 1015–1025. GUAN Tao, YANG Ting. Analysis of general model and classical algorithms for spectral clustering[J]. Pattern recognition and artificial intelligence, 2014, 27(11): 1015–1025. [14] ZELNIK-MANOR L, PERONA P. Self-tuning spectral clustering[C]//Proceedings of the 17th International Conference on Neural Information Processing Systems. Cambridge, USA, 2004: 1601−1608. [15] CAI Deng, CHEN Xinlei. Large Scale spectral clustering via landmark-based sparse representation[J]. IEEE transactions on cybernetics, 2015, 45(8): 1669–1680. [16] NG A Y, JORDAN M I, WEISS Y. On spectral clustering: analysis and an algorithm[C]//Proceedings of the 14th International Conference on Neural Information Processing Systems: Natural and Synthetic. Cambridge, USA, 2001: 849–856. [17] YANG Yifang, WANG Yuping, XUE Xingsi. A novel spectral clustering method with superpixels for image segmentation[J]. Optik, 2016, 127(1): 161–167. [18] WANG Sheng, LU Jianfeng, GU Xingjian, et al. Unsupervised discriminant canonical correlation analysis based on spectral clustering[J]. Neurocomputing, 2016, 171: 425–433. [19] LI Xinye, GUO Lijie. Constructing affinity matrix in spectral clustering based on neighbor propagation[J]. Neurocomputing, 2012, 97: 125–130. [20] 赵权, 耿新. 标记分布学习中目标函数的选择 [J]. 计算 机科学与探索, 2017, 11(5): 708–719. ZHAO Quan, GENG Xin. Selection of target function in label distribution learning[J]. Journal of frontiers of computer science and technology, 2017, 11(5): 708–719. [21] 耿新, 徐宁, 邵瑞枫. 面向标记分布学习的标记增强 [J]. 计算机研究与发展, 2017, 54(6): 1171–1184. GENG Xin, XU Ning, SHAO Ruifeng. Label enhancement for label distribution learning[J]. Journal of computer research and development, 2017, 54(6): 1171– 1184. [22] 作者简介： 王一宾，男，1970 年生，教授，主 要研究方向为多标记学习、机器学习 和软件安全。发表学术论文 40 余 篇。 李田力，男，1996 年生，硕士研究 生，主要研究方向为标记分布学习。 程玉胜，男，1969 年生，教授，博 士，主要研究方向为数据挖掘、粗糙 集。发表学术论文 90 余篇。 第 5 期 王一宾，等：结合谱聚类的标记分布学习 ·973·