第16卷第3期 智能系统学报 Vol.16 No.3 2021年5月 CAAI Transactions on Intelligent Systems May 2021 D0L:10.11992/tis.202005021 一种基于ELM-AE特征表示的谱聚类算法 王丽娟2，丁世飞' (1.中国矿业大学计算机科学与技术学院，江苏徐州221116,2.徐州工业职业技术学院信息工程学院，江苏 徐州221114) 摘要：在实际应用中，数据点中包含的冗余特征和异常值（噪声）严重影响了聚类中更显著的特征的发现，大 大降低了聚类性能。本文提出了一种基于ELM-AE(extreme learning machine as autoencoder)特征表示的谱聚类 算法(spectral clustering via extreme learning machine as autoencoder,,SC-ELM-AE)。ELM-AE通过奇异值分解学习 源数据主要特征表示，使用输出权值实现从特征空间到原输入数据的重构；再将该特征表示空间作为输入进行 谱聚类。实验表明，在5个UCI数据集验证中，SC-ELM-AE算法性能优于传统的K-Means、谱聚类等现有算 法，特别是在复杂高维数据集PEMS-SF和TDT210上，聚类平均精确度均提高30%以上。 关键词：谱聚类：特征表示；极限学习机：自编码器：极限学习机自编码器：机器学习：聚类分析：数据挖掘 中图分类号：TP391文献标志码：A文章编号：1673-4785(2021)03-0560-07 中文引用格式：王丽娟，丁世飞.一种基于ELM-4E特征表示的谱聚类算法.智能系统学报，2021,16(3)：560-566. 英文引用格式：VANG Lijuan,DING Shifei..A spectral clustering algorithm based on ELM-AE feature representation[J].CAAl transactions on intelligent systems,2021,16(3):560-566. A spectral clustering algorithm based on ELM-AE feature representation WANG Lijuan'2,DING Shifei' (1.School of Computer Science and Technology,China University of Mining and Technology,Xuzhou 221116,China;2.School of Information Engineering,Xuzhou College of Industrial Technology,Xuzhou 221114,China) Abstract:In practice,redundant features and outliers(noise)in data points heavily influence the discovery of more prominent features in clustering and significantly impair clustering performance.In this study,we propose a spectral clustering (SC)based on extreme machine learning as autoencoder(ELM-AE)feature representation(SC-ELM-AE). ELM-AE learns the principal feature representation of the source data via singular value decomposition and uses the out- put weights to realize reconstruction from feature representation space to the original input data.The reconstructed fea- ture representation space is fed to the SC as input.The experimental results show that the proposed algorithm is 30% more accurate in the average clustering than the conventional K-means,SC,and other existing algorithms in the verifica- tion of five UCI datasets,particularly on complex high-dimensional datasets,such as PEMS-SF and TDT2_10. Keywords:spectral clustering;feature representation;extreme machine learning,auto-encoder;extreme learning ma- chine as autoencoder,machine learning;clustering analysis;data mining 聚类1是一种将数据集划分为若干组或类， 简单，但缺乏处理复杂数据结构的能力，当样本 使类内相似性最大，类间相似性最小的方法。现 为凸型时，这些算法对数据的处理有较好的效 有文献提出，传统的聚类方法有k均值算法(k- 果，当样本空间为非凸时，算法容易陷入局部最 means)、FCM算法、子空间聚类等。它们虽然 优。为解决这一难题，谱聚类应运而生，它不受 样本空间形状限制，聚类结果为全局最优解。在 收稿日期：2020-05-17. 基金项目：国家自然科学基金项目(61672522.61976216)：江苏 这些算法中，由于谱类算法便于实现、性能良好， 省高校哲学社会科学研究项目(2019SJA1013):江苏 高校“青蓝工程”. 已被广泛应用于图像分割、信息检索、人脸识别 通信作者：丁世飞.E-mail:dingsf@cumt.edu.cn 等领域
DOI: 10.11992/tis.202005021 一种基于 ELM-AE 特征表示的谱聚类算法 王丽娟1,2，丁世飞1 （1. 中国矿业大学 计算机科学与技术学院，江苏 徐州 221116; 2. 徐州工业职业技术学院 信息工程学院，江苏 徐州 221114） 摘 要：在实际应用中，数据点中包含的冗余特征和异常值 (噪声) 严重影响了聚类中更显著的特征的发现，大 大降低了聚类性能。本文提出了一种基于 ELM-AE (extreme learning machine as autoencoder) 特征表示的谱聚类 算法 (spectral clustering via extreme learning machine as autoencoder, SC-ELM-AE)。ELM-AE 通过奇异值分解学习 源数据主要特征表示，使用输出权值实现从特征空间到原输入数据的重构；再将该特征表示空间作为输入进行 谱聚类。实验表明，在 5 个 UCI 数据集验证中，SC-ELM-AE 算法性能优于传统的 K-Means、谱聚类等现有算 法，特别是在复杂高维数据集 PEMS-SF 和 TDT2_10 上，聚类平均精确度均提高 30% 以上。 关键词：谱聚类；特征表示；极限学习机；自编码器；极限学习机自编码器；机器学习；聚类分析；数据挖掘 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2021)03−0560−07 中文引用格式：王丽娟, 丁世飞. 一种基于 ELM-AE 特征表示的谱聚类算法 [J]. 智能系统学报, 2021, 16(3): 560–566. 英文引用格式：WANG Lijuan, DING Shifei. A spectral clustering algorithm based on ELM-AE feature representation[J]. CAAI transactions on intelligent systems, 2021, 16(3): 560–566. A spectral clustering algorithm based on ELM-AE feature representation WANG Lijuan1,2 ，DING Shifei1 (1. School of Computer Science and Technology, China University of Mining and Technology, Xuzhou 221116, China; 2. School of Information Engineering, Xuzhou College of Industrial Technology, Xuzhou 221114, China) Abstract: In practice, redundant features and outliers (noise) in data points heavily influence the discovery of more prominent features in clustering and significantly impair clustering performance. In this study, we propose a spectral clustering (SC) based on extreme machine learning as autoencoder (ELM-AE) feature representation (SC-ELM-AE). ELM-AE learns the principal feature representation of the source data via singular value decomposition and uses the output weights to realize reconstruction from feature representation space to the original input data. The reconstructed feature representation space is fed to the SC as input. The experimental results show that the proposed algorithm is 30% more accurate in the average clustering than the conventional K-means, SC, and other existing algorithms in the verification of five UCI datasets, particularly on complex high-dimensional datasets, such as PEMS-SF and TDT2_10. Keywords: spectral clustering; feature representation; extreme machine learning; auto-encoder; extreme learning machine as autoencoder; machine learning; clustering analysis; data mining 聚类[1-3] 是一种将数据集划分为若干组或类， 使类内相似性最大，类间相似性最小的方法。现 有文献提出，传统的聚类方法有 k 均值算法 (kmeans)[4] 、FCM 算法[5] 、子空间聚类等。它们虽然 简单，但缺乏处理复杂数据结构的能力，当样本 为凸型时，这些算法对数据的处理有较好的效 果，当样本空间为非凸时，算法容易陷入局部最 优。为解决这一难题，谱聚类应运而生，它不受 样本空间形状限制，聚类结果为全局最优解。在 这些算法中，由于谱类算法便于实现、性能良好， 已被广泛应用于图像分割、信息检索、人脸识别 等领域。 收稿日期：2020−05−17. 基金项目：国家自然科学基金项目 (61672522，61976216)；江苏 省高校哲学社会科学研究项目 (2019SJA1013)；江苏 高校 “青蓝工程”. 通信作者：丁世飞. E-mail：dingsf@cumt.edu.cn. 第 16 卷第 3 期 智 能 系 统 学 报 Vol.16 No.3 2021 年 5 月 CAAI Transactions on Intelligent Systems May 2021
第3期 王丽娟，等：一种基于ELM-AE特征表示的谱聚类算法 ·561· 谱聚类来源于图论中的最小切割问题6。众 进行聚类，NJW谱聚类算法P是一个典型的谱聚 所周知，数据通过非线性变换，将数据映射到高 类算法。下面简单介绍该方法的原理。 维特征空间后，数据将变得线性可分。因此，可 给定一组数据集X=(x1,x2,…,x),要把这些 以通过各种非线性变换，例如基于核的方法，提 数据点分成k类，使用谱聚类的一般过程是： 高高维特征空间中输入数据的特征表示能力。然 1)根据一定的相似矩阵生成方式构建样本的 而，以往的谱聚类方法一般只注重数据降维、优 相似矩阵，W中的每一项表示每一对点之间的相 化时间复杂度等，而不是进一步提高数据特征的 似性： 表示能力。在聚类任务中，数据的特征表示是至 Wis=exp(-llx;-xj)/202) 关重要的，通过反复的实验和一系列的工作，获得 式中：当i=i时，W=0。 良好的数据特征表示是提高聚类准确度的保证。 2)根据相似矩阵W计算度矩阵D,D是一个 ELM1山最初用于训练“广义”单隐层前馈神 对角矩阵，它的非零元素是W的所有行元素（或 经网络(SLFN),具有快速学习、良好的泛化能力 者列元素)的总和： 和特征表示能力，被广泛应用于各种机器学习任 d=∑ 务，如回归和分类等2。近年来，ELM已经扩展 到聚类，一般是在ELM获得的嵌入特征空间中进 3)根据D和W计算出拉普拉斯矩阵L,定义 行聚类。ELM的隐层参数选择是随机的，和输入 拉普拉斯矩阵有很多种方法。非标准化的拉普拉 数据无关，与常用的反向传播训练算法相比， 斯矩阵为 ELM最大限度地减小了训练误差和输出权的范 L=D-W 数。根据Bartlett理论I,最小化输出权值范数将 4)对L进行标准化会产生更好的聚类效果， 因此一般将拉普拉斯矩阵标准化形式表示为 产生更好的泛化能力。 自编码器(Auto Encoder AE)I61刀是深度学习 Lnom D-IPLD-IP2 还可以表示为 中的一种无监督学习方法，能够从大量数据中自 Loom=D-IWD-12 动学习到数据中的有效特征1820。传统自编码器 5)接下来计算标准化后的拉普拉斯矩阵的 就是一种在输出层重建输入数据并且结构对称的 前k个最小特征值对应的特征向量∫，将各自对 神经网络。常见的自编码器有降噪自编码器、稀 应的特征向量∫组成的矩阵按行标准化，最终组 疏自编码器、收缩自编码器和卷积自编码器等。 成n×k维的特征矩阵F; 使用自编码器进行特征提取要比特征分解快，并 6)将F中的每一行作为一个k维的样本（共 让目标值等于输入值，是一种尽可能复现输入信 n个样本)，用k-means算法进行聚类得到最终聚 号的神经网络。 类结果。 基于以上启发，本文将极限学习机ELM)和 1.2极限学习机自编码器 自编码器(AE)结合起来改进谱聚类，提出了一种 极限学习机自编码器是一种既可以再现输 基于ELM-AE嵌入特征空间的谱聚类算法。 入数据也可以自行编码的神经网络方法，具有极 1相关工作 限学习机的计算速度快、精确率高等特点。与传 统的极限学习机相似，ELM-AE包含输人层、单隐 1.1谱聚类算法 含层以及输出层；不同的是，ELM-AE的输出层与 谱聚类的概念起源于谱划分，将数据聚类转 输入层相等。给定一个训练样本，ELM-AE的模 化为无向图的多路划分问题求解，尤其适用于数 型结构包括M个输入层节点、J个隐层节点和 据集非凸的情况2,2。假设数据集有n个数据 M个输出层节点。ELM-AE的隐含层输出可以用 点，目标是将所有数据点划分到c个簇中。谱聚 式(1)表示： 类2首先将数据点看作图的顶点，根据数据点成 h=g(ax+b),a'a=I,b"b=1 (1) 对相似性，先用欧氏距离计算距离矩阵，再使用 式中：a是输入层和隐含层之间的输入；b是隐含 高斯核函数将距离矩阵构造为相似矩阵并计算出 层的偏置。隐含层输出与ELM-AE的输出层之间 所对应的拉普拉斯矩阵，谱方法是基于相似拉普 的数值关系可以用式(2)表示： 拉斯矩阵的特征值和特征向量进行聚类的方法， h(xB=xT,i=l,2,…,N (2) 将这些特征向量构造为低维的特征子空间，再在 式中：B是连接隐含层和输出层的输出权值；g() 这个特征子空间上使用诸如k-means的聚类方法 是激活函数。ELM-AE的目标是通过最小化正则
谱聚类来源于图论中的最小切割问题[6-8]。众 所周知，数据通过非线性变换，将数据映射到高 维特征空间后，数据将变得线性可分。因此，可 以通过各种非线性变换，例如基于核的方法，提 高高维特征空间中输入数据的特征表示能力。然 而，以往的谱聚类方法一般只注重数据降维、优 化时间复杂度等，而不是进一步提高数据特征的 表示能力。在聚类任务中，数据的特征表示是至 关重要的，通过反复的实验和一系列的工作，获得 良好的数据特征表示是提高聚类准确度的保证。 ELM[9-11] 最初用于训练“广义”单隐层前馈神 经网络 (SLFN)，具有快速学习、良好的泛化能力 和特征表示能力，被广泛应用于各种机器学习任 务，如回归和分类等[12-14]。近年来，ELM 已经扩展 到聚类，一般是在 ELM 获得的嵌入特征空间中进 行聚类。ELM 的隐层参数选择是随机的，和输入 数据无关，与常用的反向传播训练算法相比， ELM 最大限度地减小了训练误差和输出权的范 数。根据 Bartlett 理论[15] ，最小化输出权值范数将 产生更好的泛化能力。 自编码器 (Auto Encoder AE)[16-17] 是深度学习 中的一种无监督学习方法，能够从大量数据中自 动学习到数据中的有效特征[18-20]。传统自编码器 就是一种在输出层重建输入数据并且结构对称的 神经网络。常见的自编码器有降噪自编码器、稀 疏自编码器、收缩自编码器和卷积自编码器等[21]。 使用自编码器进行特征提取要比特征分解快，并 让目标值等于输入值，是一种尽可能复现输入信 号的神经网络。 基于以上启发，本文将极限学习机 (ELM) 和 自编码器 (AE) 结合起来改进谱聚类，提出了一种 基于 ELM-AE 嵌入特征空间的谱聚类算法。 1 相关工作 1.1 谱聚类算法 谱聚类的概念起源于谱划分，将数据聚类转 化为无向图的多路划分问题求解，尤其适用于数 据集非凸的情况[22-23]。假设数据集有 n 个数据 点，目标是将所有数据点划分到 c 个簇中。谱聚 类 [24] 首先将数据点看作图的顶点，根据数据点成 对相似性，先用欧氏距离计算距离矩阵，再使用 高斯核函数将距离矩阵构造为相似矩阵并计算出 所对应的拉普拉斯矩阵，谱方法是基于相似拉普 拉斯矩阵的特征值和特征向量进行聚类的方法， 将这些特征向量构造为低维的特征子空间，再在 这个特征子空间上使用诸如 k-means 的聚类方法 进行聚类，NJW 谱聚类算法[24] 是一个典型的谱聚 类算法。下面简单介绍该方法的原理。 给定一组数据集 X = (x1, x2,··· , xn) ，要把这些 数据点分成 k 类，使用谱聚类的一般过程是： W 1) 根据一定的相似矩阵生成方式构建样本的 相似矩阵， 中的每一项表示每一对点之间的相 似性: Wi j = exp(−||xi − xj)||2 /2σ 2 ) 式中：当 i = j 时， Wi j = 0。 W D D W 2) 根据相似矩阵 计算度矩阵 ， 是一个 对角矩阵，它的非零元素是 的所有行元素 (或 者列元素) 的总和： dii = ∑ j wi j 3) 根据 D 和 W 计算出拉普拉斯矩阵 L ，定义 拉普拉斯矩阵有很多种方法。非标准化的拉普拉 斯矩阵为 L = D−W 4) 对 L 进行标准化会产生更好的聚类效果， 因此一般将拉普拉斯矩阵标准化形式表示为 Lnorm = D −1/2LD−1/2 还可以表示为 Lnorm=D −1/2W D−1/2 f f n×k F 5) 接下来计算标准化后的拉普拉斯矩阵的 前 k 个最小特征值对应的特征向量 ，将各自对 应的特征向量 组成的矩阵按行标准化，最终组 成 维的特征矩阵 ； 6) 将 F 中的每一行作为一个 k 维的样本 (共 n 个样本)，用 k-means 算法进行聚类得到最终聚 类结果。 1.2 极限学习机自编码器 极限学习机自编码器[19] 是一种既可以再现输 入数据也可以自行编码的神经网络方法，具有极 限学习机的计算速度快、精确率高等特点。与传 统的极限学习机相似，ELM-AE 包含输入层、单隐 含层以及输出层；不同的是，ELM-AE 的输出层与 输入层相等。给定一个训练样本，ELM-AE 的模 型结构包括 M 个输入层节点、J 个隐层节点和 M 个输出层节点。ELM-AE 的隐含层输出可以用 式 (1) 表示： h = g(ax+ b), a T a = I, b T b = 1 (1) 式中： a 是输入层和隐含层之间的输入； b 是隐含 层的偏置。隐含层输出与 ELM-AE 的输出层之间 的数值关系可以用式 (2) 表示： h(xi)β = xi T , i = 1,2,··· ,N (2) 式中： β 是连接隐含层和输出层的输出权值； g(·) 是激活函数。ELM-AE 的目标是通过最小化正则 第 3 期 王丽娟，等：一种基于 ELM-AE 特征表示的谱聚类算法 ·561·
·562· 智能系统学报 第16卷 化最小二乘估计成本函数得到输出权重，其公 AE网络，计算隐藏层的输出HM-AE∈R,激活 式为 函数使用Sigmod(): miL1=6r+Sx-Hr (3) 2)使用式(3)、(4)计算ELM-AE的输出层权值； 3)使用式（⑤）计算嵌入特征EF,激活函数使 式中：C是平衡经验风险与结构风险的参数。通 用Sigmod(~)； 过取L,对B的偏导数并令其等于零，则输出权值 4)得到嵌入特征样本EF=(EF,EF2,…,EF), 矩阵B为 初始化高斯相似度函数的参数σ，k个聚类； N≥J 5)在EF样本空间上，使用高斯相似度函数 (4) G(x,y)=exp(-f(Bx)-f(Bx)/2c2）构造相似 V<J 度矩阵S∈Rw,当i=j时，S=G(EF,EF,否则 Sy=0; 2ELM-AE特征空间的谱聚类算法 6)构造归一化对称拉普拉斯矩阵Lam= 前面从理论层面分析了谱聚类及ELM-AE的 D-PSD-P,其中D是对角矩阵，其（位，）元素是S 特征提取方法。传统的谱聚类是将原始数据样本 的第i行元素的和； 作为聚类初始值，而在实际应用中数据通常冗余 7)将矩阵Lm前k个最大特征向量作为列 且复杂，能够从原始数据中充分挖掘内在信息， 构造矩阵YERxk; 通过机器学习算法进行特征学习，使用获得的数 8)归一化矩阵Y的行，得到矩阵U∈R,其 据特征空间进行谱聚类将有效提高聚类质量。 12 ELM可以随机初始化输入权重和偏置并得到相 中=y八 应的输出权重，然而随机生成的输入权值和偏差 9)利用k-means算法对矩阵U的行向量聚 会导致ELM隐层的输出不能很好地代表原始样 类，得到k个簇。 本的特征。ELM-AE是一种能够重建输入信号的 人工神经网络算法，和自动编码器一样，ELM-AE 开始 无需迭代可以获得原始样本的主要特征，与传统 的ELM不同的是，ELM-AE通过选择随机权重和 随机偏差正交，可以获得更高的性能。通过ELM-AE 输人数据集X参数a,b 的输出B实现从特征空间到原始输入数据的转 换，使得输出数据等于输入数据。 通过ELM-AE模型学习 本文提出的基于ELM-AE嵌入特征空间的谱 获得隐层输人权重B 聚类是将ELM-AE的特征空间作为聚类原始值， 从而提高聚类性能。SC-ELM-AE模型包含输人 使用式（⑤），计算嵌 入特征空间EF 层、单隐层和输出层，其模型结构如图1，也具有 M个输入层节点，J个隐藏层节点和M个输出层 节点，然后如图所示通过ELM-AE获得输出层权 通过ELM-AE模型 获得输出层权重阝 值B,ELM-AE输出层的嵌入特征(embedding fea- ture,EF)可由式（⑤）计算： 基于特征空间EF构造相似矩阵， EF=f(XBT) (5) 计算归一化拉普拉斯矩阵并计算 前k个特征向量，得到矩阵U 然后采用归一化谱聚类算法将ELM-AE的嵌 入特征(EF)作为聚类输入数据点进行聚类。SC 使用k-means对矩阵U 收敛 ELM-AE算法流程如图1所示。基于ELM-AE嵌 的行向量进行聚类 将EF的N个 入特征空间的谱聚类算法(SC-ELM-AE)流程详 样本分配至 见算法1。 k个簇 更新k个中心 算法1基于ELM-AE嵌入特征空间的谱聚类 结束 输入数据集样本(x1,2,…,x),参数a和b: 输出基于EF空间的N个样本的k个簇。 图1SC-ELM-AE算法流程 I)初始化由N个隐藏层神经元组成的ELM Fig.1 Flow of SC-ELM-AE algorithm
化最小二乘估计成本函数得到输出权重，其公 式为 min β L1 = 1 2 ∥β∥ 2 + C 2 ∥X− Hβ∥ 2 (3) L1 β β 式中：C 是平衡经验风险与结构风险的参数。通 过取 对 的偏导数并令其等于零，则输出权值 矩阵 为 β = ( I C + HTH )−1 HTX, N ⩾ J H T ( I C + HHT )−1 X, N < J (4) 2 ELM-AE 特征空间的谱聚类算法 前面从理论层面分析了谱聚类及 ELM-AE 的 特征提取方法。传统的谱聚类是将原始数据样本 作为聚类初始值，而在实际应用中数据通常冗余 且复杂，能够从原始数据中充分挖掘内在信息， 通过机器学习算法进行特征学习，使用获得的数 据特征空间进行谱聚类将有效提高聚类质量。 ELM 可以随机初始化输入权重和偏置并得到相 应的输出权重，然而随机生成的输入权值和偏差 会导致 ELM 隐层的输出不能很好地代表原始样 本的特征。ELM-AE 是一种能够重建输入信号的 人工神经网络算法，和自动编码器一样，ELM-AE 无需迭代可以获得原始样本的主要特征，与传统 的 ELM 不同的是，ELM-AE 通过选择随机权重和 随机偏差正交，可以获得更高的性能。通过 ELM-AE 的输出 β 实现从特征空间到原始输入数据的转 换，使得输出数据等于输入数据。 本文提出的基于 ELM-AE 嵌入特征空间的谱 聚类是将 ELM-AE 的特征空间作为聚类原始值， 从而提高聚类性能。SC-ELM-AE 模型包含输入 层、单隐层和输出层，其模型结构如图 1，也具有 M 个输入层节点，J 个隐藏层节点和 M 个输出层 节点，然后如图所示通过 ELM-AE 获得输出层权 值 β，ELM-AE 输出层的嵌入特征 (embedding feature,EF) 可由式 (5) 计算： EF = f ( Xβ T ) (5) 然后采用归一化谱聚类算法将 ELM-AE 的嵌 入特征 (EF) 作为聚类输入数据点进行聚类。SCELM-AE 算法流程如图 1 所示。基于 ELM-AE 嵌 入特征空间的谱聚类算法 (SC-ELM-AE) 流程详 见算法 1。 算法 1 基于 ELM-AE 嵌入特征空间的谱聚类 输入 数据集样本 (x1, x2,··· , xn) ，参数 a 和 b； 输出 基于 EF 空间的 N 个样本的 k 个簇。 1) 初始化由 N 个隐藏层神经元组成的 ELMHELM−AE ∈ R n×n Sigmod(·) AE 网络，计算隐藏层的输出 ，激活 函数使用 ； 2) 使用式 (3)、(4) 计算 ELM-AE 的输出层权值； Sigmod(·) 3) 使用式 (5) 计算嵌入特征 EF，激活函数使 用 ； EF = (EF1,EF2,··· ,EFn) σ 4) 得到嵌入特征样本 ， 初始化高斯相似度函数的参数 ，k 个聚类； EF G(x, y) = exp( − f ( β T xi ) − f ( β T xj ) 2 ) /2σ 2 ) S ∈ R n×n i = j Si j = G ( EFi ,EFj ) Si j = 0 5) 在 样本空间上，使用高斯相似度函数 构造相似 度矩阵 ，当 时， ，否则 ； Lnorm = D −1/2SD−1/2 D (i, j) S 6 ) 构造归一化对称拉普拉斯矩阵 ，其中 是对角矩阵，其 元素是 的第 i 行元素的和； Lnorm Y ∈ R n×k 7) 将矩阵 前 k 个最大特征向量作为列 构造矩阵 ； Y U ∈ R n×k ui j = yi j/ ∑ k y 2 ik 1/2 8) 归一化矩阵 的行，得到矩阵 ，其 中 ； 9) 利用 k-means 算法对矩阵 U 的行向量聚 类，得到 k 个簇。 开始 输入数据集 X, 参数 a,b 通过 ELM-AE 模型学习 获得隐层输入权重 β 使用式 (5), 计算嵌 入特征空间 EF 通过 ELM-AE 模型 获得输出层权重 β 基于特征空间 EF 构造相似矩阵, 计算归一化拉普拉斯矩阵并计算 前 k 个特征向量, 得到矩阵 U 使用 k-means 对矩阵U 的行向量进行聚类 更新 k 个中心 收敛 N Y 将 EF 的 N 个 样本分配至 k 个簇 结束 图 1 SC-ELM-AE 算法流程 Fig. 1 Flow of SC-ELM-AE algorithm ·562· 智 能 系 统 学 报 第 16 卷
第3期 王丽娟，等：一种基于ELM-AE特征表示的谱聚类算法 ·563· 3 实验结果与分析 SC和SC-EF-ELM中，核函数为高斯核函数，其中 高斯核函数的参数为样本间的中值距离。 3.1实验环境及数据集说明 3.2性能指标 为了验证基于ELM-AE嵌入特征空间的谱聚 假设数据集X={x1,x2,…,x山，通过聚类划分 类算法的有效性，选取了UCI机器学习数据库中 得到类簇C={C,C2,…,C},真实的类划分为 的5个常用数据集进行验证测试，数据集的基本 C={C1,C2…,C,同时，令Y和Y分别表示与 特征如表1所示。 C和C'对应的分配标签。实验中，采用F-measure 表1实验中使用的UCI数据集 (F,)、聚类准确性(cluster accuracy,ACC)和标准化 Table 1 UCI datasets used in the experiments 互信息(normalized mutual information,.NMI)这 数据集 样本数 维度 类 3个评价标准来衡量聚类结果的质量及算法的有 WDBC 569 30 效性。对于这3个评价标准，值越大，聚类性能越 Ionosphere 351 34 2 好。F表示精确率(precision)和召回率(recall)的 加权调和平均值： Isolet 7797 617 26 PEMS-SF 440 138672 7 F=(@+1)PR a2(P+R) TDT2_10 653 36771 10 当参数a=1时，就是F,指标 F,二P+R 2PR 实验在MATLAB R2016b环境下实现，运行 在Windows 10上，实验中使用的计算机CPU型 式中：P是精确率(precision)度量值；R是召回率 号为Inter(R)Core(TM)i5-8250U@1.60GHz,内存 (recall)度量值。F,综合了P和R的结果，当F,较 为8GB。本文所有实验中，ELM-AE模型包含输 大时则比较说明实验结果比较理想。 入层、输出层、隐藏层，为了方便实验，隐藏层、 ACC表示聚类结果中被正确划分的数据点 输出层的激活函数都采用sigmoid函数。 比例： 实验使用的对比算法分别为：传统谱聚类 (spectral clustering,SC)、k-means聚类、基于无监 ACC= ∑60.map0y/n 督极限学习机(unsupervised extreme learning ma- 式中：n表示数据样本的个数；当x=y时，则 chine US-ELM的K-means聚类、基于ELM-AE嵌 6(x,y)=1,否则6(x,y)=0。map)表示通过Hun- 人特征的无监督极限学习机2(unsupervised ex- garian算法将每个聚类标签映射到一个类标签， treme learning machine based on embedded features of 并且映射是最佳。 ELM-AE,US-EF-ELM)k-means聚类算法。 NMI衡量的是算法的划分质量： 本文中，k-means、SC、US-ELM和US-EF- inC ELM所有算法在数据集上运行10次，记录平均 22knc背 CAIC 结果和标准差。根据文献[20]在所有数据集上， NMI= US-ELM隐藏节点数和US-EF-ELM隐藏节点数 29ns号2ce 均设置为2000，US-ELM和US-EF-ELM的激活 =1 函数均为sigmoid函数。在SC-EF-ELM中，从 NM的值越大，聚类有效性越好。 {100、200、500、1000、2000}中选择隐藏节点个 3.3 实验结果 数，激活函数也为sigmoid函数。在US-ELM、US- 所提出的SC-ELM-AE与k-means、SC、US EF-ELM和SC-EF-ELM中，正则化参数选取范围 ELM和US-EF-ELM在5个数据集上的表现对比 为{10,103,102,10,10°，10,102,10310}，在 见表2。 表2提出的SC-ELM-AE算法5个UCI数据集上的性能比较 Table 2 Performance comparison of the proposed SC-ELM-AE on five UCI datasets 数据集 评价指标 k-means SC US-ELM US-EF-ELM SC-ELM-AE F 0.8768±0.0000 0.8807±0.0000 0.7861±0.1464 0.8865±0.0014 0.8887±0.0000 WDBC ACC 0.927940.0000 0.8807±0.0000 0.8356±0.1577 0.9338±0.0008 0.9667±0.0000 NMI 0.6231±0.0000 0.6260±0.0000 0.4554±0.2542 0.6538±0.0047 0.6460±0.0000
3 实验结果与分析 3.1 实验环境及数据集说明 为了验证基于 ELM-AE 嵌入特征空间的谱聚 类算法的有效性，选取了 UCI 机器学习数据库中 的 5 个常用数据集进行验证测试，数据集的基本 特征如表 1 所示。 表 1 实验中使用的 UCI 数据集 Table 1 UCI datasets used in the experiments 数据集 样本数 维度 类 WDBC 569 30 2 Ionosphere 351 34 2 Isolet 7797 617 26 PEMS-SF 440 138 672 7 TDT2_10 653 36 771 10 实验在 MATLAB R2016b 环境下实现，运行 在 Windows 10 上，实验中使用的计算机 CPU 型 号为 Inter(R)Core(TM)i5-8250U @1.60 GHz，内存 为 8 GB。本文所有实验中，ELM-AE 模型包含输 入层、输出层、隐藏层，为了方便实验，隐藏层、 输出层的激活函数都采用 sigmoid 函数。 实验使用的对比算法分别为：传统谱聚类[25] (spectral clustering，SC)、k-means 聚类、基于无监 督极限学习机 (unsupervised extreme learning machine US-ELM) 的 K-means 聚类、基于 ELM-AE 嵌 入特征的无监督极限学习机[26] (unsupervised extreme learning machine based on embedded features of ELM-AE, US-EF-ELM)k-means 聚类算法。 本文中，k-means、SC、US-ELM 和 US-EFELM 所有算法在数据集上运行 10 次，记录平均 结果和标准差。根据文献 [20] 在所有数据集上， US-ELM 隐藏节点数和 US-EF-ELM 隐藏节点数 均设置为 2 000，US-ELM 和 US-EF-ELM 的激活 函数均为 sigmoid 函数。在 SC-EF-ELM 中，从 {100、200、500、1 000、2 000}中选择隐藏节点个 数，激活函数也为 sigmoid 函数。在 US-ELM、USEF-ELM 和 SC-EF-ELM 中，正则化参数选取范围 为{10−4, 10−3, 10−2, 10−1, 100 , 101 , 102 , 103 , 104 }，在 SC 和 SC-EF-ELM 中，核函数为高斯核函数，其中 高斯核函数的参数为样本间的中值距离。 3.2 性能指标 X = {x1, x2,··· , xn} C = {C1,C2,··· ,Ck} C ′ = {C ′ 1 ,C ′ 2 ,··· ,C ′ k } Y ′ C ′ F1 F1 假设数据集 ，通过聚类划分 得到类簇 ，真实的类划分为 ，同时，令 Y 和 分别表示与 C 和 对应的分配标签。实验中，采用 F-measure ( )、聚类准确性 (cluster accuracy, ACC) 和标准化 互信息 (normalized mutual information, NMI) 这 3 个评价标准来衡量聚类结果的质量及算法的有 效性。对于这 3 个评价标准，值越大，聚类性能越 好。 表示精确率 (precision) 和召回率 (recall) 的 加权调和平均值： F = ( a 2 +1 ) PR a 2 (P+R) 当参数 a = 1 时，就是 F1 指标 F1 = 2PR P+R F1 F1 式中：P 是精确率 (precision) 度量值；R 是召回率 (recall) 度量值。 综合了 P 和 R 的结果，当 较 大时则比较说明实验结果比较理想。 ACC 表示聚类结果中被正确划分的数据点 比例： ACC = ∑N i δ(yi ,map(y ′ i ))/n δ(x, y) = 1 δ(x, y) = 0 map(·) 式中： n 表示数据样本的个数； 当 x = y 时 ,则 ，否则 。 表示通过 Hungarian 算法将每个聚类标签映射到一个类标签， 并且映射是最佳。 NMI 衡量的是算法的划分质量： NMI = ∑k i k∑′ j Ci ∩C ′ j log n Ci ∩C ′ j |Ci ||C ′ j | vt∑k i=1 |Ci |log |Ci | n · k∑′ j=1 |C ′ j |log |C ′ j | n NMI 的值越大，聚类有效性越好。 3.3 实验结果 所提出的 SC-ELM-AE 与 k-means、SC、USELM 和 US-EF-ELM 在 5 个数据集上的表现对比 见表 2。 表 2 提出的 SC-ELM-AE 算法 5 个 UCI 数据集上的性能比较 Table 2 Performance comparison of the proposed SC-ELM-AE on five UCI datasets 数据集 评价指标 k-means SC US-ELM US-EF-ELM SC-ELM-AE WDBC F1 0.8768±0.000 0 0.8807±0.000 0 0.7861±0.146 4 0.8865±0.0014 0.8887±0.0000 ACC 0.9279±0.000 0 0.8807±0.000 0 0.8356±0.157 7 0.9338±0.0008 0.9667±0.0000 NMI 0.6231±0.000 0 0.6260±0.000 0 0.4554±0.254 2 0.6538±0.0047 0.6460±0.0000 第 3 期 王丽娟，等：一种基于 ELM-AE 特征表示的谱聚类算法 ·563·
·564· 智能系统学报 第16卷 续表2 数据集 评价指标 k-means SC US-ELM US-EF-ELM SC-ELM-AE F 0.6043±0.0097 0.5976±0.0000 0.6644±0.0560 0.6585±0.0533 0.8674±0.0000 Ionosphere ACC 0.7095±0.0068 0.7037±0.0000 0.6898±0.0904 0.6990±0.0855 0.8751±0.0000 NMI 0.1300±0.0125 0.1264±0.0000 0.1529±0.1064 0.1532±0.0906 0.4384±0.0000 F 0.5007±0.0234 0.5319±0.0151 0.5262±0.0319 0.5325±0.0231 0.6444±0.0185 Isolet ACC 0.5326±0.0308 0.5649±0.0238 0.5701±0.0362 0.5830±0.0320 0.7917±0.0230 NMI 0.7216±0.0109 0.7177±0.0093 0.7390±0.0127 0.7355±0.0101 0.7453±0.0087 F 0.3385±0.0380 0.3014±0.0266 0.3134±0.0192 0.3641±0.0287 0.4365±0.0204 PEMS SF ACC 0.3124±0.0185 0.3169±0.0222 0.3298±0.0235 0.3776±0.0371 0.6444±0.0227 NMI 0.3329±0.0376 0.3144±0.0318 0.3562±0.0159 0.3891±0.0326 0.4756±0.0110 F 0.3641±0.0287 0.3389±0.0093 0.7383±0.0865 0.7356±0.1076 0.9635±0.0407 TDT2_10 ACC 0.3776±0.0371 0.4575±0.0122 0.7423±0.0964 0.7326±0.1163 0.9684±0.0437 NMI 0.3891±0.0326 0.5114±0.0116 0.8572±0.0418 0.8609±0.0500 0.9747±0.0165 从表2中可以看出，本文所提出的SC-ELM AE算法在聚类准确率上与对比算法相比在5个 0.6 数据集上都有了较大提升。例如，对于高维数据 集PEMS-SF,本文所提算法与对比算法相比在 0.4 ACC上分别提升了33.2%、32.75%、31.46%、 02 26.68%平均提升了31.02%。 SC-ELM-AE聚类算法利用ELM-AE模型无 0 需迭代即可获得低维特征表示空间，尽可能多地 保留了原始数据集的丰富信息，使获得的聚类结 果更加准确。实验数据结果表明，本文提出的 53鱼色色e色331030050070010 SC-ELM-AE算法在进行实验的数据集上与对比 (b)SC-ELM-AE在数据集PEMS-SF上的F 算法相比聚类精度有较大的提升，这也验证了本 文所提算法的合理性和有效性。 为了验证提出的SC-ELM-AE算法在增加隐 0.6 含层节点后的表现，在实验中将ELM-AE模型结 0.4 构的隐含层节点数从100增加到2000，并在数据 集WDBC和PEMS-SF上基于ELM-AE的嵌入特 0.2 征空间进行快速谱聚类，实验结果如图2、3所示。 0.6 0.4 ≤3色色色至色331003005007001000 0.2 (C)SC-ELM-AE在数据集PEMS-SF上的NM 图2在数据集PEMS-SF上SC-ELM-AE的性能变化 Fig.2 Performances for SC-ELM-AE on dataset PEMS-SF ≤色色色色色3303050700100 从图2可以看出：将ELM-AE特征表示空间 作为谱聚类输入，从(10,103,10)中选取正则化 参数，当隐藏节点较小，ACC、F-measure和 (a)SC-ELM-AE在数据集PEMS-SF上的ACC NM1值较低。而在(10,10°，10,102,103,10选取正
从表 2 中可以看出，本文所提出的 SC-ELMAE 算法在聚类准确率上与对比算法相比在 5 个 数据集上都有了较大提升。例如，对于高维数据 集 PEMS-SF，本文所提算法与对比算法相比在 ACC 上分别提升了 33.2%、32.75%、31.46%、 26.68% 平均提升了 31.02%。 SC-ELM-AE 聚类算法利用 ELM-AE 模型无 需迭代即可获得低维特征表示空间，尽可能多地 保留了原始数据集的丰富信息，使获得的聚类结 果更加准确。实验数据结果表明，本文提出的 SC-ELM-AE 算法在进行实验的数据集上与对比 算法相比聚类精度有较大的提升，这也验证了本 文所提算法的合理性和有效性。 为了验证提出的 SC-ELM-AE 算法在增加隐 含层节点后的表现，在实验中将 ELM-AE 模型结 构的隐含层节点数从 100 增加到 2 000，并在数据 集 WDBC 和 PEMS-SF 上基于 ELM-AE 的嵌入特 征空间进行快速谱聚类，实验结果如图 2、3 所示。 0.6 0.4 0.2 0 10 −4 10 −3 10 −2 10 −1 10 0 10 1 10 2 10 3 10 4 ACC J C (a) SC-ELM-AE 在数据集 PEMS-SF 上的 ACC 100 300 500700 1 000 0.6 0.4 0.2 0 MMI (c) SC-ELM-AE 在数据集 PEMS-SF 上的 NMI 10 −4 10 −3 10 −2 10 −1 10 0 10 1 10 2 10 3 10 4 100 300 500700 1 000 0.6 0.4 0.2 0 ACC (b) SC-ELM-AE 在数据集 PEMS-SF 上的 F1 10 −4 10 −3 10 −2 10 −1 10 0 10 1 10 2 10 3 10 4 J C J C 100 300 500700 1 000 图 2 在数据集 PEMS-SF 上 SC-ELM-AE 的性能变化 Fig. 2 Performances for SC-ELM-AE on dataset PEMS-SF 从图 2 可以看出：将 ELM-AE 特征表示空间 作为谱聚类输入，从 (10−4,10−3,10−2) 中选取正则化 参数，当隐藏节点较小， ACC、 F-measur e 和 NMI 值较低。而在 (10−1,100 ,101 ,102 ,103 ,104 ) 选取正 续表 2 数据集 评价指标 k-means SC US-ELM US-EF-ELM SC-ELM-AE Ionosphere F1 0.604 3±0.009 7 0.597 6±0.0000 0.6644±0.0560 0.6585±0.053 3 0.8674±0.000 0 ACC 0.709 5±0.006 8 0.703 7±0.0000 0.6898±0.0904 0.6990±0.085 5 0.8751±0.000 0 NMI 0.130 0±0.012 5 0.126 4±0.0000 0.1529±0.1064 0.1532±0.090 6 0.4384±0.000 0 Isolet F1 0.500 7±0.023 4 0.531 9±0.0151 0.5262±0.0319 0.5325±0.023 1 0.6444±0.018 5 ACC 0.532 6±0.030 8 0.564 9±0.0238 0.5701±0.0362 0.5830±0.032 0 0.7917±0.023 0 NMI 0.721 6±0.010 9 0.717 7±0.0093 0.7390±0.0127 0.7355±0.010 1 0.7453±0.008 7 PEMS_SF F1 0.338 5±0.038 0 0.301 4±0.0266 0.3134±0.0192 0.3641±0.028 7 0.4365±0.020 4 ACC 0.312 4±0.018 5 0.316 9±0.0222 0.3298±0.0235 0.3776±0.037 1 0.6444±0.022 7 NMI 0.332 9±0.037 6 0.314 4±0.0318 0.3562±0.0159 0.3891±0.032 6 0.4756±0.011 0 TDT2_10 F1 0.364 1±0.028 7 0.338 9±0.0093 0.7383±0.0865 0.7356±0.107 6 0.9635±0.040 7 ACC 0.377 6±0.037 1 0.457 5±0.0122 0.7423±0.0964 0.7326±0.116 3 0.9684±0.043 7 NMI 0.389 1±0.032 6 0.511 4±0.0116 0.8572±0.0418 0.8609±0.050 0 0.9747±0.016 5 ·564· 智 能 系 统 学 报 第 16 卷
第3期 王丽娟，等：一种基于ELM-AE特征表示的谱聚类算法 ·565· 则化参数时，隐藏节点数量的变化基本不会引起 基准数据集上进行验证，实验结果与推断一致， 算法性能的波动。 也证明了所提SC-ELM-AE的性能的有效性。 4结束语 1.0 0.8 本文提出了一种通过ELM-AE特征表示空间 0.6 的谱聚类算法。它利用ELM-AE将输入的原始数 04 据集转化为数据特征表示空间，再对特征表示空 0.2 间样本集进行谱聚类，利用ELM-AE获得的特征 空间可以更好地反映出原始数据的主要信息且计 冬色告5色的的w07o0o0 算成本较低；使用ELM-AE进行特征提取，提高 了聚类的准确性。通过实验验证了本文算法在有 效性和准确性两方面优于现有的谱聚类算法，能 够快速有效地处理复杂高维数据。在未来的工作 (a)SC-ELM-AE在数据集WDBC上的ACC 中需要考虑如何在保证聚类精确的情况下进一步 提高聚类的速度以及对大规模数据的处理。 1.0 参考文献： 0.8 [1]BERKHIN P.A survey of clustering data mining tech- 0.4 niques[M]//KOGAN J,NICHOLAS C,TEBOULLE M. 0.2 Grouping Multidimensional Data.Berlin,Heidelberg: 0 Springer,,2006:25-71. [2]孙吉贵，刘杰，赵连宇，聚类算法研究J].软件学报 ≤色色色色色色331w300500700100 2008,19(1):48-61. SUN Jigui,LIU Jie,ZHAO Lianyu.Clustering algorithms J research[J].Journal of software,2008,19(1):48-61 (b)SC-ELM-AE在数据集WDBC上的F [3]刘兵.Wb数据挖掘M.俞勇，薛贵荣，韩定一，译.北 京：清华大学出版社，2011. [4]WU Junjie,LIU Hongfu,XIONG Hui,et al.K-means- 1.0 based consensus clustering:a unified view[J].IEEE trans- 0.8 actions on knowledge and data engineering,2015,27(1): 0.6 155-169. 0.4 [5]WANG Yangtao,CHEN Lihui.Multi-view fuzzy cluster- 0.2 ing with minimax optimization for effective clustering of 0 data from multiple sources[J].Expert systems with applica- 兰台色5色色色33109005007010 tions,.2017,72:457-466. [6]VAN LUXBURG U.A tutorial on spectral clustering[J]. Statistics and computing,2007,17(4):395-416. J [7]JIA Hongjie,DING Shifei,XU Xinzheng,et al.The latest (C)SC-ELM-AE在数据集WDBC上的NM research progress on spectral clustering[J].Neural comput- ing and applications,2014,24(7/8):1477-1486 图3在数据集WDBC上SC-ELM-AE的性能变化 Fig.3 Performances for SC-ELM-AE on dataset WDBC [8]蔡晓妍，戴冠中，杨黎斌.谱聚类算法综述U.计算机科 学，2008.35(7)：14-18. 从图3可以看出，本文提出的SC-ELM-AE CAI Xiaoyan,DAI Guanzhong,YANG Libin.Survey on 始终是稳定的。因此，可以推断参数的选择对算 spectral clustering algorithms[J].Computer science,2008, 法性能的影响不大，在合适的正则化参数下，采 35(7):14-18. 用很少的隐藏节点即可实现较高的聚类精度，与 [9]HUANG Guangbin,CHEN Lei,SIEW C K.Universal ap- 传统的聚类方法相比，所提出的SC-ELM-AE算 proximation using incremental constructive feedforward 法具有更强的实用性。此外，在UCI的其他3个 networks with random hidden nodes[J].IEEE transactions
则化参数时，隐藏节点数量的变化基本不会引起 算法性能的波动。 1.0 0.8 0.6 0.4 0.2 0 10 −4 10 −3 10 −2 10 −1 10 0 10 1 10 2 10 3 10 4 ACC C 1.0 0.8 0.6 0.4 0.2 0 10 −4 10 −3 10 −2 10 −1 10 0 10 1 10 2 10 3 10 4 F1 1.0 0.8 0.6 0.4 0.2 0 10 −4 10 −3 10 −2 10 −1 10 0 10 1 10 2 10 3 10 4 NMI (a) SC-ELM-AE 在数据集 WDBC 上的 ACC (b) SC-ELM-AE 在数据集 WDBC 上的 F1 (c) SC-ELM-AE 在数据集 WDBC 上的 NMI J C J C J 100 300 500 700 1 000 100 300 500 7001 000 100 300 500700 1 000 图 3 在数据集 WDBC 上 SC-ELM-AE 的性能变化 Fig. 3 Performances for SC-ELM-AE on dataset WDBC 从图 3 可以看出，本文提出的 SC-ELM-AE 始终是稳定的。因此，可以推断参数的选择对算 法性能的影响不大，在合适的正则化参数下，采 用很少的隐藏节点即可实现较高的聚类精度，与 传统的聚类方法相比，所提出的 SC-ELM-AE 算 法具有更强的实用性。此外，在 UCI 的其他 3 个 基准数据集上进行验证，实验结果与推断一致， 也证明了所提 SC-ELM-AE 的性能的有效性。 4 结束语 本文提出了一种通过 ELM-AE 特征表示空间 的谱聚类算法。它利用 ELM-AE 将输入的原始数 据集转化为数据特征表示空间，再对特征表示空 间样本集进行谱聚类，利用 ELM-AE 获得的特征 空间可以更好地反映出原始数据的主要信息且计 算成本较低；使用 ELM-AE 进行特征提取，提高 了聚类的准确性。通过实验验证了本文算法在有 效性和准确性两方面优于现有的谱聚类算法，能 够快速有效地处理复杂高维数据。在未来的工作 中需要考虑如何在保证聚类精确的情况下进一步 提高聚类的速度以及对大规模数据的处理。 参考文献： BERKHIN P. A survey of clustering data mining techniques[M]//KOGAN J, NICHOLAS C, TEBOULLE M. Grouping Multidimensional Data. Berlin, Heidelberg: Springer, 2006: 25−71. [1] 孙吉贵, 刘杰, 赵连宇. 聚类算法研究 [J]. 软件学报, 2008, 19(1): 48–61. SUN Jigui, LIU Jie, ZHAO Lianyu. Clustering algorithms research[J]. Journal of software, 2008, 19(1): 48–61. [2] 刘兵. Web 数据挖掘 [M]. 俞勇, 薛贵荣, 韩定一, 译. 北 京: 清华大学出版社, 2011. [3] WU Junjie, LIU Hongfu, XIONG Hui, et al. K-meansbased consensus clustering: a unified view[J]. IEEE transactions on knowledge and data engineering, 2015, 27(1): 155–169. [4] WANG Yangtao, CHEN Lihui. Multi-view fuzzy clustering with minimax optimization for effective clustering of data from multiple sources[J]. Expert systems with applications, 2017, 72: 457–466. [5] VAN LUXBURG U. A tutorial on spectral clustering[J]. Statistics and computing, 2007, 17(4): 395–416. [6] JIA Hongjie, DING Shifei, XU Xinzheng, et al. The latest research progress on spectral clustering[J]. Neural computing and applications, 2014, 24(7/8): 1477–1486. [7] 蔡晓妍, 戴冠中, 杨黎斌. 谱聚类算法综述 [J]. 计算机科 学, 2008, 35(7): 14–18. CAI Xiaoyan, DAI Guanzhong, YANG Libin. Survey on spectral clustering algorithms[J]. Computer science, 2008, 35(7): 14–18. [8] HUANG Guangbin, CHEN Lei, SIEW C K. Universal approximation using incremental constructive feedforward networks with random hidden nodes[J]. IEEE transactions [9] 第 3 期 王丽娟，等：一种基于 ELM-AE 特征表示的谱聚类算法 ·565·
·566· 智能系统学报 第16卷 on neural networks,2006,17(4):879-892 Stacked denoising autoencoders:learning useful repres- [10]ZHANG Rui,LAN Yuan,HUANG Guangbin,et al.Uni- entations in a deep network with a local denoising cri- versal approximation of extreme learning machine with terion[J].Journal of machine learning research,2010, adaptive growth of hidden nodes[J].IEEE transactions on 11(12):3371-3408. neural networks and learning systems,2012,23(2): [21]刘帅师，程曦，郭文燕，等.深度学习方法研究新进展 365-371. [).智能系统学报，2016,11(5)567-577. [11]HUANG Guangbin,ZHOU Hongming,DING Xiaojian, LIU Shuaishi,CHENG Xi,GUO Wenyan,et al.Progress et al.Extreme learning machine for regression and multi- report on new research in deep learning[J].CAAI Trans- class classification[J].IEEE transactions on systems,man, actions on intelligent systems,2016,11(5):567-577. and cybernetics,part B(cybernetics),2012,42(2): [22]李建元，周脚根，关佶红，等.谱图聚类算法研究进展 513-529 [).智能系统学报，2011,6(5)：405-414. [12]DA SILVA B L S.INABA F K.SALLES E O T.et al. LI Jianyuan,ZHOU Jiaogen,GUAN Jihong,et al.A sur- Outlier Robust Extreme Machine Learning for multi-tar- vey of clustering algorithms based on spectra of graphs[J] get regression[J].Expert systems with applications,2020, CAAI transactions on intelligent systems,2011,6(5): 140:112877. 405-414. [13]ZENG Yijie,LI Yue,CHEN Jichao,et al.ELM embed- [23]FILIPPONE M,CAMASTRA F,MASULLI F,et al.A ded discriminative dictionary learning for image classific- survey of kernel and spectral methods for clustering[J]. ation[J].Neural networks,2020,123:331-342. Pattern recognition,2008,41(1):176-190. [14]WU Chao,LI Yaqian,ZHAO Zhibiao,et al.Extreme [24]NG A Y,JORDAN MI,WEISS Y.On spectral cluster- learning machine with multi-structure and auto encoding ing:analysis and an algorithm[C]//Proceedings of the 14th receptive fields for image classification[J].Multidimen- International Conference on Neural Information Pro- sional systems and signal processing,2020,31(4): cessing Systems:Natural and Synthetic.Vancouver,Brit- 1277-1298 ish Columbia,Canada:MIT Press,2001:849-856 [15]BARTLETT P L.The sample complexity of pattern clas- [25]KASUN LL C,ZHOU H,HUANG G B,et al.Represent- sification with neural networks:the size of the weights is ational learning with extreme learning machine for big more important than the size of the network[J].IEEE data[J].IEEE intelligent systems,2013,28(6):31-34. transactions on information theory,1998,44(2):525-536. [26]DING Shifei,ZHANG Nan,ZHANG Jian,et al.Unsuper- [16]HINTON G E,SALAKHUTDINOV RR.Reducing the vised extreme learning machine with representational fea- dimensionality of data with neural networks[J].Science tures[J].International journal of machine learning and cy- 2006,313(5786):504-507. bernetics,.2017,8(2):587-595 [17]BENGIO Y,YAO Li,ALAIN G,et al.Generalized de- noising auto-encoders as generative models[C]//Proceed- 作者简介： ings of the 26th International Conference on Neural In- 王丽娟，副教授，博士研究生， formation Processing Systems.Lake Tahoe,Nevada:Cur- CCF会员，主要研究方向为机器学习、 聚类分析。 ran Associates Inc.,2013:899-907. [18]BALDI P.Autoencoders,unsupervised learning and deep architectures[C]//Proceedings of the 2011 International Conference on Unsupervised and Transfer Learning workshop.Washington,USA:JMLR.org,2011:37-50. [19]袁非牛，章琳，史劲亭，等.自编码神经网络理论及应用 丁世飞，教授，博士生导师，博士， CCF杰出会员，第八届吴文俊人工智 综述).计算机学报，2019,42(1)：203-230. 能科学技术奖获得者，主要研究方向 YUAN Feiniu,ZHANG Lin,SHI Jinting,et al.Theories 为人工智能与模式识别，机器学习与 and applications of auto-encoder neural networks:a liter- 数据挖掘。主持国家重点基础研究计 ature survey[J].Chinese journal of computers,2019, 划课题1项、国家自然科学基金面上 42(1):203-230. 项目3项。出版专著5部，发表学术 [20]VINCENT P.LAROCHELLE H,LAJOIE I,et al. 论文200余篇
on neural networks, 2006, 17(4): 879–892. ZHANG Rui, LAN Yuan, HUANG Guangbin, et al. Universal approximation of extreme learning machine with adaptive growth of hidden nodes[J]. IEEE transactions on neural networks and learning systems, 2012, 23(2): 365–371. [10] HUANG Guangbin, ZHOU Hongming, DING Xiaojian, et al. Extreme learning machine for regression and multiclass classification[J]. IEEE transactions on systems, man, and cybernetics, part B (cybernetics), 2012, 42(2): 513–529. [11] DA SILVA B L S, INABA F K, SALLES E O T, et al. Outlier Robust Extreme Machine Learning for multi-target regression[J]. Expert systems with applications, 2020, 140: 112877. [12] ZENG Yijie, LI Yue, CHEN Jichao, et al. ELM embedded discriminative dictionary learning for image classification[J]. Neural networks, 2020, 123: 331–342. [13] WU Chao, LI Yaqian, ZHAO Zhibiao, et al. Extreme learning machine with multi-structure and auto encoding receptive fields for image classification[J]. Multidimensional systems and signal processing, 2020, 31(4): 1277–1298. [14] BARTLETT P L. The sample complexity of pattern classification with neural networks: the size of the weights is more important than the size of the network[J]. IEEE transactions on information theory, 1998, 44(2): 525–536. [15] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504–507. [16] BENGIO Y, YAO Li, ALAIN G, et al. Generalized denoising auto-encoders as generative models[C]//Proceedings of the 26th International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada: Curran Associates Inc., 2013: 899−907. [17] BALDI P. Autoencoders, unsupervised learning and deep architectures[C]//Proceedings of the 2011 International Conference on Unsupervised and Transfer Learning workshop. Washington, USA: JMLR. org, 2011: 37−50. [18] 袁非牛, 章琳, 史劲亭, 等. 自编码神经网络理论及应用 综述 [J]. 计算机学报, 2019, 42(1): 203–230. YUAN Feiniu, ZHANG Lin, SHI Jinting, et al. Theories and applications of auto-encoder neural networks: a literature survey[J]. Chinese journal of computers, 2019, 42(1): 203–230. [19] [20] VINCENT P, LAROCHELLE H, LAJOIE I, et al. Stacked denoising autoencoders: learning useful representations in a deep network with a local denoising criterion[J]. Journal of machine learning research, 2010, 11(12): 3371–3408. 刘帅师, 程曦, 郭文燕, 等. 深度学习方法研究新进展 [J]. 智能系统学报, 2016, 11(5): 567–577. LIU Shuaishi, CHENG Xi, GUO Wenyan, et al. Progress report on new research in deep learning[J]. CAAI Transactions on intelligent systems, 2016, 11(5): 567–577. [21] 李建元, 周脚根, 关佶红, 等. 谱图聚类算法研究进展 [J]. 智能系统学报, 2011, 6(5): 405–414. LI Jianyuan, ZHOU Jiaogen, GUAN Jihong, et al. A survey of clustering algorithms based on spectra of graphs[J]. CAAI transactions on intelligent systems, 2011, 6(5): 405–414. [22] FILIPPONE M, CAMASTRA F, MASULLI F, et al. A survey of kernel and spectral methods for clustering[J]. Pattern recognition, 2008, 41(1): 176–190. [23] NG A Y, JORDAN M I, WEISS Y. On spectral clustering: analysis and an algorithm[C]//Proceedings of the 14th International Conference on Neural Information Processing Systems: Natural and Synthetic. Vancouver, British Columbia, Canada: MIT Press, 2001: 849−856. [24] KASUN L L C, ZHOU H, HUANG G B, et al. Representational learning with extreme learning machine for big data[J]. IEEE intelligent systems, 2013, 28(6): 31–34. [25] DING Shifei, ZHANG Nan, ZHANG Jian, et al. Unsupervised extreme learning machine with representational features[J]. International journal of machine learning and cybernetics, 2017, 8(2): 587–595. [26] 作者简介： 王丽娟，副教授，博士研究生， CCF 会员，主要研究方向为机器学习、 聚类分析。 丁世飞，教授，博士生导师，博士， CCF 杰出会员，第八届吴文俊人工智 能科学技术奖获得者，主要研究方向 为人工智能与模式识别，机器学习与 数据挖掘。主持国家重点基础研究计 划课题 1 项、国家自然科学基金面上 项目 3 项。出版专著 5 部，发表学术 论文 200 余篇。 ·566· 智 能 系 统 学 报 第 16 卷