第17卷 智能系统学报 ·906· 在COIL-20上，对AFCAE的F6层特征进行 表7 AFCAE算法在4个人脸数据集上的聚类性能 K-means聚类，仅得到0.624的聚类精度。在C1- Table 7 Clustering performances of AFCAE algorithm on four face datasets C4层加入BN层改善网络梯度的变化范围，进而 改善网络抽取局部特征的能力，微调结构后聚类 数据集 ACC NMI 精度达到了0.768。聚类可视化如图6所示。 CAS-PEAL-R1 0.930 0.962 BiolD-Face 0.882 0.960 IMM-Face 0.580 0.795 UMISTS 0.488 0.686 4结束语 本文提出一个非对称全连接层聚类网络AFCAE, 结合K-means并由此提出一个AFCAE深度聚类 图6带BN层的AFCAE在COL-20上的聚类可视化 方法。该方法通过改善网络结构，提取更有辨识 Fig.6 Visualization of clustering results of AFCAE with 力的聚类特征来提高聚类性能。在MNIST和 BN layer on COIL-20 dataset COL-20上通过详细对比和分析全连接部分，卷 根据表6不难发现，AFCAE的聚类精度0.768 积部分包括卷积核大小和数目、卷积层数，特征 高于联合训练的DEC方法的0.731，也略高于AS 输出层F6的选择。验证了本文的AFCAE方法降 CAE-softmax方法的0.755。但是NMI不及 低运行时间的基础上提高聚类性能，而且还优于 DEN方法的。由于COIL-20数据集由外形简单 深度聚类算法DEC和ASCAE的聚类性能。但实 但不同角度的物品图片组成，实验过程中发现一 验中也发现小卷积核网络对形变较大或类别不确 些物品轮廓相似，导致的特征之间区分度较小， 定性较大的数据集的聚类效果不令人满意，这将 无法清晰地分成不同的类簇。因此对于轮廓相似 是未来工作之一。 的物品图像仍需进一步研究可辨识的特征。 参考文献： AFCAE网络在4个人脸数据集上也进行了 2组实验。第1组验证了每个全连接层的聚类精 [1]LLOYD S.Least squares quantization in PCM[J].IEEE 度，见图7：第2组把F6层的特征输出后进行K- transactions on information theory,1982,28(2):129-137. means聚类分析，聚类的ACC和NM列于表7。 [2]HAEUSSER P.PLAPP J.GOLKOV V,et al.Associat- ive deep clustering:training a classification network with 1.0 no labels[Cl//German Conference on Pattern Recognition. 0.8 Cham:Springer,2019:18-32. [3]REYNOLDS D.Gaussian mixture models[Ml//Encyclo- pedia of Biometrics.Boston,MA:Springer US,2009 COIL-20 659-663. *IMM 0.2 ★CAS [4]LIU Peng,ZHOU Dong,WU Naijun.VDBSCAN:varied Bio density based spatial clustering of applications with F2 F3F4 F5 F6 noise[C]//2007 International Conference on Service Sys- 全连接层 tems and Service Management.Chengdu,China.IEEE, 图7全连接层的特征输出的聚类精度 2007:1-4. Fig.7 Clustering accuracy of feature output of fully con- [5]ABDI H,WILLIAMS L J.Principal component analysis[J]. nected layer Wiley interdisciplinary reviews:computational statistics, 根据图7可知AFCAE网络具有较好的整体 2010,2(4):433-459. 稳定性。表7显示在CAS-PEAL-R1和BioID- [6]ALQAHTANI A.XIE X.DENG J.et al.A deep convolu- Face上AFCAE的聚类性能不错，而在IMM和 tional auto-encoder with embedded clustering[C]//2018 UMISTS上不太令人满意，可能是这两个数据集 25th IEEE International Conference on Image Processing. Athens,Greece.IEEE,2018:4058-4062. 的图片均有不同程度的表情和姿态，AFCAE网 [7] YU Tianqi,WANG Xianbin,SHAMI A.UAV-enabled 络没能捕获到合适的特征。这将是未来工作 spatial data sampling in large-scale loT systems using de- 之一。 noising autoencoder neural network[J].IEEE Internet of在 COIL-20 上，对 AFCAE 的 F6 层特征进行 K-means 聚类，仅得到 0.624 的聚类精度。在 C1- C4 层加入 BN 层改善网络梯度的变化范围，进而 改善网络抽取局部特征的能力，微调结构后聚类 精度达到了 0.768。聚类可视化如图 6 所示。 图 6 带 BN 层的 AFCAE 在 COIL-20 上的聚类可视化 Fig. 6 Visualization of clustering results of AFCAE with BN layer on COIL-20 dataset 根据表 6 不难发现，AFCAE 的聚类精度 0.768 高于联合训练的 DEC 方法的 0.731，也略高于 AS￾CAE-softmax 方法的 0.755。但是 NMI 不及 DEN 方法的。由于 COIL-20 数据集由外形简单 但不同角度的物品图片组成，实验过程中发现一 些物品轮廓相似，导致的特征之间区分度较小， 无法清晰地分成不同的类簇。因此对于轮廓相似 的物品图像仍需进一步研究可辨识的特征。 AFCAE 网络在 4 个人脸数据集上也进行了 2 组实验。第 1 组验证了每个全连接层的聚类精 度，见图 7；第 2 组把 F6 层的特征输出后进行 K￾means 聚类分析，聚类的 ACC 和 NMI 列于表 7。 1.0 0.8 0.6 0.4 0.2 0 聚类精度 COIL-20 IMM CAS Bio F1 F2 F3 F4 F5 F6 全连接层 图 7 全连接层的特征输出的聚类精度 Fig. 7 Clustering accuracy of feature output of fully con￾nected layer 根据图 7 可知 AFCAE 网络具有较好的整体 稳定性。表 7 显示在 CAS-PEAL-R1 和 BioID￾Face 上 AFCAE 的聚类性能不错，而在 IMM 和 UMISTS 上不太令人满意，可能是这两个数据集 的图片均有不同程度的表情和姿态，AFCAE 网 络没能捕获到合适的特征。这将是未来工作 之一。 表 7 AFCAE 算法在 4 个人脸数据集上的聚类性能 Table 7 Clustering performances of AFCAE algorithm on four face datasets 数据集 ACC NMI CAS-PEAL-R1 0.930 0.962 BioID-Face 0.882 0.960 IMM-Face 0.580 0.795 UMISTS 0.488 0.686 4 结束语 本文提出一个非对称全连接层聚类网络 AFCAE， 结合 K-means 并由此提出一个 AFCAE 深度聚类 方法。该方法通过改善网络结构，提取更有辨识 力的聚类特征来提高聚类性能。在 MNIST 和 COIL-20 上通过详细对比和分析全连接部分，卷 积部分包括卷积核大小和数目、卷积层数，特征 输出层 F6 的选择。验证了本文的 AFCAE 方法降 低运行时间的基础上提高聚类性能，而且还优于 深度聚类算法 DEC 和 ASCAE 的聚类性能。但实 验中也发现小卷积核网络对形变较大或类别不确 定性较大的数据集的聚类效果不令人满意，这将 是未来工作之一。 参考文献： LLOYD S. Least squares quantization in PCM[J]. IEEE transactions on information theory, 1982, 28(2): 129–137. [1] HAEUSSER P, PLAPP J, GOLKOV V, et al. Associat￾ive deep clustering: training a classification network with no labels[C]//German Conference on Pattern Recognition. Cham: Springer, 2019: 18−32. [2] REYNOLDS D. Gaussian mixture models[M]//Encyclo￾pedia of Biometrics. Boston, MA: Springer US, 2009: 659−663. [3] LIU Peng, ZHOU Dong, WU Naijun. VDBSCAN: varied density based spatial clustering of applications with noise[C]//2007 International Conference on Service Sys￾tems and Service Management. Chengdu, China. IEEE, 2007: 1−4. [4] ABDI H, WILLIAMS L J. Principal component analysis[J]. Wiley interdisciplinary reviews:computational statistics, 2010, 2(4): 433–459. [5] ALQAHTANI A, XIE X, DENG J, et al. A deep convolu￾tional auto-encoder with embedded clustering[C]//2018 25th IEEE International Conference on Image Processing. Athens, Greece. IEEE, 2018: 4058−4062. [6] YU Tianqi, WANG Xianbin, SHAMI A. UAV-enabled spatial data sampling in large-scale IoT systems using de￾noising autoencoder neural network[J]. IEEE Internet of [7] 第 17 卷 智 能 系 统 学 报 ·906·