·905· 杨梦茵，等：非对称卷积编码器的聚类算法 第5期 25×32×50+50×3×50+50×2×50=43950。 20上的聚类精度分别列于表5和表6。其中黑体 以网络B的理论时间为基准，定义网络的复 字表示最优的性能。 杂性，计算公式为 表5 MNIST数据集上各类聚类方法的对比 net的理论运行时间 Table 5 Comparison clustering performances of several Comp(net)= (6) B的理论运行时间 clustering methods on MNIST dataset 这5个网络的运行时间、网络复杂性以及聚 方法 ACC NMI 类精度列于表4。 KMSI图 0.535 0.531 表4卷积网络的运行时间，复杂性和聚类精度 AECR2 0.760 0.669 Table 4 Running time,complexity and clustering accur- acy of the convolutional structures IECR3 0.609 0.542 网络 运行时间s 复杂性 精度 DECI4 0.840 一 A 56475 1.284 0.900 DBCL201 0.766 0.759 B 43950 1 0.960 DAE-KMS4) 0.818 C 13350 0.303 0.930 IDEC昀 0.880 0.867 D 35225 0.801 0.942 JULER24 0.913 E 38350 0.872 0.935 ASCAERO 0.925 0.854 ASCAE-softmaxB201 0.960 0.910 由表3和表4可知，B网络C4的2×2卷积核 AFCAE 0.960 0.916 被A网络的3×3替代，复杂性和运行时间增加 了，而聚类精度却大大降低；而C网络只将B网 表6C0L-20数据集上6个聚类算法的对比 络的C2和C3的卷积核数量减少为25个，复杂性 Table 6 Comparison clustering performances with six 和理论运行时间大大减少，同时聚类精度也降 methods on COIL-20 dataset 低；对比B网络，D网络多了一个2×2的卷积层， 方法 ACC NMI 但是C2、C3的卷积核也替换成2×2，使得运行时 KMSI圆 0.592 0.767 间减少，复杂性降低，同时聚类精度也降低了； DECRO 0.731 0.813 E网络变化比较大，将C2、C3和C4的卷积核个 DBCROI 0.724 0.822 数减少为25个，又增加了C5和C6卷积层，运行 ASCAELO] 0.740 0.823 时间和复杂性没有提高反而继续下降，聚类精度 也降低了。 ASCAE-Softmax20 0.755 0.833 通过对比卷积部分的复杂性和聚类精度，发 DENIT 0.725 0.870 现小卷积核有利于网络提取适合聚类的特征，犹 AFCAE 0.768 0.868 如网络A到B的转换，精度也随之增长。卷积核 由表5可知，AFCAE网络的聚类精度达到 的数量对网络的特征提取也起到积极作用。但是 0.96,超过联合训练的其他深度聚类算法，进一步 一味地增加网络深度，会导致网络过拟合，从而 证实了F6层的聚类效果。图5是AFCAE网络 精度下降。综上分析，本文选取卷积网络B作为 的F1层和F6层聚类簇的二维可视化图，F1全连 AFCAE的卷积部分进行后续实验。 接层的聚类簇大致可以区分开，但各簇类间距较 3.4对比实验与分析 小且分布杂乱。F6中仅有少量特征散乱分布，各 AFCAE与其他聚类方法在MNIST和COIL- 簇间有明显的分界线。可视化图直观地证实了全 20上的对比实验分析，包括经典将K-means算法 连接层帮助卷积自编码器整合所提取的特征。 应用于原始图像聚类方法KMS:使用深度自编码 器进行特征提取后，使用K-means进行后续聚类 的DAE-KMS算法，在此基础上同时优化了数据 重建误差和表示紧凑性的AEC算法；以及深度表 示和图像聚类的联合无监督学习DEC、IDEC、 DBC、JULE和ASCAE-softmax算法。 AFCAE算法的最优聚类性能见表5和表6。 图5 MNIST数据集的聚类簇可视化图 同时，选取文献[20]中的DBC在MNST和COL- Fig.5 Visualization of clustering results on MNIST dataset25×32 ×50 + 50×32 ×50 + 50×22 ×50=43950。 以网络 B 的理论时间为基准，定义网络的复 杂性，计算公式为 Comp(net) = net的理论运行时间 B的理论运行时间 (6) 这 5 个网络的运行时间、网络复杂性以及聚 类精度列于表 4。 表 4 卷积网络的运行时间，复杂性和聚类精度 Table 4 Running time, complexity and clustering accur￾acy of the convolutional structures 网络 运行时间/s 复杂性 精度 A 56475 1.284 0.900 B 43950 1 0.960 C 13350 0.303 0.930 D 35225 0.801 0.942 E 38350 0.872 0.935 由表 3 和表 4 可知，B 网络 C4 的 2×2 卷积核 被 A 网络的 3×3 替代，复杂性和运行时间增加 了，而聚类精度却大大降低；而 C 网络只将 B 网 络的 C2 和 C3 的卷积核数量减少为 25 个，复杂性 和理论运行时间大大减少，同时聚类精度也降 低；对比 B 网络，D 网络多了一个 2×2 的卷积层， 但是 C2、C3 的卷积核也替换成 2×2，使得运行时 间减少，复杂性降低，同时聚类精度也降低了； E 网络变化比较大，将 C2、C3 和 C4 的卷积核个 数减少为 25 个，又增加了 C5 和 C6 卷积层，运行 时间和复杂性没有提高反而继续下降，聚类精度 也降低了。 通过对比卷积部分的复杂性和聚类精度，发 现小卷积核有利于网络提取适合聚类的特征，犹 如网络 A 到 B 的转换，精度也随之增长。卷积核 的数量对网络的特征提取也起到积极作用。但是 一味地增加网络深度，会导致网络过拟合，从而 精度下降。综上分析，本文选取卷积网络 B 作为 AFCAE 的卷积部分进行后续实验。 3.4 对比实验与分析 AFCAE 与其他聚类方法在 MNIST 和 COIL- 20 上的对比实验分析，包括经典将 K-means 算法 应用于原始图像聚类方法 KMS；使用深度自编码 器进行特征提取后，使用 K-means 进行后续聚类 的 DAE-KMS 算法，在此基础上同时优化了数据 重建误差和表示紧凑性的 AEC 算法；以及深度表 示和图像聚类的联合无监督学习 DEC、IDEC、 DBC、JULE 和 ASCAE-softmax 算法。 AFCAE 算法的最优聚类性能见表 5 和表 6。 同时，选取文献 [20] 中的 DBC 在 MNIST 和 COIL- 20 上的聚类精度分别列于表 5 和表 6。其中黑体 字表示最优的性能。 表 5 MNIST 数据集上各类聚类方法的对比 Table 5 Comparison clustering performances of several clustering methods on MNIST dataset 方法 ACC NMI KMS[18] 0.535 0.531 AEC[22] 0.760 0.669 IEC[23] 0.609 0.542 DEC[14] 0.840 — DBC[20] 0.766 0.759 DAE-KMS[14] 0.818 — IDEC[15] 0.880 0.867 JULE[24] — 0.913 ASCAE[20] 0.925 0.854 ASCAE-softmax[20] 0.960 0.910 AFCAE 0.960 0.916 表 6 COIL-20 数据集上 6 个聚类算法的对比 Table 6 Comparison clustering performances with six methods on COIL-20 dataset 方法 ACC NMI KMS[18] 0.592 0.767 DEC[20] 0.731 0.813 DBC[20] 0.724 0.822 ASCAE[20] 0.740 0.823 ASCAE-Softmax[20] 0.755 0.833 DEN[17] 0.725 0.870 AFCAE 0.768 0.868 由表 5 可知，AFCAE 网络的聚类精度达到 0.96，超过联合训练的其他深度聚类算法，进一步 证实了 F6 层的聚类效果。图 5 是 AFCAE 网络 的 F1 层和 F6 层聚类簇的二维可视化图，F1 全连 接层的聚类簇大致可以区分开，但各簇类间距较 小且分布杂乱。F6 中仅有少量特征散乱分布，各 簇间有明显的分界线。可视化图直观地证实了全 连接层帮助卷积自编码器整合所提取的特征。 图 5 MNIST 数据集的聚类簇可视化图 Fig. 5 Visualization of clustering results on MNIST dataset ·905· 杨梦茵，等：非对称卷积编码器的聚类算法 第 5 期