第17卷 智能系统学报 ·904· 表2全连接层部分的设计和对应的聚类精度 Table 2 Design of fully connected layers and corresponding clustering accuracies 全连接层的设计结构 MNIST(ACC) COIL-20(ACC) d-50-c-50 0.923(7.5×10 0.688(6.4×10 d-50-50-c-50 0.935(6.9×10 0.7144.3×103 d50-50-c-50-50 0.9345.8×10 0.7376.5×103 d-50-50-50-c-50-50 0.9604.6×10 0.768(3.6×10 d-50-50-50-c-50-50-50 0.910(6.8×10 0.751(5.7×10 d-50-50-50-50-c-50-50-50 0.896(7.9×10 0.693(6.5×10 1.0r 特征，全连接层通过权值矩阵将局部特征进行组 0.8 合。随着全连接层数的增加，特征表示不断抽象 组合，更趋向于全局特征的表示，因此F6层所提 0.6 取的特征可看作聚类的输入，实验也证明了F6层 04 上的聚类精度最高。 0. 5101520253035404550 1.0 (a)MNIST 器0.8 0.80 ￥0.6 -o-ACC 0.75 NMI 0.70 0.4 F1 F2 F3 F4 F5 F6 0.65 全连接层 0.60 图4 MNIST数据集上每个全连接层的聚类精度 0.5 Fig.4 Clustering accuracy of each fully connected layer on 102030405060708090100 MNIST dataset (b)C0IL-20 3.3.3卷积部分的选择 图3瓶颈层神经元个数c影响聚类精度 本组实验在MNIST上验证卷积核与卷积层 Fig.3 Clustering accuracy affected by neuron numbers c 数对聚类性能的影响。全连接部分与前面的设置 in bottleneck layer 相同，只改变卷积核大小、数量和卷积层数，从而 观察图3(a)和(b)不难发现，在简单的MNIST 建立A、B、C、D和E共5个卷积部分，参数的详 数据集上，随着神经元个数的增加，聚类精度先 细信息见表3，其中(k,n)s分别为卷积核的大小、 上升后一直呈下降趋势，c=10(基准类别数)时出 数目和步长。 现最高精度；而在相对复杂的COL-20数据集 表35个不同卷积网络结构对比 上，随着神经元个数的增加，聚类精度并不稳定， Table 3 Comparison 5 different convolutional structures c为20（基准类别数）和40时均出现最高聚类精 卷积层 度。可见瓶颈层神经元个数影响网络的抽象表达 C1 C2 C3 C4 C5 C6 网络 能力，也最终影响聚类性能。综合考虑，后续实 A (25,3)/3(50,3)/2(50,3)/1(50,3)/2 验中设定AFCAE网络的瓶颈层神经元个数c为 (25,3)/3(50,3)/2(50,3)/1(50,2)/2 聚类簇数。 (25,3)/3(25,2)/2(25,3)/1(50,2)/1 3.3.2聚类输入层的选择 D (25,3)/3(50,2)/2(50,2)/1(50,2)/1(50,2)/1 本组实验在MNIST数据集上测试AFCAE网 E (25,3)/2(25,3)/1(25,3)/1(25,3)/2(50,3)/1(50,2)/1 络中不同的全连接层的输出特征在聚类性能上的 差异。在某一全连接层后接K-means算法，进行 由于不同数据集的图片尺寸不统一，不考虑输 深度聚类分析，所得聚类性能如图4所示。显然， 入图像尺寸，仅考虑输人通道、输出通道以及卷 F6层的特征使得聚类性能ACC(0.960)和NMI 积核大小时，理论时间复杂性用式子-k来计 (0.916)均达到最优。在卷积层C4上获取的局部 算。比如网络B上的理论运行时间为：1×32×25+表 2 全连接层部分的设计和对应的聚类精度 Table 2 Design of fully connected layers and corresponding clustering accuracies 全连接层的设计结构 MNIST（ACC） COIL-20（ACC） d-50-c-50 0.923(7.5×10−4) 0.688(6.4×10−4) d-50-50-c-50 0.935(6.9×10−4) 0.714(4.3×10−3) d-50-50-c-50-50 0.934(5.8×10−4) 0.737(6.5×10−3) d-50-50-50-c-50-50 0.960(4.6×10−4) 0.768(3.6×10−4) d-50-50-50-c-50-50-50 0.910(6.8×10−4) 0.751(5.7×10−4) d-50-50-50-50-c-50-50-50 0.896(7.9×10−4) 0.693(6.5×10−4) 1.0 0.8 0.6 0.4 0.2 5 10 15 20 25 30 35 40 45 50 聚类精度 0.80 0.75 0.70 0.65 0.60 0.55 聚类精度 c 10 20 30 40 50 60 70 80 90 100 c (a) MNIST (b) COIL-20 图 3 瓶颈层神经元个数 c 影响聚类精度 Fig. 3 Clustering accuracy affected by neuron numbers c in bottleneck layer 观察图 3(a) 和 (b) 不难发现，在简单的 MNIST 数据集上，随着神经元个数的增加，聚类精度先 上升后一直呈下降趋势，c=10(基准类别数) 时出 现最高精度；而在相对复杂的 COIL-20 数据集 上，随着神经元个数的增加，聚类精度并不稳定， c 为 20(基准类别数) 和 40 时均出现最高聚类精 度。可见瓶颈层神经元个数影响网络的抽象表达 能力，也最终影响聚类性能。综合考虑，后续实 验中设定 AFCAE 网络的瓶颈层神经元个数 c 为 聚类簇数。 3.3.2 聚类输入层的选择 本组实验在 MNIST 数据集上测试 AFCAE 网 络中不同的全连接层的输出特征在聚类性能上的 差异。在某一全连接层后接 K-means 算法，进行 深度聚类分析，所得聚类性能如图 4 所示。显然， F6 层的特征使得聚类性能 ACC(0.960) 和 NMI (0.916) 均达到最优。在卷积层 C4 上获取的局部 特征，全连接层通过权值矩阵将局部特征进行组 合。随着全连接层数的增加，特征表示不断抽象 组合，更趋向于全局特征的表示，因此 F6 层所提 取的特征可看作聚类的输入，实验也证明了 F6 层 上的聚类精度最高。 1.0 0.8 0.6 0.4 聚类性能 F1 F2 F3 F4 F5 F6 全连接层 ACC NMI 图 4 MNIST 数据集上每个全连接层的聚类精度 Fig. 4 Clustering accuracy of each fully connected layer on MNIST dataset 3.3.3 卷积部分的选择 本组实验在 MNIST 上验证卷积核与卷积层 数对聚类性能的影响。全连接部分与前面的设置 相同，只改变卷积核大小、数量和卷积层数，从而 建立 A、B、C、D 和 E 共 5 个卷积部分，参数的详 细信息见表 3，其中 (k,n)/s 分别为卷积核的大小、 数目和步长。 表 3 5 个不同卷积网络结构对比 Table 3 Comparison 5 different convolutional structures 卷积层 网络 C1 C2 C3 C4 C5 C6 A (25,3)/3 (50,3)/2 (50,3)/1 (50,3)/2 B (25,3)/3 (50,3)/2 (50,3)/1 (50,2)/2 C (25,3)/3 (25,2)/2 (25,3)/1 (50,2)/1 D (25,3)/3 (50,2)/2 (50,2)/1 (50,2)/1 (50,2)/1 E (25,3)/2 (25,3)/1 (25,3)/1 (25,3)/2 (50,3)/1 (50,2)/1 nl−1k 2 l nl 由于不同数据集的图片尺寸不统一，不考虑输 入图像尺寸，仅考虑输入通道、输出通道以及卷 积核大小时，理论时间复杂性用式子 来计 算。比如网络 B 上的理论运行时间为：1×32 ×25 + 第 17 卷 智 能 系 统 学 报 ·904·