·903· 杨梦茵，等：非对称卷积编码器的聚类算法 第5期 为第层的输入通道数；k是卷积核的尺寸；m为卷 聚类精度(ACC):聚类精度定义为聚类指派 积核输出的特征图大小。 对的数据个数与全部数据个数之比： 全连接层的时间复杂性为输入通道和输出通 N 道的乘积，表示为 ,6(S,r ACC= (4) 3 6(s,r)= 1,s=r 0,其他 3 实验结果与分析 式中：s代表真实标签；是聚类指派的标签；N为 总的数据个数。经典匈牙利算法对聚类类标和真 本节主要通过K-means对特征表示进行聚类 实类标进行匹配，通过最佳类别指派得到最优类 分析来验证AFCAE网络的特征表示能力。所有 别结果。ACC值越接近1，说明聚类准确度越高。 实验均在6个图像数据集上进行，3.1节详细介绍 标准互信息(NM①：将互信息归一化到[0,1]， 不同数据集。为了减少随机初始化对K-means算 法性能的影响，每组实验都重复50次，选取最好 若互信息为0表示两者毫无关联；若为1表示完 全相关。NMI可定义为 的聚类精度。 实验环境：IntelCorei5-6300HO处理器，NVIDIA NMI=- 21(5,) ΓHs)+Hr) (5) 2.0GB显存，8.0 GB RAM显卡；基于开源的Ker- 式中：H为信息嫡；I是真实标签和聚类标签之间 as库搭建AFCAE网络。 的互信息。NMI衡量了样本标签的预测分布与 3.1实验数据集 真实分布的相关程度。 1)MNIST:由70000个手写数字组成的灰度 3.3消融实验 图像数据集。图像尺寸为28×28，属于10个不同 为证实AFCAE网络具有优异的特征提取能 的类(htp:yann.lecun.com/exdb/mnist//)。 力，在MNIST和COL-20数据集上从全连接层是 2)CAS-PEAL-R1:属于40个不同类的200幅 否对称，瓶颈层参数选择以及聚类层数的选择这 灰度图像数据集。每张图片尺寸为480×360。是 纯色背景下人脸有表情变化的正面视图。且每人 3方面进行详尽的实验分析。 有5幅图片(http:www.jdl.ac.cn/peal/JDL-PEAL- 3.3.1全连接层的选择 Release.htm)。 AFCAE网络可以看成在F2-F6对称全连接部 3)C0IL-20:由日常生活物品组成的1440张 分前加入全连接层F1。卷积自动编码器中添加 尺寸为128×128的数据集。数据集类别为20类， 的全连接层是将提取的特征进行整合。为了证实 是有角度、无形变的灰度图片(https:/www.dazhu 合理增加全连接层数有助于提高网络的聚类精 anlan.com/2019/10/06/5d999ded06295/)。 度。保持编码器和解码器网络结构不变，对全连 4)BioID-Face:数据集为23位人物组成的1521 接层部分尝试了不同深度以及对称和非对称式的 幅灰度图像，图片尺寸为384×286。每张图片为 设计。为了对比的公平性，选取全连接层F6层的 正面视图，具有较大的姿态变化和表情变化(ht- 特征输出进行聚类分析并比较聚类精度，实验结 tps://www.bioid.com/facedb/). 果列于表2，其中“d-50-c-50”中的数字代表全连 5)IMM-Face:属于40个类簇的240幅图片， 接层的神经元个数，d是输人全连接层数据的维 图片尺寸为640×48，视图为纯色背景下有侧面和 度，c是瓶颈层神经元的个数，括号中数值为进行 正面、有表情变化的图片，每人6幅彩色/灰度图 20次实验取得的方差。黑体为本文选取网络全 (http://www.imm.dtu.dk/~aam/aamexplorer/) 连接层结构以及对应的聚类精度。 6)UMISTS:包括20个人共564幅图像，图片 根据表2可知，随着全连接层数的增加，聚类 尺寸为220×220，纯色背景下每个人具有不同角 精度先增长后有所下降，说明全连接层的增加有 度、不同姿态的灰度图像(https:l/see.xidian.cdu 助于网络提取有效的特征，使得K-means算法在 cn/vipsl/database Face.html) MNIST上有0.960的聚类精度。实验发现不断地 3.2评价指标 增加全连接层的深度，聚类精度呈下降趋势，说 本文使用评价聚类性能的数值指标是聚类精 明不能盲目增加网络深度。故本文全连接部分选 度(accuracy,ACC)和标准互信息(normalized mu- 取d50-50-50-c-50-50结构。 tual information,NM①。两个指标值越近l,说明 接着在MNIST和COIL-20数据集上验证瓶 聚类准确度越高。 颈层神经元个数c的选择，结果见图3。为第 l 层的输入通道数； kl是卷积核的尺寸；ml为卷 积核输出的特征图大小。 全连接层的时间复杂性为输入通道和输出通 道的乘积，表示为 O   ∑d l=1 nl−1nl   (3) 3 实验结果与分析 本节主要通过 K-means 对特征表示进行聚类 分析来验证 AFCAE 网络的特征表示能力。所有 实验均在 6 个图像数据集上进行，3.1 节详细介绍 不同数据集。为了减少随机初始化对 K-means 算 法性能的影响，每组实验都重复 50 次，选取最好 的聚类精度。 实验环境：IntelCorei5-6300HQ 处理器，NVIDIA 2.0GB 显存，8.0GB RAM 显卡；基于开源的 Ker￾as 库搭建 AFCAE 网络。 3.1 实验数据集 1) MNIST：由 70 000 个手写数字组成的灰度 图像数据集。图像尺寸为 28×28，属于 10 个不同 的类（http://yann.lecun.com/exdb/mnist/）。 2) CAS-PEAL-R1：属于 40 个不同类的 200 幅 灰度图像数据集。每张图片尺寸为 480×360。是 纯色背景下人脸有表情变化的正面视图。且每人 有 5 幅图片（http://www.jdl.ac.cn/peal/JDL-PEAL￾Release.htm）。 3) COIL-20：由日常生活物品组成的 1 440 张 尺寸为 128×128 的数据集。数据集类别为 20 类， 是有角度、无形变的灰度图片（https://www.dazhu anlan.com/2019/10/06/5d999ded06295/）。 4) BioID-Face：数据集为 23 位人物组成的 1521 幅灰度图像，图片尺寸为 384×286。每张图片为 正面视图，具有较大的姿态变化和表情变化（ht￾tps://www.bioid.com/facedb/）。 5) IMM-Face：属于 40 个类簇的 240 幅图片， 图片尺寸为 640×48，视图为纯色背景下有侧面和 正面、有表情变化的图片，每人 6 幅彩色/灰度图 片（http://www.imm.dtu.dk/~aam/aamexplorer/）。 6) UMISTS：包括 20 个人共 564 幅图像，图片 尺寸为 220×220，纯色背景下每个人具有不同角 度、不同姿态的灰度图像（https://see.xidian.edu. cn/vipsl/database_Face.html）。 3.2 评价指标 本文使用评价聚类性能的数值指标是聚类精 度 (accuracy，ACC) 和标准互信息 (normalized mu￾tual information，NMI)。两个指标值越近 1，说明 聚类准确度越高。 聚类精度 (ACC)：聚类精度定义为聚类指派 对的数据个数与全部数据个数之比： ACC = ∑N i=1 δ(si ,ri) N (4) δ(si ,ri) = { 1, si = ri 0, 其他 式中： si代表真实标签；ri是聚类指派的标签； N 为 总的数据个数。经典匈牙利算法对聚类类标和真 实类标进行匹配，通过最佳类别指派得到最优类 别结果。ACC 值越接近 1，说明聚类准确度越高。 标准互信息 (NMI)：将互信息归一化到 [0,1]， 若互信息为 0 表示两者毫无关联；若为 1 表示完 全相关。NMI 可定义为 NMI = 2I(si ,ri) H(si)+ H(ri) (5) 式中： H 为信息熵； I 是真实标签和聚类标签之间 的互信息。NMI 衡量了样本标签的预测分布与 真实分布的相关程度。 3.3 消融实验 为证实 AFCAE 网络具有优异的特征提取能 力，在 MNIST 和 COIL-20 数据集上从全连接层是 否对称，瓶颈层参数选择以及聚类层数的选择这 3 方面进行详尽的实验分析。 3.3.1 全连接层的选择 AFCAE 网络可以看成在 F2-F6 对称全连接部 分前加入全连接层 F1。卷积自动编码器中添加 的全连接层是将提取的特征进行整合。为了证实 合理增加全连接层数有助于提高网络的聚类精 度。保持编码器和解码器网络结构不变，对全连 接层部分尝试了不同深度以及对称和非对称式的 设计。为了对比的公平性，选取全连接层 F6 层的 特征输出进行聚类分析并比较聚类精度，实验结 果列于表 2，其中“d-50-c-50”中的数字代表全连 接层的神经元个数，d 是输入全连接层数据的维 度，c 是瓶颈层神经元的个数，括号中数值为进行 20 次实验取得的方差。黑体为本文选取网络全 连接层结构以及对应的聚类精度。 根据表 2 可知，随着全连接层数的增加，聚类 精度先增长后有所下降，说明全连接层的增加有 助于网络提取有效的特征，使得 K-means 算法在 MNIST 上有 0.960 的聚类精度。实验发现不断地 增加全连接层的深度，聚类精度呈下降趋势，说 明不能盲目增加网络深度。故本文全连接部分选 取 d-50-50-50-c-50-50 结构。 接着在 MNIST 和 COIL-20 数据集上验证瓶 颈层神经元个数 c 的选择，结果见图 3。 ·903· 杨梦茵，等：非对称卷积编码器的聚类算法 第 5 期