第2期 方涛，等：神经网络多层特征信息融合的人脸识别方法 ·283· 用式(11)损失函数： 表1在LFW上的实验结果 F)F) Table 1 Experimental results on LFW (12) 方法 正确率 在此基础上，增加融合部分的损失，损失函数 ResNet+AM-Softmax 0.9821 计算流程如下：1)图片预处理后输入神经网络； ResNet+Normalization+Centerloss 0.9814 2)提取多层特征后进行特征融合；3)融合后的特 Lightcnn+AM-Softmax 0.9581 征送入Softmax分类器计算loss(SF)；4)每层提取 MLFF+AM-Softmax 0.9910 的特征送入Softmax分类器计算loss(F);5)每层 提取的特征送入Softmax分类器后的结果进行决 表2在CNBC上的实验结果 策融合，计算loss(DF)。 Table 2 Experimental results on CNBC 对于特征融合部分，将融合后的特征送入 方法 正确率 Softmax分类器，使用上述损失函数，用loss(SF) ResNet+AM-Softmax 0.9902 表示；对于决策融合部分，直接应用上述损失函 数，用1 oss(DF)表示。将所有的损失函数相加，作 ResNet+Normalization+Centerloss 0.9884 为最终的损失函数，最终的形式为 Lightcnn+AM-Softmax 0.9922 loss mean(loss(F)+loss(SF)+loss(DF)) (13) MLFF+AM-Softmax 0.9981 2实验结果与分析 CASIA-FaceV5数据集包含了来自500个人的 2500张亚洲人脸图片，实验结果如表3所示。 为验证本文提出方法的有效性，在LFW CASIA-FaceV5、CNBC等人脸数据集上进行人脸 表3在CASIA-FaceV5上的实验结果 识别实验。实验主要分为Close-set和Open-set两 Table 3 Experimental results on CASIA-FaceV5 个部分，Close-set指的是所有的测试集类别都在 方法 正确率 训练集中出现过，所以每次的预测直接得出测试 ResNet+AM-Softmax 0.9964 图片的ID;Open-set指的是训练集中没有出现过 ResNet+Normalization+Centerloss 0.9535 测试集的类别s9。 Lightcnn+AM-Softmax 0.9972 实验环境使用Tensorflow框架，Tensorflow是 MLFF+AM-Softmax 0.9994 一个采用数据流图形式，用于数值计算的开源软 件库，支持GPU加速，自动求微分的能力等优点， 由于一般的Softmax难以训练且效果较差， 使得研究人员能够更便捷地研究与应用神经 所以使用Centerloss时进行归一化操作，从表1~3 网络。 可知，与ResNet相比，同样使用AM-Softmax,改 2.1 Closet-set实验 进后的正确率有所提升，同时与其他的方法相 LFW20数据集是由13000多张全世界知名人 比，本文方法的效果也有所提升。 士在自然场景下不同朝向、表情和光照环境人脸 子空间数量对结果会有一定的影响，表4为 图片组成，共有5000多人。每张人脸图片都有其 不同子空间数量下的实验结果。 唯一的姓名D和序号加以区分。实验使用所有 表4不同子空间下的实验结果 图片，进行数据增强扩充图片数量后，随机划分 Table 4 Experimental results in different subspaces 训练集与测试集，训练集与测试比例为3：1，训练 正确率 前进行归一化预处理，取特征融合子空间数量为 子空间数 =4。实验结果如表1所示，其中，MLFF指的是 LFW CNBC CASIA-FaceV5 本文改进方法，ResNet为图2所示结构，Normaliz- 2 0.9847 0.9843 0.9932 ation指的是1.6节介绍的归一化操作。 4 0.9910 0.9981 0.9994 之后以同样的条件在以下数据集上进行了实 8 0.9879 0.9859 0.9932 验，CNBC数据集包括200多个不同种族的 16 0.9862 0.9896 0.9936 200多个人的多幅图像，其中收集了每个人相隔 32 0.9889 0.9908 0.9872 几周后发型或胡子变化的图片，实验结果如表2 64 0.9855 0.9922 0.9864 所示。用式（11）损失函数： loss(F) = ∑n i=1 L(Fi) (12) 在此基础上，增加融合部分的损失，损失函数 计算流程如下：1) 图片预处理后输入神经网络； 2) 提取多层特征后进行特征融合；3) 融合后的特 征送入 Softmax 分类器计算 loss(SF)；4) 每层提取 的特征送入 Softmax 分类器计算 loss(F)；5) 每层 提取的特征送入 Softmax 分类器后的结果进行决 策融合，计算 loss(DF)。 对于特征融合部分，将融合后的特征送入 Softmax 分类器，使用上述损失函数，用 loss(SF) 表示；对于决策融合部分，直接应用上述损失函 数，用 loss(DF)表示。将所有的损失函数相加，作 为最终的损失函数，最终的形式为 loss = mean(loss(F)+loss(SF)+loss(DF)) (13) 2 实验结果与分析 为验证本文提出方法的有效性，在 LFW、 CASIA-FaceV5、CNBC 等人脸数据集上进行人脸 识别实验。实验主要分为 Close-set 和 Open-set 两 个部分，Close-set 指的是所有的测试集类别都在 训练集中出现过，所以每次的预测直接得出测试 图片的 ID；Open-set 指的是训练集中没有出现过 测试集的类别[15, 19]。 实验环境使用 Tensorflow 框架，Tensorflow 是 一个采用数据流图形式，用于数值计算的开源软 件库，支持 GPU 加速，自动求微分的能力等优点， 使得研究人员能够更便捷地研究与应用神经 网络。 2.1 Closet-set 实验 LFW[20] 数据集是由 13 000 多张全世界知名人 士在自然场景下不同朝向、表情和光照环境人脸 图片组成，共有 5 000 多人。每张人脸图片都有其 唯一的姓名 ID 和序号加以区分。实验使用所有 图片，进行数据增强扩充图片数量后，随机划分 训练集与测试集，训练集与测试比例为 3∶1，训练 前进行归一化预处理，取特征融合子空间数量为 k=4。实验结果如表 1 所示，其中，MLFF 指的是 本文改进方法，ResNet 为图 2 所示结构，Normaliz￾ation 指的是 1.6 节介绍的归一化操作。 之后以同样的条件在以下数据集上进行了实 验 ， CNBC 数据集包 括 2 0 0 多个不同种族 的 200 多个人的多幅图像，其中收集了每个人相隔 几周后发型或胡子变化的图片，实验结果如表 2 所示。 表 1 在 LFW 上的实验结果 Table 1 Experimental results on LFW 方法 正确率 ResNet+AM-Softmax 0.982 1 ResNet+Normalization+Centerloss 0.981 4 Lightcnn+AM-Softmax 0.958 1 MLFF+AM-Softmax 0.991 0 表 2 在 CNBC 上的实验结果 Table 2 Experimental results on CNBC 方法 正确率 ResNet+AM-Softmax 0.990 2 ResNet+Normalization+Centerloss 0.988 4 Lightcnn+AM- Softmax 0.992 2 MLFF+AM-Softmax 0.998 1 CASIA-FaceV5 数据集包含了来自 500 个人的 2500 张亚洲人脸图片，实验结果如表 3 所示。 表 3 在 CASIA-FaceV5 上的实验结果 Table 3 Experimental results on CASIA-FaceV5 方法 正确率 ResNet+AM-Softmax 0.996 4 ResNet+Normalization+Centerloss 0.953 5 Lightcnn+AM-Softmax 0.997 2 MLFF+AM-Softmax 0.999 4 由于一般的 Softmax 难以训练且效果较差， 所以使用 Centerloss 时进行归一化操作，从表 1~3 可知，与 ResNet 相比，同样使用 AM-Softmax，改 进后的正确率有所提升，同时与其他的方法相 比，本文方法的效果也有所提升。 子空间数量对结果会有一定的影响，表 4 为 不同子空间数量下的实验结果。 表 4 不同子空间下的实验结果 Table 4 Experimental results in different subspaces 子空间数 正确率 LFW CNBC CASIA-FaceV5 2 0.984 7 0.984 3 0.993 2 4 0.991 0 0.998 1 0.999 4 8 0.987 9 0.985 9 0.993 2 16 0.986 2 0.989 6 0.993 6 32 0.988 9 0.990 8 0.987 2 64 0.985 5 0.992 2 0.986 4 第 2 期 方涛，等：神经网络多层特征信息融合的人脸识别方法 ·283·