第16卷第2期 智能系统学报 Vol.16 No.2 2021年3月 CAAI Transactions on Intelligent Systems Mar.2021 D0:10.11992/tis.201907053 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.TP.20200720.1357.002.html 神经网络多层特征信息融合的人脸识别方法 方涛，陈志国'，傅毅2 (1.江南大学物联网工程学院，江苏无锡214122：2.无锡环境科学与工程研究中心，江苏无锡214153) 摘要：由于人脸面部结构复杂，不同人脸之间结构特征相似，导致难以提取到十分适合用于分类的人脸特征， 虽然神经网络具有良好效果，并且有很多改进的损失函数能够帮助提取需要的特征，但是单一的深度特征没有 充分利用多层特征之间的互补性，针对这些问题提出了一种基于神经网络多层特征信息融合的人脸识别方 法。首先选择RsNt网络结构进行改进，提取神经网络中的多层特征，然后将多层特征映射到子空间，在各自 子空间内通过定义的中心变量进行自适应加权融合；为进一步提升效果，将所有特征送入Softmax分类器，同 时对分类结果通过相同方式进行自适应加权决策融合：训练网络学习适合的中心变量，应用中心变量计算加权 融合相似度。在同样的有限条件下，在使用AM-Softmax损失函数的基础上，融合特征在LFW(Labeled Faces in the Wi1d)上的识别效果了提升1.6%，使用融合相似度提升了2.2%。能够有效地提升人脸识别率，提取更合适 的人脸特征。 关键词：人脸识别；人脸特征；神经网络：信息融合：特征融合；决策融合；特征提取；相似度融合 中图分类号：TP391.41文献标志码：A文章编号：1673-4785(2021)02-0279-07 中文引用格式：方涛，陈志国，傅毅.神经网络多层特征信息融合的人脸识别方法.智能系统学报，2021,16(2)：279-285. 英文引用格式：FANG Tao,,CHEN Zhiguo,FUYi.Face recognition method based on neural network multi-.ayer feature informa- tion fusion[Jl.CAAI transactions on intelligent systems,2021,16(2):279-285 Face recognition method based on neural network multi-layer feature information fusion FANG Tao',CHEN Zhiguo',FU Yi (1.School of Internet of Things Engineering,Jiangnan University,Wuxi 214122,China;2.Wuxi Research Center of Environmental Science and Engineering,Wuxi214153,China) Abstract:Because the structure of the face is complex and the structural features of different faces are similar,it is diffi- cult to extract facial features that are suitable for classification.Neural networks generate good results,and the recent improvements in many loss functions can help extract the required features.However,a single depth feature does not make full use of the complementarity of multi-layer features.To solve these problems,we propose a face recognition method based on the fusion of neural-network multi-layer feature information.First,we select the ResNet network struc- ture to improve the outcome,then we extract the multi-layer features in the neural network.These features are then mapped onto the sub-spaces.Next,adaptive weighted fusion is performed of the defined central variables in the respect- ive sub-spaces.To realize further improvement,all the features are sent to the Softmax classifier,and the classification results are fused in the same way by adaptive weighted decision-making.The training network learns the appropriate central variable,which is applied to calculate the weighted fusion similarity.Under the same conditions,based on the AM-Softmax loss function,the recognition of the fusion feature on the Labeled Faces in the Wild database increased by 1.6%,and the fusion similarity increased by 2.2%.We conclude that the proposed method effectively improves the face recognition rate and extracts more suitable facial features. Keywords:face recognition;facial feature;neural network,information fusion;feature fusion;decision fusion;feature extraction;similarity fusion 收稿日期：2019-07-31.网络出版日期：2020-07-20 人脸识别一直以来都是计算机视觉方向与模 基金项目：国家自然科学基金项目(61502203)：江苏省自然科 学基金项目(BK20150122):江苏省高等学校自然科 式识别领域的研究热点，作为生物特征识别技术 学研究面上项目(17KB520039):江苏省“333高层 次人才培养工程”科研项目(BRA2018147). 一个重要的研究方向，人脸识别技术因其很高的 通信作者：陈志国.E-mail:427533@qq.com. 商业价值和极为广阔的应用前景而进行了大力的
DOI: 10.11992/tis.201907053 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20200720.1357.002.html 神经网络多层特征信息融合的人脸识别方法 方涛1 ，陈志国1 ，傅毅1,2 （1. 江南大学 物联网工程学院，江苏 无锡 214122; 2. 无锡环境科学与工程研究中心，江苏 无锡 214153） 摘 要：由于人脸面部结构复杂，不同人脸之间结构特征相似，导致难以提取到十分适合用于分类的人脸特征， 虽然神经网络具有良好效果，并且有很多改进的损失函数能够帮助提取需要的特征，但是单一的深度特征没有 充分利用多层特征之间的互补性，针对这些问题提出了一种基于神经网络多层特征信息融合的人脸识别方 法。首先选择 ResNet 网络结构进行改进，提取神经网络中的多层特征，然后将多层特征映射到子空间，在各自 子空间内通过定义的中心变量进行自适应加权融合；为进一步提升效果，将所有特征送入 Softmax 分类器，同 时对分类结果通过相同方式进行自适应加权决策融合；训练网络学习适合的中心变量，应用中心变量计算加权 融合相似度。在同样的有限条件下，在使用 AM-Softmax 损失函数的基础上，融合特征在 LFW(Labeled Faces in the Wild) 上的识别效果了提升 1.6%，使用融合相似度提升了 2.2%。能够有效地提升人脸识别率，提取更合适 的人脸特征。 关键词：人脸识别；人脸特征；神经网络；信息融合；特征融合；决策融合；特征提取；相似度融合 中图分类号：TP391.41 文献标志码：A 文章编号：1673−4785(2021)02−0279−07 中文引用格式：方涛, 陈志国, 傅毅. 神经网络多层特征信息融合的人脸识别方法 [J]. 智能系统学报, 2021, 16(2): 279–285. 英文引用格式：FANG Tao, CHEN Zhiguo, FU Yi. Face recognition method based on neural network multi-layer feature information fusion[J]. CAAI transactions on intelligent systems, 2021, 16(2): 279–285. Face recognition method based on neural network multi-layer feature information fusion FANG Tao1 ，CHEN Zhiguo1 ，FU Yi1,2 (1. School of Internet of Things Engineering, Jiangnan University, Wuxi 214122, China; 2. Wuxi Research Center of Environmental Science and Engineering, Wuxi 214153, China) Abstract: Because the structure of the face is complex and the structural features of different faces are similar, it is difficult to extract facial features that are suitable for classification. Neural networks generate good results, and the recent improvements in many loss functions can help extract the required features. However, a single depth feature does not make full use of the complementarity of multi-layer features. To solve these problems, we propose a face recognition method based on the fusion of neural-network multi-layer feature information. First, we select the ResNet network structure to improve the outcome, then we extract the multi-layer features in the neural network. These features are then mapped onto the sub-spaces. Next, adaptive weighted fusion is performed of the defined central variables in the respective sub-spaces. To realize further improvement, all the features are sent to the Softmax classifier, and the classification results are fused in the same way by adaptive weighted decision-making. The training network learns the appropriate central variable, which is applied to calculate the weighted fusion similarity. Under the same conditions, based on the AM-Softmax loss function, the recognition of the fusion feature on the Labeled Faces in the Wild database increased by 1.6%, and the fusion similarity increased by 2.2%. We conclude that the proposed method effectively improves the face recognition rate and extracts more suitable facial features. Keywords: face recognition; facial feature; neural network; information fusion; feature fusion; decision fusion; feature extraction; similarity fusion 人脸识别一直以来都是计算机视觉方向与模 式识别领域的研究热点，作为生物特征识别技术 一个重要的研究方向，人脸识别技术因其很高的 商业价值和极为广阔的应用前景而进行了大力的 收稿日期：2019−07−31. 网络出版日期：2020−07−20. 基金项目：国家自然科学基金项目（61502203）；江苏省自然科 学基金项目（BK20150122）；江苏省高等学校自然科 学研究面上项目（17KJB520039）；江苏省“333 高层 次人才培养工程”科研项目（BRA2018147）. 通信作者：陈志国. E-mail：427533@qq.com. 第 16 卷第 2 期 智 能 系 统 学 报 Vol.16 No.2 2021 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2021
·280· 智能系统学报 第16卷 发展。人脸识别已经融入到了生活中的方方面 征，基于特征级融合与决策级融合的融合方式进 面，诸如视觉监控、自动身份验证、银行安全、门 行信息融合。本文构建适合于多层特征提取的网 禁安全等专业领域。计算机硬件技术的快速发展 络模型，研究加权融合方式，通过定义中心变量 为计算机视觉、机器学习等领域的发展提供了坚 后，计算自适应权重，结合卷积神经网络训练方 实的基础支撑，也为深度学习的进步与流行提供 式学习中心变量，通过训练学习到的中心变量计 了基础。深度学习是包含多级非线性变换连接的 算加权融合相似度，进一步提高识别率。 机器学习方法，受启发于动物视觉皮层组织，模 拟生物神经元间的连接模式四。随着深度学习模 1多层特征信息融合模型 型不断发展成熟，由于其优越的性能，人们开始 1.1卷积神经网络 神经网络应用人脸识别领域，主要是利用神经网 卷积神经网络的相关研究最早是在1962年， 络进行特征提取再利用不同分类器进行识别2， 生物学家Hubel和Wiesel通过对猫脑视觉皮层的 或者直接利用神经网络进行识别s-。 研究，发现了“感受野”和视觉皮层中的细胞的层 卷积神经网络是其中一种经典而广泛应用的 级结构。1980年，Fukushima在此基础上根据层 结构。卷积神经网络具有局部连接、权值共享及 级模型提出了结构与之类似的神经认知机(neo- 池化操作等特性，可以有效地降低网络的复杂 cognitron),之后才逐渐发展成现在的卷积神经网 度，减少训练参数的数目，使模型保持一定的不 络。LeCun等基于Fukushima的研究工作使用 变性，并具有强鲁棒性和容错能力，且也易于训 BP算法设计并训练了奠定了卷积神经网络基础 练和优化。基于这些优越的特性，它在各种信号 经典模型LeNet-5,后续有许多工作都是基于此模 和信息处理任务中的性能优于标准的全连接神经 型进行改进，图1为LetNet--5模型结构图。 网络山。Taigman等提出了DeepFacel,使用 C3:l.maps 16@10x10 CNN代替了传统的手工特征提取方式来提取人 S4:L.maps 16@5x5 NPU 6a28x28 S2:l.map 脸特征，奠定了基于深度学习的人脸识别方法的 Cs::aver OUTPUT 120 基础。Google的团队提出了FaceNet,商汤科技 的视觉团队提出了DeepID系列人脸方法，通过 卷积神经网络提取合适的人脸特征。还有一些重 Subsampling 要工作是从人脸识别的损失函数方面突破，添加 约束促进不同类特征之间的分离性，目的是获得 图1 LeNet-5结构 判别性较高的人脸特征，提高人脸识别的准 Fig.1 Structure of LeNet-5 确率。 如图1所示，卷积神经网络是一种非全连接 为了解释卷积神经网络提取到的特征，一些 的多层神经网络，一般由卷积层、下采样层和全 研究提取卷积层进行可视化，发现卷积神经网络 连接层组成，原始图像首先通过卷积层与滤波器 低层学习到的主要是纹理特征，高层学习到的主 进行卷积，得到若干特征图，然后通过下采样层 要是语义特征，为了充分利用网络提取到的低 对特征进行模糊，卷积神经网络的隐藏层是由卷 层纹理特征和高层语义特征信息，以及两者之间 积层和下采样层交替组成，最后通过一个全连接 的互补性，可以对多层特征进行融合得到更适合 层或者全局平均池化输出一组特征向量，用于分 用于人脸识别的特征，以提高人脸识别的精度。 类器分类识别。 信息融合一般分为数据级整合、特征级融合和决 1.2特征提取神经网络结构改进 策级融合3个层面，数据级融合是最低层次的融 神经网络具有低层纹理特征和高层语义特征 合，直接对原始数据进行融合；特征级融合是一 的差异，为了更好地提取多层特征，对已有的经 种中间层次的信息融合，对原始数据提取特征后 典卷积神经网络结构做出改进。下采样层能整合 进行分析与融合；决策级融合是一种更高层次的 特征，保持不变性，是为了特征更好表达，因此在 融合，对各个数据或特征进行分类或识别后的结 下采样层的前一层位置进行改进。 果进行分析与融合。 不同层次的特征旨在编码不同层次的信息， 为了能够得到更好的人脸特征，提高人脸识 进行上下层特征融合后，不同层次的特征相互补 别准确率，本文在已有的经典网络结构的基础上 充，有时互补，能够获取更多的所需的信息，能够 进行改进，融合上下层信息并提取作为多层特 更充分的表达特征，从而有更好的效果
发展。人脸识别已经融入到了生活中的方方面 面，诸如视觉监控、自动身份验证、银行安全、门 禁安全等专业领域。计算机硬件技术的快速发展 为计算机视觉、机器学习等领域的发展提供了坚 实的基础支撑，也为深度学习的进步与流行提供 了基础。深度学习是包含多级非线性变换连接的 机器学习方法，受启发于动物视觉皮层组织，模 拟生物神经元间的连接模式[1]。随着深度学习模 型不断发展成熟，由于其优越的性能，人们开始 神经网络应用人脸识别领域，主要是利用神经网 络进行特征提取再利用不同分类器进行识别[2-5] ， 或者直接利用神经网络进行识别[6-7]。 卷积神经网络是其中一种经典而广泛应用的 结构。卷积神经网络具有局部连接、权值共享及 池化操作等特性，可以有效地降低网络的复杂 度，减少训练参数的数目，使模型保持一定的不 变性，并具有强鲁棒性和容错能力，且也易于训 练和优化。基于这些优越的特性，它在各种信号 和信息处理任务中的性能优于标准的全连接神经 网络[ 1 ]。Taigman 等提出了 DeepFace[ 8 ] ，使用 CNN 代替了传统的手工特征提取方式来提取人 脸特征，奠定了基于深度学习的人脸识别方法的 基础。Google 的团队提出了 FaceNet[5] ，商汤科技 的视觉团队提出了 DeepID[9] 系列人脸方法，通过 卷积神经网络提取合适的人脸特征。还有一些重 要工作是从人脸识别的损失函数方面突破，添加 约束促进不同类特征之间的分离性，目的是获得 判别性较高的人脸特征，提高人脸识别的准 确率。 为了解释卷积神经网络提取到的特征，一些 研究提取卷积层进行可视化，发现卷积神经网络 低层学习到的主要是纹理特征，高层学习到的主 要是语义特征[10] ，为了充分利用网络提取到的低 层纹理特征和高层语义特征信息，以及两者之间 的互补性，可以对多层特征进行融合得到更适合 用于人脸识别的特征，以提高人脸识别的精度。 信息融合一般分为数据级整合、特征级融合和决 策级融合 3 个层面，数据级融合是最低层次的融 合，直接对原始数据进行融合；特征级融合是一 种中间层次的信息融合，对原始数据提取特征后 进行分析与融合；决策级融合是一种更高层次的 融合，对各个数据或特征进行分类或识别后的结 果进行分析与融合。 为了能够得到更好的人脸特征，提高人脸识 别准确率，本文在已有的经典网络结构的基础上 进行改进，融合上下层信息并提取作为多层特 征，基于特征级融合与决策级融合的融合方式进 行信息融合。本文构建适合于多层特征提取的网 络模型，研究加权融合方式，通过定义中心变量 后，计算自适应权重，结合卷积神经网络训练方 式学习中心变量，通过训练学习到的中心变量计 算加权融合相似度，进一步提高识别率。 1 多层特征信息融合模型 1.1 卷积神经网络 卷积神经网络的相关研究最早是在 1962 年， 生物学家 Hubel 和 Wiesel 通过对猫脑视觉皮层的 研究，发现了“感受野”和视觉皮层中的细胞的层 级结构。1980 年，Fukushima 在此基础上根据层 级模型提出了结构与之类似的神经认知机 (neocognitron)，之后才逐渐发展成现在的卷积神经网 络。LeCun 等基于 Fukushima 的研究工作使用 BP 算法设计并训练了奠定了卷积神经网络基础 经典模型 LeNet-5，后续有许多工作都是基于此模 型进行改进[1] ，图 1 为 LetNet-5 模型结构图。 Subsampling Subsampling Full connection Full connection Gaussian Convolutions connections INPUT 32×32 C1:leature maps 6@28×28 C3:l.maps 16@10×10 S2:l.maps 6@14×14 C5:layer 120 F5:layer 84 OUTPUT 10 S4:l.maps 16@5×5 Convolutions 图 1 LeNet-5 结构 Fig. 1 Structure of LeNet-5 如图 1 所示，卷积神经网络是一种非全连接 的多层神经网络，一般由卷积层、下采样层和全 连接层组成，原始图像首先通过卷积层与滤波器 进行卷积，得到若干特征图，然后通过下采样层 对特征进行模糊，卷积神经网络的隐藏层是由卷 积层和下采样层交替组成，最后通过一个全连接 层或者全局平均池化输出一组特征向量，用于分 类器分类识别。 1.2 特征提取神经网络结构改进 神经网络具有低层纹理特征和高层语义特征 的差异，为了更好地提取多层特征，对已有的经 典卷积神经网络结构做出改进。下采样层能整合 特征，保持不变性，是为了特征更好表达，因此在 下采样层的前一层位置进行改进。 不同层次的特征旨在编码不同层次的信息， 进行上下层特征融合后，不同层次的特征相互补 充，有时互补，能够获取更多的所需的信息，能够 更充分的表达特征，从而有更好的效果。 ·280· 智 能 系 统 学 报 第 16 卷
第2期 方涛，等：神经网络多层特征信息融合的人脸识别方法 ·281· 网络结构选择ResNet来改进，图2为使用 合，实现去冗余，从而得到有利于分析处理的特 的ResNet网络结构，图3为Resblock结构，图4 征，在神经网络中直观的融合方式一般分为 是改进后的网络结构，在尽量不增大网络规模 add和concatenate两种，add方式是特征图相加， 的前提下，将Resblock之间的卷积层拆成不同大 使得描述图像的特征下的信息量增多了，但是描 小卷积核，将上层特征送入下层并通过不同大 述图像的维度本身并没有增加，只是每一维下的 小卷积核后进行融合，融合后的特征再次送入 信息量在增加，这显然是对最终的图像分类是有 下层，然后将所有拼接后的特征以及最后一层 益的。而concatenate是通道数的合并，也就是说 输出的特征作为要提取的多层特征，进行下一 描述图像本身的特征增加了，而每一特征下的信 步的操作。 息是没有增加。网络中的多层信息的直接拼接并 3×3,64,S2 不能更好地利用特征之间的互补性，所以考虑将 特征映射到多个子空间进行加权融合，再拼接 Resblock×l,64 起来。 3×3,64,S2 3×3,128.S2 上层 上层 特征 Resblock×l,64 特征 Resblock×2,128 保留Resblock和 一层卷积层 5×5,32,S2 7x7,32,S2 3×3.256,S2 3×3,64,S2 上下层特征图拼接 Resblock×4,256 Avg pool 3×3.256.S2 Resblock×2,128 t 5×5,64,S2 3×3,128,S2 7×7,64,S2 Resblockx1,512 Avg pool FC Avg pool Softmax Resblock×4,256 图2 ResNet网络结构 5×5,128.S2 7×7,256,S2 Fig.2 Structure of ResNet 3×3.256,S2 X 卷积层 Avg pool X F(X) 直接映射 Resblock×1.512 卷积层 Avg pool Softmax F(X)-X trelu 图4基于ResNet改进的网络结构 图3 Resblock结构 Fig.4 Improved network structure based on ResNet Fig.3 Structure of Resblock 结合神经网络训练方式，与一般的神经网络 1.3特征融合 方法类似，子空间数目作为超参数，对于各个子 特征融合是为了将不同类型的特征进行整 空间，定义各自对应的中心变量并随机初始化
网络结构选择 ResNet 来改进，图 2 为使用 的 ResNet 网络结构，图 3 为 Resblock 结构，图 4 是改进后的网络结构，在尽量不增大网络规模 的前提下，将 Resblock 之间的卷积层拆成不同大 小卷积核，将上层特征送入下层并通过不同大 小卷积核后进行融合，融合后的特征再次送入 下层，然后将所有拼接后的特征以及最后一层 输出的特征作为要提取的多层特征，进行下一 步的操作。 3×3, 64, S2 3×3, 128, S2 Resblock×1, 64 Resblock×2, 128 3×3, 256, S2 Resblock×4, 256 3×3, 256, S2 Avg pool Softmax Resblock×1, 512 FC 图 2 ResNet 网络结构 Fig. 2 Structure of ResNet 卷积层 卷积层 + X X 直接映射 F(X)+X F(X) relu 图 3 Resblock 结构 Fig. 3 Structure of Resblock 1.3 特征融合 特征融合是为了将不同类型的特征进行整 合，实现去冗余，从而得到有利于分析处理的特 征，在神经网络中直观的融合方式一般分 为 add 和 concatenate 两种，add 方式是特征图相加， 使得描述图像的特征下的信息量增多了，但是描 述图像的维度本身并没有增加，只是每一维下的 信息量在增加，这显然是对最终的图像分类是有 益的。而 concatenate 是通道数的合并，也就是说 描述图像本身的特征增加了，而每一特征下的信 息是没有增加。网络中的多层信息的直接拼接并 不能更好地利用特征之间的互补性，所以考虑将 特征映射到多个子空间进行加权融合，再拼接 起来。 Avg pool Softmax C C C Softmax Softmax Avg pool Avg pool Avg pool Softmax 上层 特征 上层 特征 保留Resblock和 一层卷积层 上下层特征图拼接 Resblock×1, 64 Resblock×2, 128 3×3, 64, S2 5×5, 32, S2 5×5, 64, S2 3×3, 128, S2 7×7, 64, S2 Resblock×4, 256 Resblock×1, 512 5×5, 128, S2 3×3, 256, S2 7×7, 256, S2 3×3, 64, S2 7×7, 32, S2 图 4 基于 ResNet 改进的网络结构 Fig. 4 Improved network structure based on ResNet 结合神经网络训练方式，与一般的神经网络 方法类似，子空间数目作为超参数，对于各个子 空间，定义各自对应的中心变量并随机初始化， 第 2 期 方涛，等：神经网络多层特征信息融合的人脸识别方法 ·281·
·282· 智能系统学报 第16卷 映射矩阵也通过同样随机初始化，根据特征与中 相似度{Sim1,Sim2,…,Simn】,以及对应的两组权 心变量之间的距离来计算自适应权重，与神经网 重{w1,w12,…,w1n}和{w1,w12,…,w1n,计算方式为 络模型参数一样，最终所有的映射矩阵和中心变 FuF2 量都通过BP算法训练神经网络来得到。 Sim,=FF (6) 假设提取了n层特征，每层特征用 Wij e-illFr-DMIE (7) F,(i=1,2,…)表示，特征维度为d,定义映射矩阵 最终融合的相似度为 W=[W,W2,…,W]∈R,将特征映射到子空间， 5p-2mwo5i (8) 在子空间下进行加权融合，定义中心变量M=[M1, i=1 M2,…,M]∈Rw,其中d=k×f,k表示设置的子 1.6训练使用的损失函数 空间数量，f表示映射到子空间后的特征维度。 神经网络训练一般使用BP算法，而损失函数 计算自适应权重，然后将各个子空间特征拼接起 最直观的作用就是通过计算其反传梯度来实现对 来，特征融合过程如下： 模型参数的更新，使用不同的损失函数往往可以 SWij e-FWM (1) 使模型更加侧重于学习到数据某一方面的特性， 并在之后能够更好地保证提取到的特征的独有特 SF,->sw.(F.w) (2) 性，因此损失函数对于网络优化有导向性的作用。 神经网络一般使用交叉熵损失函数来训练， SF Concat(SF,SF2,....SF) (3) 式中：sW表示在第j个子空间中第i个特征对应 形式为 eWTrr+b 的权重；SF,表示在第j个子空间按权重相加融合 (9) 后的特征；SF表示将各个子空间融合特征拼接起 ∑e 来形成的最后的融合特征。 1.4决策融合 式中：Wx:+b代表全连接层输出；%表示对应输 为进一步提高效果，与特征融合类似，直接对 入样本的真实类别标签，在损失函数下降过程中 分类结果进行加权融合，同样通过训练获得中心 实质是提高Wx+b所占的比重，使得该类的样 变量最优值，中心变量不仅仅用于决策融合，为 本更多地落入到该类的决策边界之内。 了更好地利用中心变量，加强多层特征的联系， 但是对于人脸识别来说，交叉嫡损失函数无 在1.5小节介绍了利用训练过程中学习到中心变 法保证提取的特征的类间距离增大，主要考虑样 量来计算加权融合相似度。 本是否能正确分类，缺乏类内和类间距离的约 将特征F:(i=1,2,…,)(这里包括融合特 束。为解决人脸识别中损失函数的问题一般从两 征)送入Softmax分类器后，特征对应输出结果为 个方面入手，一方面是结合度量学习的方法， CF:(i=1,2,…,n,类别数为c,定义中心变量DMe 另一方面在此Softmax交叉嫡损失函数的基础上 Rx山，决策融合方式如下： 进行了改进。CenterLoss!在交叉嫡损失函数后 dw;=eF,-DM 面添加额外损失函数，加强对类内距离的约束， (4) 使得同个类直接的样本的类内特征距离变得紧 DF=∑dw,CE, (5) 凑。CenterLoss使得类内变得紧凑，但是对类间 没有足够约束。于是直接对交叉嫡损失函数进行 式中：dw:为第i个结果对应的权重；DF为融合后 改进阁，先对W和x进行归一化操作，将其转换 的输出决策结果。 为余弦距离表示为 1.5加权融合相似度 1 一般人脸识别、人脸验证中，提取特征后，通 L log (10) N 过欧式距离或者余弦距离来判断两张人脸的相似 度，目前常用的是使用余弦距离。 1 从1.4节我们得到了中心变量DM,从而能够 然后引入间隔约束，这里使用文献[17]提出 得到多层特征的决策融合权重，多层特征对应多 的AM-Softmax方法： 个相似度，权重大的特征对应的相似度也应该占 1 e(cos,-m) L二一 1og (11) 更大权重，计算方式如下。 e(cos+m）+】 首先计算两张图片对应的两组特征{F, =1 F12,…,Fn}和{F21,F2,…,F2n}对应的余弦距离即 对于所有特征，各自送入Softmax分类器，使
映射矩阵也通过同样随机初始化，根据特征与中 心变量之间的距离来计算自适应权重，与神经网 络模型参数一样，最终所有的映射矩阵和中心变 量都通过 BP 算法训练神经网络来得到。 Fi(i = 1,2,···n) d W = [W1,W2,··· ,Wk] ∈ R d×f M = [M1, M2,··· , Mk] ∈ R 1×f d = k× f k f 假设提取 了 n 层特征，每层特征用 表示，特征维度为 ，定义映射矩阵 ，将特征映射到子空间， 在子空间下进行加权融合，定义中心变量 ，其中 ， 表示设置的子 空间数量， 表示映射到子空间后的特征维度。 计算自适应权重，然后将各个子空间特征拼接起 来，特征融合过程如下： swi, j = e − 1 d ||FiWj−Mj||2 2 (1) SFj = ∑n i=1 swi, j ( FiWj ) (2) SF = Concat(SF1,SF2,··· ,SFk) (3) swi, j SFj SF 式中： 表示在第 j 个子空间中第 i 个特征对应 的权重； 表示在第 j 个子空间按权重相加融合 后的特征； 表示将各个子空间融合特征拼接起 来形成的最后的融合特征。 1.4 决策融合 为进一步提高效果，与特征融合类似，直接对 分类结果进行加权融合，同样通过训练获得中心 变量最优值，中心变量不仅仅用于决策融合，为 了更好地利用中心变量，加强多层特征的联系， 在 1.5 小节介绍了利用训练过程中学习到中心变 量来计算加权融合相似度。 Fi(i = 1,2,··· ,n) CFi(i = 1,2,··· ,n) DM ∈ R 1×d f 将特征 ( 这里包括融合特 征) 送入 Softmax 分类器后，特征对应输出结果为 ，类别数为 c，定义中心变量 ，决策融合方式如下： dwi = e − 1 d f ||Fi−DM||2 2 (4) DF = ∑n i=1 dwiCFi (5) 式中： dwi 为第 i 个结果对应的权重； DF 为融合后 的输出决策结果。 1.5 加权融合相似度 一般人脸识别、人脸验证中，提取特征后，通 过欧式距离或者余弦距离来判断两张人脸的相似 度，目前常用的是使用余弦距离。 从 1.4 节我们得到了中心变量 DM，从而能够 得到多层特征的决策融合权重，多层特征对应多 个相似度，权重大的特征对应的相似度也应该占 更大权重，计算方式如下。 {F11, F12,··· ,F1n} {F21,F22,··· ,F2n} 首先计算两张图片对应的两组特征 和 对应的余弦距离即 {S im1,S im2,··· ,S imn} {w11,w12,··· ,w1n} {w11,w12,··· ,w1n} 相似度 ，以及对应的两组权 重 和 ，计算方式为 S imi = F1i · F2i |F1i ||F2i | (6) wi j = e − 1 d ||Fi j−DM||2 2 (7) 最终融合的相似度为 S F= ∑n i=1 w1iw2iS i (8) 1.6 训练使用的损失函数 神经网络训练一般使用 BP 算法，而损失函数 最直观的作用就是通过计算其反传梯度来实现对 模型参数的更新，使用不同的损失函数往往可以 使模型更加侧重于学习到数据某一方面的特性， 并在之后能够更好地保证提取到的特征的独有特 性，因此损失函数对于网络优化有导向性的作用。 神经网络一般使用交叉熵损失函数来训练， 形式为 LS = − 1 N ∑N i=1 log e WT yi xi+byi ∑c j=1 e WT j xi+bj (9) WT j xi +bj yi WT yi xi +byi 式中： 代表全连接层输出； 表示对应输 入样本的真实类别标签，在损失函数下降过程中 实质是提高 所占的比重，使得该类的样 本更多地落入到该类的决策边界之内。 但是对于人脸识别来说，交叉熵损失函数无 法保证提取的特征的类间距离增大，主要考虑样 本是否能正确分类，缺乏类内和类间距离的约 束。为解决人脸识别中损失函数的问题一般从两 个方面入手，一方面是结合度量学习的方法[11-14] ， 另一方面在此 Softmax 交叉熵损失函数的基础上 进行了改进。CenterLoss[12] 在交叉熵损失函数后 面添加额外损失函数，加强对类内距离的约束， 使得同个类直接的样本的类内特征距离变得紧 凑。CenterLoss 使得类内变得紧凑，但是对类间 没有足够约束。于是直接对交叉熵损失函数进行 改进[15-18] ，先对 W 和 x 进行归一化操作，将其转换 为余弦距离表示为 L = − 1 N ∑N i=1 log e cos θyi ∑c j=1 e cos θj (10) 然后引入间隔约束，这里使用文献 [17] 提出 的 AM-Softmax 方法： L = − 1 N ∑N i=1 log e s(cos θyi −m) e s(cos θyi +m) + ∑c j=1, j,yi e s cos θj (11) 对于所有特征，各自送入 Softmax 分类器，使 ·282· 智 能 系 统 学 报 第 16 卷
第2期 方涛，等：神经网络多层特征信息融合的人脸识别方法 ·283· 用式(11)损失函数： 表1在LFW上的实验结果 F)F) Table 1 Experimental results on LFW (12) 方法 正确率 在此基础上，增加融合部分的损失，损失函数 ResNet+AM-Softmax 0.9821 计算流程如下：1)图片预处理后输入神经网络； ResNet+Normalization+Centerloss 0.9814 2)提取多层特征后进行特征融合；3)融合后的特 Lightcnn+AM-Softmax 0.9581 征送入Softmax分类器计算loss(SF)；4)每层提取 MLFF+AM-Softmax 0.9910 的特征送入Softmax分类器计算loss(F);5)每层 提取的特征送入Softmax分类器后的结果进行决 表2在CNBC上的实验结果 策融合，计算loss(DF)。 Table 2 Experimental results on CNBC 对于特征融合部分，将融合后的特征送入 方法 正确率 Softmax分类器，使用上述损失函数，用loss(SF) ResNet+AM-Softmax 0.9902 表示；对于决策融合部分，直接应用上述损失函 数，用1 oss(DF)表示。将所有的损失函数相加，作 ResNet+Normalization+Centerloss 0.9884 为最终的损失函数，最终的形式为 Lightcnn+AM-Softmax 0.9922 loss mean(loss(F)+loss(SF)+loss(DF)) (13) MLFF+AM-Softmax 0.9981 2实验结果与分析 CASIA-FaceV5数据集包含了来自500个人的 2500张亚洲人脸图片，实验结果如表3所示。 为验证本文提出方法的有效性，在LFW CASIA-FaceV5、CNBC等人脸数据集上进行人脸 表3在CASIA-FaceV5上的实验结果 识别实验。实验主要分为Close-set和Open-set两 Table 3 Experimental results on CASIA-FaceV5 个部分，Close-set指的是所有的测试集类别都在 方法 正确率 训练集中出现过，所以每次的预测直接得出测试 ResNet+AM-Softmax 0.9964 图片的ID;Open-set指的是训练集中没有出现过 ResNet+Normalization+Centerloss 0.9535 测试集的类别s9。 Lightcnn+AM-Softmax 0.9972 实验环境使用Tensorflow框架，Tensorflow是 MLFF+AM-Softmax 0.9994 一个采用数据流图形式，用于数值计算的开源软 件库，支持GPU加速，自动求微分的能力等优点， 由于一般的Softmax难以训练且效果较差， 使得研究人员能够更便捷地研究与应用神经 所以使用Centerloss时进行归一化操作，从表1~3 网络。 可知，与ResNet相比，同样使用AM-Softmax,改 2.1 Closet-set实验 进后的正确率有所提升，同时与其他的方法相 LFW20数据集是由13000多张全世界知名人 比，本文方法的效果也有所提升。 士在自然场景下不同朝向、表情和光照环境人脸 子空间数量对结果会有一定的影响，表4为 图片组成，共有5000多人。每张人脸图片都有其 不同子空间数量下的实验结果。 唯一的姓名D和序号加以区分。实验使用所有 表4不同子空间下的实验结果 图片，进行数据增强扩充图片数量后，随机划分 Table 4 Experimental results in different subspaces 训练集与测试集，训练集与测试比例为3：1，训练 正确率 前进行归一化预处理，取特征融合子空间数量为 子空间数 =4。实验结果如表1所示，其中，MLFF指的是 LFW CNBC CASIA-FaceV5 本文改进方法，ResNet为图2所示结构，Normaliz- 2 0.9847 0.9843 0.9932 ation指的是1.6节介绍的归一化操作。 4 0.9910 0.9981 0.9994 之后以同样的条件在以下数据集上进行了实 8 0.9879 0.9859 0.9932 验，CNBC数据集包括200多个不同种族的 16 0.9862 0.9896 0.9936 200多个人的多幅图像，其中收集了每个人相隔 32 0.9889 0.9908 0.9872 几周后发型或胡子变化的图片，实验结果如表2 64 0.9855 0.9922 0.9864 所示
用式（11）损失函数： loss(F) = ∑n i=1 L(Fi) (12) 在此基础上，增加融合部分的损失，损失函数 计算流程如下：1) 图片预处理后输入神经网络； 2) 提取多层特征后进行特征融合；3) 融合后的特 征送入 Softmax 分类器计算 loss(SF)；4) 每层提取 的特征送入 Softmax 分类器计算 loss(F)；5) 每层 提取的特征送入 Softmax 分类器后的结果进行决 策融合，计算 loss(DF)。 对于特征融合部分，将融合后的特征送入 Softmax 分类器，使用上述损失函数，用 loss(SF) 表示；对于决策融合部分，直接应用上述损失函 数，用 loss(DF)表示。将所有的损失函数相加，作 为最终的损失函数，最终的形式为 loss = mean(loss(F)+loss(SF)+loss(DF)) (13) 2 实验结果与分析 为验证本文提出方法的有效性，在 LFW、 CASIA-FaceV5、CNBC 等人脸数据集上进行人脸 识别实验。实验主要分为 Close-set 和 Open-set 两 个部分，Close-set 指的是所有的测试集类别都在 训练集中出现过，所以每次的预测直接得出测试 图片的 ID；Open-set 指的是训练集中没有出现过 测试集的类别[15, 19]。 实验环境使用 Tensorflow 框架，Tensorflow 是 一个采用数据流图形式，用于数值计算的开源软 件库，支持 GPU 加速，自动求微分的能力等优点， 使得研究人员能够更便捷地研究与应用神经 网络。 2.1 Closet-set 实验 LFW[20] 数据集是由 13 000 多张全世界知名人 士在自然场景下不同朝向、表情和光照环境人脸 图片组成，共有 5 000 多人。每张人脸图片都有其 唯一的姓名 ID 和序号加以区分。实验使用所有 图片，进行数据增强扩充图片数量后，随机划分 训练集与测试集，训练集与测试比例为 3∶1，训练 前进行归一化预处理，取特征融合子空间数量为 k=4。实验结果如表 1 所示，其中，MLFF 指的是 本文改进方法，ResNet 为图 2 所示结构，Normalization 指的是 1.6 节介绍的归一化操作。 之后以同样的条件在以下数据集上进行了实 验 ， CNBC 数据集包 括 2 0 0 多个不同种族 的 200 多个人的多幅图像，其中收集了每个人相隔 几周后发型或胡子变化的图片，实验结果如表 2 所示。 表 1 在 LFW 上的实验结果 Table 1 Experimental results on LFW 方法 正确率 ResNet+AM-Softmax 0.982 1 ResNet+Normalization+Centerloss 0.981 4 Lightcnn+AM-Softmax 0.958 1 MLFF+AM-Softmax 0.991 0 表 2 在 CNBC 上的实验结果 Table 2 Experimental results on CNBC 方法 正确率 ResNet+AM-Softmax 0.990 2 ResNet+Normalization+Centerloss 0.988 4 Lightcnn+AM- Softmax 0.992 2 MLFF+AM-Softmax 0.998 1 CASIA-FaceV5 数据集包含了来自 500 个人的 2500 张亚洲人脸图片，实验结果如表 3 所示。 表 3 在 CASIA-FaceV5 上的实验结果 Table 3 Experimental results on CASIA-FaceV5 方法 正确率 ResNet+AM-Softmax 0.996 4 ResNet+Normalization+Centerloss 0.953 5 Lightcnn+AM-Softmax 0.997 2 MLFF+AM-Softmax 0.999 4 由于一般的 Softmax 难以训练且效果较差， 所以使用 Centerloss 时进行归一化操作，从表 1~3 可知，与 ResNet 相比，同样使用 AM-Softmax，改 进后的正确率有所提升，同时与其他的方法相 比，本文方法的效果也有所提升。 子空间数量对结果会有一定的影响，表 4 为 不同子空间数量下的实验结果。 表 4 不同子空间下的实验结果 Table 4 Experimental results in different subspaces 子空间数 正确率 LFW CNBC CASIA-FaceV5 2 0.984 7 0.984 3 0.993 2 4 0.991 0 0.998 1 0.999 4 8 0.987 9 0.985 9 0.993 2 16 0.986 2 0.989 6 0.993 6 32 0.988 9 0.990 8 0.987 2 64 0.985 5 0.992 2 0.986 4 第 2 期 方涛，等：神经网络多层特征信息融合的人脸识别方法 ·283·
·284· 智能系统学报 第16卷 从表4可以看出，随着子空间数量的增加，正 虑数据融合；同时在训练神经网络时，多个损失 确率先上升后下降，根据结果在实验过程中选择 函数直接相加，不一定能达到最优的训练效果， 仁4作为子空间数量。 可做进一步改进。下一步可以将融合相似度的方 2.2Open-set实验 法加入到分类器中，做进一步的研究。 实验时选择CASIA-WebFace作为训练集， 参考文献： LFW作为测试集，在LFW标准协议上的人脸识 别算法性能比较。 [1]周飞燕，金林鹏，董军.卷积神经网络研究综述计算 由于实验条件限制，在有限的条件下，图片裁 机学报，2017,40(6：1229-1251 剪人脸部分后，重组大小为56×48，在RGB图像 ZHOU Feiyan,JIN Linpeng,DONG Jun.Review of con- 中，每个像素([0,255])通过减去127.5然后除以 volutional neural network[J].Chinese journal of com- 128进行归一化。使用随机梯度下降法进行优 puters,2017,40(6):1229-1251 化，权重衰减设置为0.0005，学习率最初设置为 [2]WU X,HE R,SUN Z,et al.A light CNN for deep face 0.1,当训练迭代次数达到16000、28000、38000时， representation with noisy labels[J].IEEE transactions on information forensics and security,2018,13(11): 分别设为0.01、0.001、0.0001，迭代次数达到40000 2884-2896 已基本收敛，完成训练。实验结果如表5所示。 [3]CHEN Juncheng,PATEL V M,CHELLAPPA R.Uncon- 表5 CASIA-VebFace作为训练集，在LFW标准协议上 strained face verification using deep CNN features[C]// 的实验结果 Proceedings of 2016 IEEE Winter Conference on Applica- Table 5 CASIA-WebFace as a training set,experimental results on the LFW standard protocol tions of Computer Vision (WACV).Lake Placid,USA. 2016:1-9. 方法 正确率 [4]SUN Y,LIANG D,WANG X,et al.Deepid3:Face recog- ResNet+AM-Softmax 0.9383 nition with very deep neural networks[J/OL].(2015-02- ResNet+Normalization+Centerloss 0.9315 03).[2019-01-01].https://www.docin.com/p- Lightcnn+AM-Softmax 0.9333 1571349020.html [5]SCHROFF F,KALENICHENKO D,PHILBIN J,et al.Fa- MLFF+AM-Softmax,.融合特征 0.9542 ceNet:a unified embedding for face recognition and clus- MLFF+AM-Softmax,融合相似度 0.9603 tering[J].Computer vision and pattern recognition,2015: 从表5可知，融合后的特征具有更好的识别 815-823 [6]景晨凯，宋涛，庄雷，等.基于深度卷积神经网络的人脸 效果，同样使用AM-Softmax,在同样的条件下，融 识别技术综述[】.计算机应用与软件，2018,35(1)： 合特征的效果更好。同时利用训练得到的中心变 223-231 量计算融合相似度，能够有效利用多层特征之间 JING Chenkai,SONG Tao,ZHUANG Lei,et al.A survey 的互补性，进一步提高识别效果。 of face recognition technology based on deep convolution- 3结束语 al neural networks[J].Computer applications and software, 2018,35(1):223-231 本文提出的神经网络多层特征信息融合的人 [7]孙劲光，孟凡宇.基于深度神经网络的特征加权融合人 脸识别方法，在已有的网络结构基础上对结构进 脸识别方法U.计算机应用，2016,36(2)：437-443 行适当改进，使得其更适合提取多层特征，然后 SUN Jinguang,MENG Fanyu.Face recognition based on 对提取的多层特征在子空间进行加权特征融合并 deep neural network and weighted fusion of face 拼接，对每层特征分类结果进行加权决策融合， features[J].Journal of computer applications,2016,36(2): 437-443」 定义中心变量计算自适应权重，结合神经网络学 [8]TAIGMAN Y,YANG Ming,RANZATO MARC'AURE- 习中心变量，并利用学习到的中心变量来计算加 LIO,et al.DeepFace:closing the gap to human-level per- 权融合相似度，进一步提升效果。在LFW等数据 formance in face verification[C]/Proceedings of the 2014 集上进行的实验证明了改进后的方法比原来的效 IEEE Conference on Computer Vision and Pattern Recog- 果更好，Open-Set情况下，在LFW上提升2.2%。 nition.Columbus,USA,2014:1701-1708. 本文是在特征融合与决策融合层面进行研究 [9]SUN Yi,WANG Xiaogang,TANG Xiaoou.Deep learning 与实验，而3维人脸数据能对人脸识别的提高起 face representation from predicting 10,000 classes[C]// 到作用，可以从这一方面或者是其他多源数据考 Proceedings of 2014 IEEE Conference on Computer Vis-
从表 4 可以看出，随着子空间数量的增加，正 确率先上升后下降，根据结果在实验过程中选择 k=4 作为子空间数量。 2.2 Open-set 实验 实验时选择 CASIA-WebFace 作为训练集， LFW 作为测试集，在 LFW 标准协议上的人脸识 别算法性能比较。 由于实验条件限制，在有限的条件下，图片裁 剪人脸部分后，重组大小为 56×48，在 RGB 图像 中，每个像素 ([0, 255]) 通过减去 127.5 然后除以 128 进行归一化。使用随机梯度下降法进行优 化，权重衰减设置为 0.000 5，学习率最初设置为 0.1，当训练迭代次数达到 16000、28000、38000 时， 分别设为 0.01、0.001、0.0001，迭代次数达到 40000 已基本收敛，完成训练。实验结果如表 5 所示。 表 5 CASIA-WebFace 作为训练集, 在 LFW 标准协议上 的实验结果 Table 5 CASIA-WebFace as a training set, experimental results on the LFW standard protocol 方法 正确率 ResNet+AM-Softmax 0.938 3 ResNet+Normalization+Centerloss 0.931 5 Lightcnn+AM-Softmax 0.933 3 MLFF+AM-Softmax，融合特征 0.954 2 MLFF+AM-Softmax，融合相似度 0.960 3 从表 5 可知，融合后的特征具有更好的识别 效果，同样使用 AM-Softmax，在同样的条件下，融 合特征的效果更好。同时利用训练得到的中心变 量计算融合相似度，能够有效利用多层特征之间 的互补性，进一步提高识别效果。 3 结束语 本文提出的神经网络多层特征信息融合的人 脸识别方法，在已有的网络结构基础上对结构进 行适当改进，使得其更适合提取多层特征，然后 对提取的多层特征在子空间进行加权特征融合并 拼接，对每层特征分类结果进行加权决策融合， 定义中心变量计算自适应权重，结合神经网络学 习中心变量，并利用学习到的中心变量来计算加 权融合相似度，进一步提升效果。在 LFW 等数据 集上进行的实验证明了改进后的方法比原来的效 果更好，Open-Set 情况下，在 LFW 上提升 2.2%。 本文是在特征融合与决策融合层面进行研究 与实验，而 3 维人脸数据能对人脸识别的提高起 到作用，可以从这一方面或者是其他多源数据考 虑数据融合；同时在训练神经网络时，多个损失 函数直接相加，不一定能达到最优的训练效果， 可做进一步改进。下一步可以将融合相似度的方 法加入到分类器中，做进一步的研究。 参考文献： 周飞燕, 金林鹏, 董军. 卷积神经网络研究综述 [J]. 计算 机学报, 2017, 40(6): 1229–1251. ZHOU Feiyan, JIN Linpeng, DONG Jun. Review of convolutional neural network[J]. Chinese journal of computers, 2017, 40(6): 1229–1251. [1] WU X, HE R, SUN Z, et al. A light CNN for deep face representation with noisy labels[J]. IEEE transactions on information forensics and security, 2018, 13(11): 2884–2896. [2] CHEN Juncheng, PATEL V M, CHELLAPPA R. Unconstrained face verification using deep CNN features[C]// Proceedings of 2016 IEEE Winter Conference on Applications of Computer Vision (WACV). Lake Placid, USA, 2016: 1−9. [3] SUN Y, LIANG D, WANG X, et al. Deepid3: Face recognition with very deep neural networks[J/OL].(2015-02- 03).[2019-01-01]. https://www.docin.com/p- 1571349020.html. [4] SCHROFF F, KALENICHENKO D, PHILBIN J, et al. FaceNet: a unified embedding for face recognition and clustering[J]. Computer vision and pattern recognition, 2015: 815−823. [5] 景晨凯, 宋涛, 庄雷, 等. 基于深度卷积神经网络的人脸 识别技术综述 [J]. 计算机应用与软件, 2018, 35(1): 223–231. JING Chenkai, SONG Tao, ZHUANG Lei, et al. A survey of face recognition technology based on deep convolutional neural networks[J]. Computer applications and software, 2018, 35(1): 223–231. [6] 孙劲光, 孟凡宇. 基于深度神经网络的特征加权融合人 脸识别方法 [J]. 计算机应用, 2016, 36(2): 437–443. SUN Jinguang, MENG Fanyu. Face recognition based on deep neural network and weighted fusion of face features[J]. Journal of computer applications, 2016, 36(2): 437–443. [7] TAIGMAN Y, YANG Ming, RANZATO MARC'AURELIO, et al. DeepFace: closing the gap to human-level performance in face verification[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA, 2014: 1701−1708. [8] SUN Yi, WANG Xiaogang, TANG Xiaoou. Deep learning face representation from predicting 10, 000 classes[C]// Proceedings of 2014 IEEE Conference on Computer Vis- [9] ·284· 智 能 系 统 学 报 第 16 卷
第2期 方涛，等：神经网络多层特征信息融合的人脸识别方法 ·285· ion and Pattern Recognition.Columbus,USA,2014: ive margin softmax for face verification[J].IEEE signal 1891-1898 processing letters,2018,25(7):926-930 [10]ZEILER M D,FERGUS R.Visualizing and understand- [18]任克强，胡慧.角度空间三元组损失微调的人脸识 ing convolutional networks[C]//Proceedings of the 13th 别).液晶与显示，2019,341)少：110-117. European Conference on Computer Vision.Cham,Ger- REN Keqiang,HU Hui.Face recognition of triple loss many,2014:818-833. fine-tuning in angular space[J].Chinese journal of liquid [11]HOFFER E,AILON N.Deep metric learning using triplet crystals and displays,2019,34(1):110-117. network[C]//Proceedings of the 3rd International Work- [19]GUNTHER M.CRUZ S.RUDD E M.et al.Toward shop no Similarity-Based Pattern Recognition.Copenha- open-set face recognition[C]//Proceedings of the 2017 gen,Denmark,2015:84-92. IEEE Conference on Computer Vision and Pattern Recog- [12]TADMOR O,ROSENWEIN T,SHALEV-SHWARTZ S, nition Workshops.Honolulu,USA.2017:71-80 et al.Learning a metric embedding for face recognition [20]HUANG G B,MATTAR M,BERG T.et al.Labeled using the multibatch method[C]//Proceedings of the 30th faces in the wild:a database forstudying face recognition International Conference on Neural Information Pro- in unconstrained environments [C]//Workshop on Faces cessing Systems.Red Hook,United States,2016: 1396-1397. in'Real-Life'Images:Detection,Alignment,and Recogni- [13]吕璐，蔡晓东，曾燕，等.一种基于融合深度卷积神经网 tion.Marseille,Francem,2008. 络与度量学习的人脸识别方法[】.现代电子技术， 作者简介： 2018.41(9):58-61,67 方涛，硕士研究生，主要研究方向 LYU Lu,CAI Xiaodong,ZENG Yan,et al.A face recog- 为人工智能与模式识别。 nition method based on fusion of deep CNN and metric learning[J].Modern electronics technique,2018,41(9): 58-61,67 [14]WEN Yandong,ZHANG Kaipeng,LI Zhifeng,et al.A discriminative feature learning approach for deep face re- cognition[Cl//Proceedings of the 14th European Confer- 陈志国，副教授，主要研究方向为 ence on Computer Vision.Amsterdam,the Netherlands. 人工智能、计算机智能控制。参与 2016:499-515. 973军工子项目1项.承担企业研究 项目50多项，获得中国轻工业联合会 [15]LIU Weiyang,WEN Yandong,YU Zandong,et al. 科技进步奖二等奖1项、中国轻工业 SphereFace:deep hypersphere embedding for face recog- 联合会科技进步奖三等奖1项、无锡 nition[Cl//Proceedings of the 2017 IEEE Conference on 市科技进步奖三等奖1项，IEEE会 Computer Vision and Pattern Recognition.Honolulu, 员。发表学术论文20余篇。 USA.2017:212-220. [16]WANG Hao,WANG Yitong,ZHOU Zheng,et al.Cos- 傅毅，副教授，主要研究方向为智 能优化算法，生物信息。主持国家自 Face:Large margin cosine loss for deep face recognition[Cl/ 然科学基金青年基金项目1项、江苏 Proceedings of the 2018 IEEE/CVF Conference on Com- 省自然科学基金项目1项，参与国家 puter Vision and Pattern Recognition.Salt Lake City, 自然科学基金青年基金项目1项，江 USA,2018:5265-5274. 苏省环境监测科研基金项目1项。发 [17]WANG Feng,CHENG Jian,LIU Weiyang,et al.Addit- 表学术论文30多篇
ion and Pattern Recognition. Columbus, USA, 2014: 1891−1898. ZEILER M D, FERGUS R. Visualizing and understanding convolutional networks[C]//Proceedings of the 13th European Conference on Computer Vision. Cham, Germany, 2014: 818−833. [10] HOFFER E, AILON N. Deep metric learning using triplet network[C]//Proceedings of the 3rd International Workshop no Similarity-Based Pattern Recognition. Copenhagen, Denmark, 2015: 84−92. [11] TADMOR O, ROSENWEIN T, SHALEV-SHWARTZ S, et al. Learning a metric embedding for face recognition using the multibatch method[C]//Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook, United States, 2016: 1396−1397. [12] 吕璐, 蔡晓东, 曾燕, 等. 一种基于融合深度卷积神经网 络与度量学习的人脸识别方法 [J]. 现代电子技术, 2018, 41(9): 58–61, 67. LYU Lu, CAI Xiaodong, ZENG Yan, et al. A face recognition method based on fusion of deep CNN and metric learning[J]. Modern electronics technique, 2018, 41(9): 58–61, 67. [13] WEN Yandong, ZHANG Kaipeng, LI Zhifeng, et al. A discriminative feature learning approach for deep face recognition[C]//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, the Netherlands, 2016: 499−515. [14] LIU Weiyang, WEN Yandong, YU Zandong, et al. SphereFace: deep hypersphere embedding for face recognition[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA, 2017: 212−220. [15] WANG Hao, WANG Yitong, ZHOU Zheng, et al. CosFace: Large margin cosine loss for deep face recognition[C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA, 2018: 5265−5274. [16] [17] WANG Feng, CHENG Jian, LIU Weiyang, et al. Additive margin softmax for face verification[J]. IEEE signal processing letters, 2018, 25(7): 926–930. 任克强, 胡慧. 角度空间三元组损失微调的人脸识 别 [J]. 液晶与显示, 2019, 34(1): 110–117. REN Keqiang, HU Hui. Face recognition of triple loss fine-tuning in angular space[J]. Chinese journal of liquid crystals and displays, 2019, 34(1): 110–117. [18] GUNTHER M, CRUZ S, RUDD E M, et al. Toward open-set face recognition[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu, USA, 2017: 71−80. [19] HUANG G B, MATTAR M, BERG T, et al. Labeled faces in the wild: a database forstudying face recognition in unconstrained environments [C] // Workshop on Faces in 'Real-Life' Images: Detection, Alignment, and Recognition. Marseille, Francem, 2008. [20] 作者简介： 方涛，硕士研究生，主要研究方向 为人工智能与模式识别。 陈志国，副教授，主要研究方向为 人工智能、计算机智能控制。参与 973 军工子项目 1 项，承担企业研究 项目 50 多项，获得中国轻工业联合会 科技进步奖二等奖 1 项、中国轻工业 联合会科技进步奖三等奖 1 项、无锡 市科技进步奖三等奖 1 项，IEEE 会 员。发表学术论文 20 余篇。 傅毅，副教授，主要研究方向为智 能优化算法，生物信息。主持国家自 然科学基金青年基金项目 1 项、江苏 省自然科学基金项目 1 项，参与国家 自然科学基金青年基金项目 1 项，江 苏省环境监测科研基金项目 1 项。发 表学术论文 30 多篇。 第 2 期 方涛，等：神经网络多层特征信息融合的人脸识别方法 ·285·