第16卷第2期 智能系统学报 Vol.16 No.2 2021年3月 CAAI Transactions on Intelligent Systems Mar.2021 D0:10.11992/tis.201907053 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.TP.20200720.1357.002.html 神经网络多层特征信息融合的人脸识别方法 方涛，陈志国'，傅毅2 (1.江南大学物联网工程学院，江苏无锡214122：2.无锡环境科学与工程研究中心，江苏无锡214153) 摘要：由于人脸面部结构复杂，不同人脸之间结构特征相似，导致难以提取到十分适合用于分类的人脸特征， 虽然神经网络具有良好效果，并且有很多改进的损失函数能够帮助提取需要的特征，但是单一的深度特征没有 充分利用多层特征之间的互补性，针对这些问题提出了一种基于神经网络多层特征信息融合的人脸识别方 法。首先选择RsNt网络结构进行改进，提取神经网络中的多层特征，然后将多层特征映射到子空间，在各自 子空间内通过定义的中心变量进行自适应加权融合；为进一步提升效果，将所有特征送入Softmax分类器，同 时对分类结果通过相同方式进行自适应加权决策融合：训练网络学习适合的中心变量，应用中心变量计算加权 融合相似度。在同样的有限条件下，在使用AM-Softmax损失函数的基础上，融合特征在LFW(Labeled Faces in the Wi1d)上的识别效果了提升1.6%，使用融合相似度提升了2.2%。能够有效地提升人脸识别率，提取更合适 的人脸特征。 关键词：人脸识别；人脸特征；神经网络：信息融合：特征融合；决策融合；特征提取；相似度融合 中图分类号：TP391.41文献标志码：A文章编号：1673-4785(2021)02-0279-07 中文引用格式：方涛，陈志国，傅毅.神经网络多层特征信息融合的人脸识别方法.智能系统学报，2021,16(2)：279-285. 英文引用格式：FANG Tao,,CHEN Zhiguo,FUYi.Face recognition method based on neural network multi-.ayer feature informa- tion fusion[Jl.CAAI transactions on intelligent systems,2021,16(2):279-285 Face recognition method based on neural network multi-layer feature information fusion FANG Tao',CHEN Zhiguo',FU Yi (1.School of Internet of Things Engineering,Jiangnan University,Wuxi 214122,China;2.Wuxi Research Center of Environmental Science and Engineering,Wuxi214153,China) Abstract:Because the structure of the face is complex and the structural features of different faces are similar,it is diffi- cult to extract facial features that are suitable for classification.Neural networks generate good results,and the recent improvements in many loss functions can help extract the required features.However,a single depth feature does not make full use of the complementarity of multi-layer features.To solve these problems,we propose a face recognition method based on the fusion of neural-network multi-layer feature information.First,we select the ResNet network struc- ture to improve the outcome,then we extract the multi-layer features in the neural network.These features are then mapped onto the sub-spaces.Next,adaptive weighted fusion is performed of the defined central variables in the respect- ive sub-spaces.To realize further improvement,all the features are sent to the Softmax classifier,and the classification results are fused in the same way by adaptive weighted decision-making.The training network learns the appropriate central variable,which is applied to calculate the weighted fusion similarity.Under the same conditions,based on the AM-Softmax loss function,the recognition of the fusion feature on the Labeled Faces in the Wild database increased by 1.6%,and the fusion similarity increased by 2.2%.We conclude that the proposed method effectively improves the face recognition rate and extracts more suitable facial features. Keywords:face recognition;facial feature;neural network,information fusion;feature fusion;decision fusion;feature extraction;similarity fusion 收稿日期：2019-07-31.网络出版日期：2020-07-20 人脸识别一直以来都是计算机视觉方向与模 基金项目：国家自然科学基金项目(61502203)：江苏省自然科 学基金项目(BK20150122):江苏省高等学校自然科 式识别领域的研究热点，作为生物特征识别技术 学研究面上项目(17KB520039):江苏省“333高层 次人才培养工程”科研项目(BRA2018147). 一个重要的研究方向，人脸识别技术因其很高的 通信作者：陈志国.E-mail:427533@qq.com. 商业价值和极为广阔的应用前景而进行了大力的DOI: 10.11992/tis.201907053 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20200720.1357.002.html 神经网络多层特征信息融合的人脸识别方法 方涛1 ，陈志国1 ，傅毅1,2 （1. 江南大学 物联网工程学院，江苏 无锡 214122; 2. 无锡环境科学与工程研究中心，江苏 无锡 214153） 摘 要：由于人脸面部结构复杂，不同人脸之间结构特征相似，导致难以提取到十分适合用于分类的人脸特征， 虽然神经网络具有良好效果，并且有很多改进的损失函数能够帮助提取需要的特征，但是单一的深度特征没有 充分利用多层特征之间的互补性，针对这些问题提出了一种基于神经网络多层特征信息融合的人脸识别方 法。首先选择 ResNet 网络结构进行改进，提取神经网络中的多层特征，然后将多层特征映射到子空间，在各自 子空间内通过定义的中心变量进行自适应加权融合；为进一步提升效果，将所有特征送入 Softmax 分类器，同 时对分类结果通过相同方式进行自适应加权决策融合；训练网络学习适合的中心变量，应用中心变量计算加权 融合相似度。在同样的有限条件下，在使用 AM-Softmax 损失函数的基础上，融合特征在 LFW(Labeled Faces in the Wild) 上的识别效果了提升 1.6%，使用融合相似度提升了 2.2%。能够有效地提升人脸识别率，提取更合适 的人脸特征。 关键词：人脸识别；人脸特征；神经网络；信息融合；特征融合；决策融合；特征提取；相似度融合 中图分类号：TP391.41 文献标志码：A 文章编号：1673−4785(2021)02−0279−07 中文引用格式：方涛, 陈志国, 傅毅. 神经网络多层特征信息融合的人脸识别方法 [J]. 智能系统学报, 2021, 16(2): 279–285. 英文引用格式：FANG Tao, CHEN Zhiguo, FU Yi. Face recognition method based on neural network multi-layer feature informa￾tion fusion[J]. CAAI transactions on intelligent systems, 2021, 16(2): 279–285. Face recognition method based on neural network multi-layer feature information fusion FANG Tao1 ，CHEN Zhiguo1 ，FU Yi1,2 (1. School of Internet of Things Engineering, Jiangnan University, Wuxi 214122, China; 2. Wuxi Research Center of Environmental Science and Engineering, Wuxi 214153, China) Abstract: Because the structure of the face is complex and the structural features of different faces are similar, it is diffi￾cult to extract facial features that are suitable for classification. Neural networks generate good results, and the recent improvements in many loss functions can help extract the required features. However, a single depth feature does not make full use of the complementarity of multi-layer features. To solve these problems, we propose a face recognition method based on the fusion of neural-network multi-layer feature information. First, we select the ResNet network struc￾ture to improve the outcome, then we extract the multi-layer features in the neural network. These features are then mapped onto the sub-spaces. Next, adaptive weighted fusion is performed of the defined central variables in the respect￾ive sub-spaces. To realize further improvement, all the features are sent to the Softmax classifier, and the classification results are fused in the same way by adaptive weighted decision-making. The training network learns the appropriate central variable, which is applied to calculate the weighted fusion similarity. Under the same conditions, based on the AM-Softmax loss function, the recognition of the fusion feature on the Labeled Faces in the Wild database increased by 1.6%, and the fusion similarity increased by 2.2%. We conclude that the proposed method effectively improves the face recognition rate and extracts more suitable facial features. Keywords: face recognition; facial feature; neural network; information fusion; feature fusion; decision fusion; feature extraction; similarity fusion 人脸识别一直以来都是计算机视觉方向与模 式识别领域的研究热点，作为生物特征识别技术 一个重要的研究方向，人脸识别技术因其很高的 商业价值和极为广阔的应用前景而进行了大力的 收稿日期：2019−07−31. 网络出版日期：2020−07−20. 基金项目：国家自然科学基金项目（61502203）；江苏省自然科 学基金项目（BK20150122）；江苏省高等学校自然科 学研究面上项目（17KJB520039）；江苏省“333 高层 次人才培养工程”科研项目（BRA2018147）. 通信作者：陈志国. E-mail：427533@qq.com. 第 16 卷第 2 期 智 能 系 统 学 报 Vol.16 No.2 2021 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2021