·282· 智能系统学报 第16卷 映射矩阵也通过同样随机初始化，根据特征与中 相似度{Sim1,Sim2,…,Simn】,以及对应的两组权 心变量之间的距离来计算自适应权重，与神经网 重{w1,w12,…,w1n}和{w1,w12,…,w1n,计算方式为 络模型参数一样，最终所有的映射矩阵和中心变 FuF2 量都通过BP算法训练神经网络来得到。 Sim,=FF (6) 假设提取了n层特征，每层特征用 Wij e-illFr-DMIE (7) F,(i=1,2,…)表示，特征维度为d,定义映射矩阵 最终融合的相似度为 W=[W,W2,…,W]∈R,将特征映射到子空间， 5p-2mwo5i (8) 在子空间下进行加权融合，定义中心变量M=[M1, i=1 M2,…,M]∈Rw,其中d=k×f,k表示设置的子 1.6训练使用的损失函数 空间数量，f表示映射到子空间后的特征维度。 神经网络训练一般使用BP算法，而损失函数 计算自适应权重，然后将各个子空间特征拼接起 最直观的作用就是通过计算其反传梯度来实现对 来，特征融合过程如下： 模型参数的更新，使用不同的损失函数往往可以 SWij e-FWM (1) 使模型更加侧重于学习到数据某一方面的特性， 并在之后能够更好地保证提取到的特征的独有特 SF,->sw.(F.w) (2) 性，因此损失函数对于网络优化有导向性的作用。 神经网络一般使用交叉熵损失函数来训练， SF Concat(SF,SF2,....SF) (3) 式中：sW表示在第j个子空间中第i个特征对应 形式为 eWTrr+b 的权重；SF,表示在第j个子空间按权重相加融合 (9) 后的特征；SF表示将各个子空间融合特征拼接起 ∑e 来形成的最后的融合特征。 1.4决策融合 式中：Wx:+b代表全连接层输出；%表示对应输 为进一步提高效果，与特征融合类似，直接对 入样本的真实类别标签，在损失函数下降过程中 分类结果进行加权融合，同样通过训练获得中心 实质是提高Wx+b所占的比重，使得该类的样 变量最优值，中心变量不仅仅用于决策融合，为 本更多地落入到该类的决策边界之内。 了更好地利用中心变量，加强多层特征的联系， 但是对于人脸识别来说，交叉嫡损失函数无 在1.5小节介绍了利用训练过程中学习到中心变 法保证提取的特征的类间距离增大，主要考虑样 量来计算加权融合相似度。 本是否能正确分类，缺乏类内和类间距离的约 将特征F:(i=1,2,…,)(这里包括融合特 束。为解决人脸识别中损失函数的问题一般从两 征)送入Softmax分类器后，特征对应输出结果为 个方面入手，一方面是结合度量学习的方法， CF:(i=1,2,…,n,类别数为c,定义中心变量DMe 另一方面在此Softmax交叉嫡损失函数的基础上 Rx山，决策融合方式如下： 进行了改进。CenterLoss!在交叉嫡损失函数后 dw;=eF,-DM 面添加额外损失函数，加强对类内距离的约束， (4) 使得同个类直接的样本的类内特征距离变得紧 DF=∑dw,CE, (5) 凑。CenterLoss使得类内变得紧凑，但是对类间 没有足够约束。于是直接对交叉嫡损失函数进行 式中：dw:为第i个结果对应的权重；DF为融合后 改进阁，先对W和x进行归一化操作，将其转换 的输出决策结果。 为余弦距离表示为 1.5加权融合相似度 1 一般人脸识别、人脸验证中，提取特征后，通 L log (10) N 过欧式距离或者余弦距离来判断两张人脸的相似 度，目前常用的是使用余弦距离。 1 从1.4节我们得到了中心变量DM,从而能够 然后引入间隔约束，这里使用文献[17]提出 得到多层特征的决策融合权重，多层特征对应多 的AM-Softmax方法： 个相似度，权重大的特征对应的相似度也应该占 1 e(cos,-m) L二一 1og (11) 更大权重，计算方式如下。 e(cos+m）+】 首先计算两张图片对应的两组特征{F, =1 F12,…,Fn}和{F21,F2,…,F2n}对应的余弦距离即 对于所有特征，各自送入Softmax分类器，使映射矩阵也通过同样随机初始化，根据特征与中 心变量之间的距离来计算自适应权重，与神经网 络模型参数一样，最终所有的映射矩阵和中心变 量都通过 BP 算法训练神经网络来得到。 Fi(i = 1,2,···n) d W = [W1,W2,··· ,Wk] ∈ R d×f M = [M1, M2,··· , Mk] ∈ R 1×f d = k× f k f 假设提取 了 n 层特征，每层特征用 表示，特征维度为 ，定义映射矩阵 ，将特征映射到子空间， 在子空间下进行加权融合，定义中心变量 ，其中 ， 表示设置的子 空间数量， 表示映射到子空间后的特征维度。 计算自适应权重，然后将各个子空间特征拼接起 来，特征融合过程如下： swi, j = e − 1 d ||FiWj−Mj||2 2 (1) SFj = ∑n i=1 swi, j ( FiWj ) (2) SF = Concat(SF1,SF2,··· ,SFk) (3) swi, j SFj SF 式中： 表示在第 j 个子空间中第 i 个特征对应 的权重； 表示在第 j 个子空间按权重相加融合 后的特征； 表示将各个子空间融合特征拼接起 来形成的最后的融合特征。 1.4 决策融合 为进一步提高效果，与特征融合类似，直接对 分类结果进行加权融合，同样通过训练获得中心 变量最优值，中心变量不仅仅用于决策融合，为 了更好地利用中心变量，加强多层特征的联系， 在 1.5 小节介绍了利用训练过程中学习到中心变 量来计算加权融合相似度。 Fi(i = 1,2,··· ,n) CFi(i = 1,2,··· ,n) DM ∈ R 1×d f 将特征 ( 这里包括融合特 征) 送入 Softmax 分类器后，特征对应输出结果为 ，类别数为 c，定义中心变量 ，决策融合方式如下： dwi = e − 1 d f ||Fi−DM||2 2 (4) DF = ∑n i=1 dwiCFi (5) 式中： dwi 为第 i 个结果对应的权重； DF 为融合后 的输出决策结果。 1.5 加权融合相似度 一般人脸识别、人脸验证中，提取特征后，通 过欧式距离或者余弦距离来判断两张人脸的相似 度，目前常用的是使用余弦距离。 从 1.4 节我们得到了中心变量 DM，从而能够 得到多层特征的决策融合权重，多层特征对应多 个相似度，权重大的特征对应的相似度也应该占 更大权重，计算方式如下。 {F11, F12,··· ,F1n} {F21,F22,··· ,F2n} 首先计算两张图片对应的两组特征 和 对应的余弦距离即 {S im1,S im2,··· ,S imn} {w11,w12,··· ,w1n} {w11,w12,··· ,w1n} 相似度 ，以及对应的两组权 重 和 ，计算方式为 S imi = F1i · F2i |F1i ||F2i | (6) wi j = e − 1 d ||Fi j−DM||2 2 (7) 最终融合的相似度为 S F= ∑n i=1 w1iw2iS i (8) 1.6 训练使用的损失函数 神经网络训练一般使用 BP 算法，而损失函数 最直观的作用就是通过计算其反传梯度来实现对 模型参数的更新，使用不同的损失函数往往可以 使模型更加侧重于学习到数据某一方面的特性， 并在之后能够更好地保证提取到的特征的独有特 性，因此损失函数对于网络优化有导向性的作用。 神经网络一般使用交叉熵损失函数来训练， 形式为 LS = − 1 N ∑N i=1 log e WT yi xi+byi ∑c j=1 e WT j xi+bj (9) WT j xi +bj yi WT yi xi +byi 式中： 代表全连接层输出； 表示对应输 入样本的真实类别标签，在损失函数下降过程中 实质是提高 所占的比重，使得该类的样 本更多地落入到该类的决策边界之内。 但是对于人脸识别来说，交叉熵损失函数无 法保证提取的特征的类间距离增大，主要考虑样 本是否能正确分类，缺乏类内和类间距离的约 束。为解决人脸识别中损失函数的问题一般从两 个方面入手，一方面是结合度量学习的方法[11-14] ， 另一方面在此 Softmax 交叉熵损失函数的基础上 进行了改进。CenterLoss[12] 在交叉熵损失函数后 面添加额外损失函数，加强对类内距离的约束， 使得同个类直接的样本的类内特征距离变得紧 凑。CenterLoss 使得类内变得紧凑，但是对类间 没有足够约束。于是直接对交叉熵损失函数进行 改进[15-18] ，先对 W 和 x 进行归一化操作，将其转换 为余弦距离表示为 L = − 1 N ∑N i=1 log e cos θyi ∑c j=1 e cos θj (10) 然后引入间隔约束，这里使用文献 [17] 提出 的 AM-Softmax 方法： L = − 1 N ∑N i=1 log e s(cos θyi −m) e s(cos θyi +m) + ∑c j=1, j,yi e s cos θj (11) 对于所有特征，各自送入 Softmax 分类器，使 ·282· 智 能 系 统 学 报 第 16 卷