第2期 方涛，等：神经网络多层特征信息融合的人脸识别方法 ·281· 网络结构选择ResNet来改进，图2为使用 合，实现去冗余，从而得到有利于分析处理的特 的ResNet网络结构，图3为Resblock结构，图4 征，在神经网络中直观的融合方式一般分为 是改进后的网络结构，在尽量不增大网络规模 add和concatenate两种，add方式是特征图相加， 的前提下，将Resblock之间的卷积层拆成不同大 使得描述图像的特征下的信息量增多了，但是描 小卷积核，将上层特征送入下层并通过不同大 述图像的维度本身并没有增加，只是每一维下的 小卷积核后进行融合，融合后的特征再次送入 信息量在增加，这显然是对最终的图像分类是有 下层，然后将所有拼接后的特征以及最后一层 益的。而concatenate是通道数的合并，也就是说 输出的特征作为要提取的多层特征，进行下一 描述图像本身的特征增加了，而每一特征下的信 步的操作。 息是没有增加。网络中的多层信息的直接拼接并 3×3,64,S2 不能更好地利用特征之间的互补性，所以考虑将 特征映射到多个子空间进行加权融合，再拼接 Resblock×l,64 起来。 3×3,64,S2 3×3,128.S2 上层 上层 特征 Resblock×l,64 特征 Resblock×2,128 保留Resblock和 一层卷积层 5×5,32,S2 7x7,32,S2 3×3.256,S2 3×3,64,S2 上下层特征图拼接 Resblock×4,256 Avg pool 3×3.256.S2 Resblock×2,128 t 5×5,64,S2 3×3,128,S2 7×7,64,S2 Resblockx1,512 Avg pool FC Avg pool Softmax Resblock×4,256 图2 ResNet网络结构 5×5,128.S2 7×7,256,S2 Fig.2 Structure of ResNet 3×3.256,S2 X 卷积层 Avg pool X F(X) 直接映射 Resblock×1.512 卷积层 Avg pool Softmax F(X)-X trelu 图4基于ResNet改进的网络结构 图3 Resblock结构 Fig.4 Improved network structure based on ResNet Fig.3 Structure of Resblock 结合神经网络训练方式，与一般的神经网络 1.3特征融合 方法类似，子空间数目作为超参数，对于各个子 特征融合是为了将不同类型的特征进行整 空间，定义各自对应的中心变量并随机初始化，网络结构选择 ResNet 来改进，图 2 为使用 的 ResNet 网络结构，图 3 为 Resblock 结构，图 4 是改进后的网络结构，在尽量不增大网络规模 的前提下，将 Resblock 之间的卷积层拆成不同大 小卷积核，将上层特征送入下层并通过不同大 小卷积核后进行融合，融合后的特征再次送入 下层，然后将所有拼接后的特征以及最后一层 输出的特征作为要提取的多层特征，进行下一 步的操作。 3×3, 64, S2 3×3, 128, S2 Resblock×1, 64 Resblock×2, 128 3×3, 256, S2 Resblock×4, 256 3×3, 256, S2 Avg pool Softmax Resblock×1, 512 FC 图 2 ResNet 网络结构 Fig. 2 Structure of ResNet 卷积层 卷积层 + X X 直接映射 F(X)+X F(X) relu 图 3 Resblock 结构 Fig. 3 Structure of Resblock 1.3 特征融合 特征融合是为了将不同类型的特征进行整 合，实现去冗余，从而得到有利于分析处理的特 征，在神经网络中直观的融合方式一般分 为 add 和 concatenate 两种，add 方式是特征图相加， 使得描述图像的特征下的信息量增多了，但是描 述图像的维度本身并没有增加，只是每一维下的 信息量在增加，这显然是对最终的图像分类是有 益的。而 concatenate 是通道数的合并，也就是说 描述图像本身的特征增加了，而每一特征下的信 息是没有增加。网络中的多层信息的直接拼接并 不能更好地利用特征之间的互补性，所以考虑将 特征映射到多个子空间进行加权融合，再拼接 起来。 Avg pool Softmax C C C Softmax Softmax Avg pool Avg pool Avg pool Softmax 上层 特征 上层 特征 保留Resblock和 一层卷积层 上下层特征图拼接 Resblock×1, 64 Resblock×2, 128 3×3, 64, S2 5×5, 32, S2 5×5, 64, S2 3×3, 128, S2 7×7, 64, S2 Resblock×4, 256 Resblock×1, 512 5×5, 128, S2 3×3, 256, S2 7×7, 256, S2 3×3, 64, S2 7×7, 32, S2 图 4 基于 ResNet 改进的网络结构 Fig. 4 Improved network structure based on ResNet 结合神经网络训练方式，与一般的神经网络 方法类似，子空间数目作为超参数，对于各个子 空间，定义各自对应的中心变量并随机初始化， 第 2 期 方涛，等：神经网络多层特征信息融合的人脸识别方法 ·281·