第3期 陈立潮，等：融合迁移学习的AlexNet神经网络不锈钢焊缝缺陷分类 ·539· 元←专 (3) 但RLU激活函数可能会存在某些神经元永远不 V后+E 会被使用，导致某些参数永远不会被更新的问 y←yx+B≡BN,B(x) (4) 题。LeakyReLU函数输出对小于0的值有一个很 在网络训练过程中，BN层以mini-batch为最 小的取值区间（图2），使静默神经元的出现得到 小单位不断更新，假设第1层有N个特征响应图， 大大缓解，对ReLU激活函数在负半轴神经元不 每个特征响应图的大小为MM。BN层的工作原 学习的问题是一个较好的解决方法。因此本文 理如式(1)~(4)所示。其中，m表示mini-batch 对ReLU激活函数进行改进，采用LeakyReLU激 的大小，是特征图里面的值，丫和B是2个可学习 活函数对静默神经元进行更新。 的变量，BN层通过计算mini-batch中数据的均值 与方差，标准化每一层的特征分布。考虑到AlexNet 原结构中并没有BN层，且批量归一化作为一种 新的数据处理操作在多种网络中显示出了良好效 果。因此，本文设计如图1所示的2种卷积提取 x=0.01x 结构(A-AlexNet和B-AlexNet)。A-AlexNet、B- AlexNet分别在激活函数前后添加批量归一化层， 来对AlexNet网络卷积层信息进行批量归一化 操作。 图2 LeakyReLU函数曲线 Fig.2 LeakyReLU function curve 2.3改进AlexNet迁移学习网络结构 Conv Conv 采用美国MathWorks公司预训练AlexNet卷 积神经网络模型作为本文网络的预训练模型。该 BN Relu Relu BN 模型是由ImageNet大型数据库的一个子集上训 Conv Conv 练得来，该子集通常用于LSVRC。通过对100万 张图片的预训练，使用该预训练模型的网络已经 能够对1000类的图片进行分类16。使用预训练 (a)A-AlexNet (b)B-AlexNet 模型可以减少网络训练参数，加快网络收敛获得 图1两种卷积提取结构 更高的精度。经过实验，本文采用迁移学习的方 Fig.1 Two convolution extraction structures 法对网络的前3层进行封装，保存前3层卷积层 2.2激活函数改进 在ImageNet.上更新的参数，将后2层卷积层进行 不锈钢焊缝缺陷分类是一个非线性问题，在 剥离并调整卷积核的个数，使图像输入时仅对后 神经网络中需要引入非线性激活函数实现整个网 2层卷积层参数进行更新，减小卷积神经网络对 络的非线性。常用激活函数有Sigmoid函数、 输入数据量限制的同时又能使网络提取到图像的 Tanh函数和ReLU函数l。其中ReLU激活函数 深层特征，以使网络能够更好地适应于不锈钢焊 增加了网络的非线性拟合能力，加快了网络的收 缝缺陷分类。如图3所示为改进的AlexNet迁移 敛速度，因此ReLU作为大多数网络的激活函数阿， 学习网络结构。 冻结层 ● 输入层卷积层L卷积层2_卷积层b卷积层4卷积层5全连接层Softmax 图3改进AlexNet迁移学习网络结构 Fig.3 Improve the AlexNet transfer learning network structurexˆi ← xi −µβ √ σ 2 β +ε (3) yi ← γbxi +β ≡ BNγ,β(xi) (4) 在网络训练过程中，BN 层以 mini-batch 为最 小单位不断更新，假设第 l 层有 N 个特征响应图， 每个特征响应图的大小为 M×M。BN 层的工作原 理如式 (1)～(4) 所示。其中，m 表示 mini-batch 的大小，是特征图里面的值，ϒ 和 β 是 2 个可学习 的变量，BN 层通过计算 mini-batch 中数据的均值 与方差，标准化每一层的特征分布。考虑到 AlexNet 原结构中并没有 BN 层，且批量归一化作为一种 新的数据处理操作在多种网络中显示出了良好效 果。因此，本文设计如图 1 所示的 2 种卷积提取 结构 (A-AlexNet 和 B-AlexNet)。A-AlexNet、B￾AlexNet 分别在激活函数前后添加批量归一化层， 来对 AlexNet 网络卷积层信息进行批量归一化 操作。 Conv Conv Conv Conv (a) A-AlexNet (b) B-AlexNet BN Relu Relu BN 图 1 两种卷积提取结构 Fig. 1 Two convolution extraction structures 2.2 激活函数改进 不锈钢焊缝缺陷分类是一个非线性问题，在 神经网络中需要引入非线性激活函数实现整个网 络的非线性。常用激活函数有 Sigmoid 函数、 Tanh 函数和 ReLU 函数[14]。其中 ReLU 激活函数 增加了网络的非线性拟合能力，加快了网络的收 敛速度，因此 ReLU 作为大多数网络的激活函数[15] ， 但 ReLU 激活函数可能会存在某些神经元永远不 会被使用，导致某些参数永远不会被更新的问 题。LeakyReLU 函数输出对小于 0 的值有一个很 小的取值区间 (图 2)，使静默神经元的出现得到 大大缓解，对 ReLU 激活函数在负半轴神经元不 学习的问题是一个较好的解决方法。因此本文 对 ReLU 激活函数进行改进，采用 LeakyReLU 激 活函数对静默神经元进行更新。 x y f(x)=x f(x)=0.01x 图 2 LeakyReLU 函数曲线 Fig. 2 LeakyReLU function curve 2.3 改进 AlexNet 迁移学习网络结构 采用美国 MathWorks 公司预训练 AlexNet 卷 积神经网络模型作为本文网络的预训练模型。该 模型是由 ImageNet 大型数据库的一个子集上训 练得来，该子集通常用于 ILSVRC。通过对 100 万 张图片的预训练，使用该预训练模型的网络已经 能够对 1 000 类的图片进行分类[16]。使用预训练 模型可以减少网络训练参数，加快网络收敛获得 更高的精度。经过实验，本文采用迁移学习的方 法对网络的前 3 层进行封装，保存前 3 层卷积层 在 ImageNet 上更新的参数，将后 2 层卷积层进行 剥离并调整卷积核的个数，使图像输入时仅对后 2 层卷积层参数进行更新，减小卷积神经网络对 输入数据量限制的同时又能使网络提取到图像的 深层特征，以使网络能够更好地适应于不锈钢焊 缝缺陷分类。如图 3 所示为改进的 AlexNet 迁移 学习网络结构。 输入层 冻结层 卷积层 1 卷积层 2 卷积层 3 卷积层 4 卷积层 5 全连接层 Softmax 图 3 改进 AlexNet 迁移学习网络结构 Fig. 3 Improve the AlexNet transfer learning network structure 第 3 期 陈立潮，等：融合迁移学习的 AlexNet 神经网络不锈钢焊缝缺陷分类 ·539·