·538· 智能系统学报 第16卷 作为完整构件最薄弱区域的焊缝常会产生裂纹、 入层、池化层、卷积层、分类层、全连接层和输出 气孔、夹渣、未熔合和未焊透等问题，难以实现质 层。卷积神经网络通过一系列卷积核实现图片关 量可靠的两两焊接；并随着钢件的使用寿命增多 键信息的提取：池化层位于卷积层之后，对卷积 和操作环境影响，钢板焊缝也会产生新的缺陷。 层提取的特征进行压缩，在简化网络的同时提取 忽视焊接产品质量造成的事故屡见不鲜，这就要 卷积层得到的主要特征；全连接层最后对卷积层 求必须加强对不锈钢焊缝进行严格的质量检测， 提取的特征进行组合分类。 并在发现缺陷时能及时报警，对产生缺陷的原因 AlexNet网络是KrizhevskyA等在2012年 进行分析，及时修复缺陷或停止生产，最大限度 提出并在当年的LSVRC比赛中获得冠军的卷积 地降低经济损失，减少危险事故。 神经网络。AlexNet卷积神经网络由5层卷积层、 传统的不锈钢焊缝缺陷检测方法如X射线检 3层池化层和3层全连接层组成，池化层位于卷 测等由于操作复杂不易推广和对人体具有辐射等原 积层之后，并使用线性整流(rectified linear unit,, 因，对缺陷的检测精度和效率都相对较低。目前， RLU)激活函数进行非线性运算，反向传播算法 大多研究采用超声技术进行焊缝缺陷检测。2014 实现网络参数的更新，在李飞飞等人构建的Im- 年西安石油大学的蔡晓龙对不锈钢焊缝X射线 ageNet图像分类数据库上得到训练。 图像进行均值滤波、sin增强、ostu分割和边缘检 1.2迁移学习网络模型 测等方法对气孔和裂纹分别达到了83.908%和 训练复杂的卷积神经网络需要大量的标注数 89.4737%的分类准确率：2017年Fan等1使用支 据和训练时间，并且大量的待训练参数，也容易 持向量机对提取的焊缝缺陷特征进行分类，获得 导致网络收敛效果差和过拟合的问题。在图像识 了97%的分类精确度；2018年Chen等对不锈 别任务中，由于大多数图像特征具有相关性，如 钢焊缝缺陷A扫信号进行特征提取，通过模式识 物体边缘、纹理等特征高度一致，迁移学习可以 别方法实现了对不锈钢焊缝4类缺陷95.8%的分 将卷积神经网络在像ImageNet等大型图片数据 类精度；2018年长安大学的刘梦溪等构建了一 库上训练得到的模型迁移，使用在相似性较高的 个由3层受限玻尔兹曼机叠加成的深度置信网 图像分类任务上，从而加快并优化模型的学习效 络(deep belife networks,DBN)对裂纹、气f孔、夹 率。在新的图像分类任务中进行迁移学习时， 渣、未焊透和未融合5类不锈钢焊缝缺陷达到了 需要对之前的卷积神经网络结构进行微调，从而 平均88%的分类准确率；2019年Wang等6通过 更好地服务于本次任务。使用迁移学习后的图像 提取不锈钢焊缝缺陷超声信号时频信息并使用 分类任务结果表明，要比重新训练的效果还要 PSO-SVM方法实现了4类缺陷95%的平均分类 好，泛化能力也更强山。 精度；2019年侯怀书等7将傅里叶变换应用于金 迁移学习网络和传统深度神经网络传递过程 属管道焊缝中的缺陷类型识别，成功地将未焊透、 略有不同。若I表示网络的原始输入图像，传统 气孔、未熔合和裂纹4种常见缺陷进行了分类。 深度神经网络通过多次的卷积和池化操作可对原 综上所述，目前国内外研究主要集中在夹渣、 始图像Ⅰ进行关键信息提取；而迁移学习则是直 气孔、未焊透3类缺陷上，且多采用“特征提 接利用预训练模型完成关键信息提取过程。 取+机器学习”的分析方法，造成提取的特征主观 性强、经验性强、缺陷分类边界模糊等问题。为 2融合迁移学习的AlexNet神经网络 了进一步优化不锈钢焊缝缺陷识别技术，本文提 出一种融合迁移学习的AlexNet神经网络不锈钢 2.1批量归一化层改进 焊缝缺陷分类方法，以期克服传统识别方法中存 Iof等回针对神经网络中数据分布不一致的 在的上述问题，以及“小”样本导致卷积神经网络 问题提出一种正则化的方法一批量归一化。批 陷入过拟合状态的问题，在保证低计算成本的同 量归一化的实质是一种预处理操作，也就是对神 时，能够有效提高5类焊缝缺陷识别性能。 经网络中上一层的特征输出进行归一化处理)， 然后再作为下一层的输入。这种预处理操作可以 1网络模型 很好地减少参数过拟合问题，提高网络运算效率： l.1 AlexNet网络模型 1 (1) 1989年Waibel!提出第一个卷积神经网络， m号 1 随着卷积神经网络的不断发展，在图像识别领域 1 0← (2) 显示出了优异的性能。卷积神经网络主要包括输 名作为完整构件最薄弱区域的焊缝常会产生裂纹、 气孔、夹渣、未熔合和未焊透等问题，难以实现质 量可靠的两两焊接；并随着钢件的使用寿命增多 和操作环境影响，钢板焊缝也会产生新的缺陷[1]。 忽视焊接产品质量造成的事故屡见不鲜，这就要 求必须加强对不锈钢焊缝进行严格的质量检测， 并在发现缺陷时能及时报警，对产生缺陷的原因 进行分析，及时修复缺陷或停止生产，最大限度 地降低经济损失，减少危险事故。 传统的不锈钢焊缝缺陷检测方法如 X 射线检 测等由于操作复杂不易推广和对人体具有辐射等原 因，对缺陷的检测精度和效率都相对较低。目前， 大多研究采用超声技术进行焊缝缺陷检测。2014 年西安石油大学的蔡晓龙[2] 对不锈钢焊缝 X 射线 图像进行均值滤波、sin 增强、ostu 分割和边缘检 测等方法对气孔和裂纹分别达到了 83.908% 和 89.473 7% 的分类准确率；2017 年 Fan 等 [3] 使用支 持向量机对提取的焊缝缺陷特征进行分类，获得 了 97% 的分类精确度；2018 年 Chen 等 [4] 对不锈 钢焊缝缺陷 A 扫信号进行特征提取，通过模式识 别方法实现了对不锈钢焊缝 4 类缺陷 95.8% 的分 类精度；2018 年长安大学的刘梦溪等[5] 构建了一 个由 3 层受限玻尔兹曼机叠加成的深度置信网 络 (deep belife networks, DBN) 对裂纹、气孔、夹 渣、未焊透和未融合 5 类不锈钢焊缝缺陷达到了 平均 88% 的分类准确率；2019 年 Wang 等 [6] 通过 提取不锈钢焊缝缺陷超声信号时频信息并使用 PSO-SVM 方法实现了 4 类缺陷 95% 的平均分类 精度；2019 年侯怀书等[7] 将傅里叶变换应用于金 属管道焊缝中的缺陷类型识别，成功地将未焊透、 气孔、未熔合和裂纹 4 种常见缺陷进行了分类。 综上所述, 目前国内外研究主要集中在夹渣、 气孔、未焊 透 3 类缺陷上，且多采用 “ 特征提 取+机器学习”的分析方法，造成提取的特征主观 性强、经验性强、缺陷分类边界模糊等问题。为 了进一步优化不锈钢焊缝缺陷识别技术，本文提 出一种融合迁移学习的 AlexNet 神经网络不锈钢 焊缝缺陷分类方法，以期克服传统识别方法中存 在的上述问题，以及“小”样本导致卷积神经网络 陷入过拟合状态的问题，在保证低计算成本的同 时，能够有效提高 5 类焊缝缺陷识别性能。 1 网络模型 1.1 AlexNet 网络模型 1989 年 Waibel[8] 提出第一个卷积神经网络， 随着卷积神经网络的不断发展，在图像识别领域 显示出了优异的性能。卷积神经网络主要包括输 入层、池化层、卷积层、分类层、全连接层和输出 层。卷积神经网络通过一系列卷积核实现图片关 键信息的提取；池化层位于卷积层之后，对卷积 层提取的特征进行压缩，在简化网络的同时提取 卷积层得到的主要特征；全连接层最后对卷积层 提取的特征进行组合分类。 AlexNet 网络是 KrizhevskyA 等 [9] 在 2012 年 提出并在当年的 ILSVRC 比赛中获得冠军的卷积 神经网络。AlexNet 卷积神经网络由 5 层卷积层、 3 层池化层和 3 层全连接层组成，池化层位于卷 积层之后，并使用线性整流 (rectified linear unit, ReLU) 激活函数进行非线性运算，反向传播算法 实现网络参数的更新，在李飞飞等人构建的 Im￾ageNet 图像分类数据库上得到训练。 1.2 迁移学习网络模型 训练复杂的卷积神经网络需要大量的标注数 据和训练时间，并且大量的待训练参数，也容易 导致网络收敛效果差和过拟合的问题。在图像识 别任务中，由于大多数图像特征具有相关性，如 物体边缘、纹理等特征高度一致，迁移学习可以 将卷积神经网络在像 ImageNet 等大型图片数据 库上训练得到的模型迁移，使用在相似性较高的 图像分类任务上，从而加快并优化模型的学习效 率 [10]。在新的图像分类任务中进行迁移学习时， 需要对之前的卷积神经网络结构进行微调，从而 更好地服务于本次任务。使用迁移学习后的图像 分类任务结果表明，要比重新训练的效果还要 好，泛化能力也更强[11]。 迁移学习网络和传统深度神经网络传递过程 略有不同。若 I 表示网络的原始输入图像，传统 深度神经网络通过多次的卷积和池化操作可对原 始图像 I 进行关键信息提取；而迁移学习则是直 接利用预训练模型完成关键信息提取过程。 2 融合迁移学习的 AlexNet 神经网络 2.1 批量归一化层改进 Ioffe 等 [12] 针对神经网络中数据分布不一致的 问题提出一种正则化的方法−批量归一化。批 量归一化的实质是一种预处理操作，也就是对神 经网络中上一层的特征输出进行归一化处理[13] ， 然后再作为下一层的输入。这种预处理操作可以 很好地减少参数过拟合问题，提高网络运算效率： µβ ← 1 m ∑m i=1 xi (1) σ 2 β ← 1 m ∑m i=1 (xi −µβ) 2 (2) ·538· 智 能 系 统 学 报 第 16 卷