第15卷第3期 智能系统学报 Vol.15 No.3 2020年5月 CAAI Transactions on Intelligent Systems May 2020 D0L:10.11992tis.201904020 基于小样本学习的LCD产品缺陷自动检测方法 马岭，鲁越，蒋慧琴，刘玉敏 (1.郑州大学信息工程学院，河南郑州450001：2.郑州大学商学院.河南郑州450001) 摘要：针对高分辨率液晶显示器产品(liquid crystal display,.LCD)质量在线检测需求，基于深度学习提出一种 LCD缺陷自动检测方法。通过设计自适应浅层特征提取层，并引入稀疏卷积结构，多维度、多尺度的提取深层 特征，采用迁移学习和深度卷积生成对抗生网络扩充数据强化训练，构建基于小样本学习的LCD表面缺陷检 测模型。其特征在于，采用设计的自动分割与定位预处理软件将高分辨率图像划分成适于卷积神经网络学习 的图像子块，并根据模型对图像子块的判定类别和定位坐标，同时获取多类型缺陷检测结果。实验结果表明， 本文模型可以有效提高检出率，并诚少漏检率。 关键词：缺陷诊断：目标分类：深度学习：小样本学习；卷积神经网络；迁移学习：深度卷积生成对抗网络：继续 学习 中图分类号：TP391 文献标志码：A文章编号：1673-4785(2020)03-0560-08 中文引用格式：马岭，鲁越，蒋慧琴，等.基于小样本学习的LCD产品缺陷自动检测方法J.智能系统学报，2020,15(3)： 560-567. 英文引用格式：MA Ling,LU Yue,,JIANGHuiqin,ctal.An automatic small sample learning-based detection method for LCD product defects[Jl.CAAI transactions on intelligent systems,2020,15(3):560-567. An automatic small sample learning-based detection method for LCD product defects MA Ling',LU Yue',JIANG Huiqin',LIU Yumin2 (1.School of Information Engineering,Zhengzhou University,Zhengzhou 450001,China;2.Business School,Zhengzhou University, Zhengzhou 450001,China) Abstract:Aiming at the demands of high-resolution liquid crystal display (LCD)product quality online inspection,we propose an automatic deep learning-based detection method for LCD defects.An LCD surface defect detection model is constructed based on small sample learning by designing an adaptive shallow feature extraction layer and introducing a sparse convolution structure to extract the multi-dimensional and multi-scale deep features.Furthermore,the model is trained and enhanced using transfer learning and a deep convolutional generative adversarial network(DCGAN)for data expansion,and the LCD surface defect detection model is built based on small sample learning.The original high-resol- ution image is segmented into sub-images suitable for convolutional neural network(CNN)learning by designing auto- matic segmentation and location pretreatment software.The detection results of multi-type defects according to the cat- egory and location coordinates of the classification model's output are obtained.The experimental results show that the model can effectively improve the detection rate and reduce the missed detection rate. Keywords:defect diagnostics;target classification;deep learning:small sample learning;convolution neural network; transfer learning;DCGAN;continue learning 随着LCD生产过程制造工艺的提升，LCD逐 渐向大尺寸和高分辨率方向发展，致使人工产品 收稿日期：2019-04-09 缺陷检测方法难以满足产品质量和生产效率要 基金项目：国家自然科学基金一河南联合基金重点项目 求。因此，本文研究LCD的机器视觉缺陷检测 (U1604262). 通信作者：马岭.E-mail:ielma@zzu.edu.cn 方法
DOI: 10.11992/tis.201904020 基于小样本学习的 LCD 产品缺陷自动检测方法 马岭1 ，鲁越1 ，蒋慧琴1 ，刘玉敏2 （1. 郑州大学 信息工程学院，河南 郑州 450001; 2. 郑州大学 商学院，河南 郑州 450001） 摘 要：针对高分辨率液晶显示器产品 (liquid crystal display, LCD) 质量在线检测需求，基于深度学习提出一种 LCD 缺陷自动检测方法。通过设计自适应浅层特征提取层，并引入稀疏卷积结构，多维度、多尺度的提取深层 特征，采用迁移学习和深度卷积生成对抗生网络扩充数据强化训练，构建基于小样本学习的 LCD 表面缺陷检 测模型。其特征在于，采用设计的自动分割与定位预处理软件将高分辨率图像划分成适于卷积神经网络学习 的图像子块，并根据模型对图像子块的判定类别和定位坐标，同时获取多类型缺陷检测结果。实验结果表明， 本文模型可以有效提高检出率，并减少漏检率。 关键词：缺陷诊断；目标分类；深度学习；小样本学习；卷积神经网络；迁移学习；深度卷积生成对抗网络；继续 学习 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2020)03−0560−08 中文引用格式：马岭, 鲁越, 蒋慧琴, 等. 基于小样本学习的 LCD 产品缺陷自动检测方法 [J]. 智能系统学报, 2020, 15(3): 560–567. 英文引用格式：MA Ling, LU Yue, JIANG Huiqin, et al. An automatic small sample learning-based detection method for LCD product defects[J]. CAAI transactions on intelligent systems, 2020, 15(3): 560–567. An automatic small sample learning-based detection method for LCD product defects MA Ling1 ，LU Yue1 ，JIANG Huiqin1 ，LIU Yumin2 (1. School of Information Engineering, Zhengzhou University, Zhengzhou 450001, China; 2. Business School, Zhengzhou University, Zhengzhou 450001, China) Abstract: Aiming at the demands of high-resolution liquid crystal display (LCD) product quality online inspection, we propose an automatic deep learning-based detection method for LCD defects. An LCD surface defect detection model is constructed based on small sample learning by designing an adaptive shallow feature extraction layer and introducing a sparse convolution structure to extract the multi-dimensional and multi-scale deep features. Furthermore, the model is trained and enhanced using transfer learning and a deep convolutional generative adversarial network (DCGAN) for data expansion, and the LCD surface defect detection model is built based on small sample learning. The original high-resolution image is segmented into sub-images suitable for convolutional neural network (CNN) learning by designing automatic segmentation and location pretreatment software. The detection results of multi-type defects according to the category and location coordinates of the classification model’s output are obtained. The experimental results show that the model can effectively improve the detection rate and reduce the missed detection rate. Keywords: defect diagnostics; target classification; deep learning; small sample learning; convolution neural network; transfer learning; DCGAN; continue learning 随着 LCD 生产过程制造工艺的提升，LCD 逐 渐向大尺寸和高分辨率方向发展，致使人工产品 缺陷检测方法难以满足产品质量和生产效率要 求。因此，本文研究 LCD 的机器视觉缺陷检测 方法[1]。 收稿日期：2019−04−09. 基金项目：国家自然科学基金 — 河南联合基金重点项目 （U1604262）. 通信作者：马岭. E-mail：ielma@zzu.edu.cn. 第 15 卷第 3 期 智 能 系 统 学 报 Vol.15 No.3 2020 年 5 月 CAAI Transactions on Intelligent Systems May 2020
第3期 马岭，等：基于小样本学习的LCD产品缺陷自动检测方法 ·561· 现有LCD的机器视觉缺陷检测方法主要采 难度。因此，本文利用卷积神经网络的特征自学 用传统的图像处理与分析算法。例如，Lu等基 习能力，研究LCD产品表面缺陷的在线高精度检 于支持向量数据描述设计的高速在线薄膜晶体 测方法。 管LCD缺陷检测系统，检测正确率可达95%，对 单幅LCD图像的检测时间为7.8s,但缺少缺陷分 类功能。Cen等采用低秩矩阵重构消除LCD图 像纹理背景的影响，提出了适合于低分辨率LCD 图像的缺陷检测方法。张腾达等提出的利用二 维DFT的分解和重构提高LCD表面缺陷检测精 (a)单点缺陷图像 (b)多点缺陷图像 度的算法，然而因消除背景纹理的分解重构过程 计算复杂度较高，无法满足高分辨率缺陷图像的 图1凹凸点缺陷 Fig.1 Dimple defects 实时在线检测。本文在前期研究中提出一种基于 自适应阈值法的LCD表面缺陷检测算法，通过 设计自适应阈值法提取候选缺陷，根据blob形 状分析进行缺陷分类，使检测性能达到技术指标 要求，并已应用到实际工业自动化生产线上，但 阈值等参数设置直接影响算法性能，因此有必要 研究新一代基于机器视觉的缺陷检测方法。 近年，深度学习9作为机器学习的代表型方 (a)单划痕缺陷图像 (b)多划痕缺陷图像 法，在目标检测与识别领域呈现出突出潜力。多 图2划痕缺陷 项国际重大评测表明，深度学习的目标检测与分 Fig.2 Scratch defects 类能力均已超过传统机器学习方法。其原因 自AlexNet!1于2012年问世，卷积神经网络 在于深度学习采用深层非线性网络结构、端到端 (CNN)模型向更深层的方向快速发展。从16层 的学习，可以提取输入数据的本质特征，从而获 的VGG16的广泛使用到22层GoogleNet!s1在大 取较好的目标检测与分类效果。 样本图像数据集ImageNet.上获得了更好的分类 鉴于此，为了满足高分辨率LCD产品质量在 效果，再到50层ResNet50I的进一步性能改善， 线高速检测需求，本文基于深度学习理论，设计 均证明了CNN在图像分类方面具有突出优势。 基于小样本学习的LCD表面缺陷检测模型。其 但是受大数据驱动的深度学习模型的表现能 特征在于：通过设计自适应浅层特征提取层，并 力随着样本数量的增加而增长。而在实际工业生 引入稀疏卷积结构，多维度、多尺度地提取深层 产线上，随着制造工艺的不断提高，LCD制造过 特征，使用DCGAN生成网络扩增数据集，再结合 程中产生的缺陷越来越少，从而难以获取大量缺 迁移学习进行强化训练提高模型泛化能力和检测 陷样本，因此开展基于小样本学习的LCD表面缺 精度。本文模型的有效性通过大量的仿真实验得 陷检测算法研究显得尤为重要。 到验证。 2LCD缺陷检测模型 1LCD表面缺陷图像分析 针对实际生产环境获取到的缺陷样本量较少 本文待检测LCD表面缺陷图像分别如图1 问题，本文构建一种适合小样本学习的轻量型卷 和图2所示，其分别表示凹凸(dimple)点缺陷样 积神经网络模型。算法的整体框架如图3所示， 本和划痕(scratch)缺陷样本图像示例。如图I所 包括分块预处理、模型设计、模型训练和模型测试。 示Dimple是一些随机分布在不同位置的小面积 2.1分块预处理 点坑，形状各异，极易与噪声混淆造成误检。图2 由于从实际工业生产线上获取的LCD图像尺 所示的Scratch缺陷是长短不一的细长型刮痕，因 寸为5000×7000的高分辩率图像，直接输入设计 刮痕时断时续，常会出现漏检或过检。特别是， 的CNN模型学习，对硬件设备要求过高。为此， 在实际生产线上不仅存在因光照不均而导致待检 本文首先对原图像进行分块预处理，将原图像按 目标与图像背景之间对比度过低问题，而且待检 定长分割为256×256大小的图像子块，并记录分 目标缺陷嵌入在背景纹理中，从而更增加了检测 割后图像子块的左上角位置，且按标签分类保存
现有 LCD 的机器视觉缺陷检测方法主要采 用传统的图像处理与分析算法。例如，Liu 等 [2] 基 于支持向量数据描述设计的高速在线薄膜晶体 管 LCD 缺陷检测系统，检测正确率可达 95%,对 单幅 LCD 图像的检测时间为 7.8 s，但缺少缺陷分 类功能。Cen 等 [3] 采用低秩矩阵重构消除 LCD 图 像纹理背景的影响，提出了适合于低分辨率 LCD 图像的缺陷检测方法。张腾达等[4] 提出的利用二 维 DFT 的分解和重构提高 LCD 表面缺陷检测精 度的算法，然而因消除背景纹理的分解重构过程 计算复杂度较高，无法满足高分辨率缺陷图像的 实时在线检测。本文在前期研究中提出一种基于 自适应阈值法的 LCD 表面缺陷检测算法[5] ，通过 设计自适应阈值法[6] 提取候选缺陷，根据 blob 形 状分析进行缺陷分类，使检测性能达到技术指标 要求，并已应用到实际工业自动化生产线上，但 阈值等参数设置直接影响算法性能，因此有必要 研究新一代基于机器视觉的缺陷检测方法。 近年，深度学习[7-9] 作为机器学习的代表型方 法，在目标检测与识别领域呈现出突出潜力。多 项国际重大评测表明，深度学习的目标检测与分 类能力均已超过传统机器学习方法[10-12]。其原因 在于深度学习采用深层非线性网络结构、端到端 的学习，可以提取输入数据的本质特征[13] ，从而获 取较好的目标检测与分类效果。 鉴于此，为了满足高分辨率 LCD 产品质量在 线高速检测需求，本文基于深度学习理论，设计 基于小样本学习的 LCD 表面缺陷检测模型。其 特征在于：通过设计自适应浅层特征提取层，并 引入稀疏卷积结构，多维度、多尺度地提取深层 特征，使用 DCGAN 生成网络扩增数据集，再结合 迁移学习进行强化训练提高模型泛化能力和检测 精度。本文模型的有效性通过大量的仿真实验得 到验证。 1 LCD 表面缺陷图像分析 本文待检测 LCD 表面缺陷图像分别如图 1 和图 2 所示，其分别表示凹凸 (dimple) 点缺陷样 本和划痕 (scratch) 缺陷样本图像示例。如图 1 所 示 Dimple 是一些随机分布在不同位置的小面积 点坑，形状各异，极易与噪声混淆造成误检。图 2 所示的 Scratch 缺陷是长短不一的细长型刮痕，因 刮痕时断时续，常会出现漏检或过检。特别是， 在实际生产线上不仅存在因光照不均而导致待检 目标与图像背景之间对比度过低问题，而且待检 目标缺陷嵌入在背景纹理中，从而更增加了检测 难度。因此，本文利用卷积神经网络的特征自学 习能力，研究 LCD 产品表面缺陷的在线高精度检 测方法。 (a) 单点缺陷图像 (b) 多点缺陷图像 图 1 凹凸点缺陷 Fig. 1 Dimple defects (a) 单划痕缺陷图像 (b) 多划痕缺陷图像 图 2 划痕缺陷 Fig. 2 Scratch defects 自 AlexNet[14] 于 2012 年问世，卷积神经网络 (CNN) 模型向更深层的方向快速发展。从 16 层 的 VGG16 的广泛使用到 22 层 GoogleNet[15] 在大 样本图像数据集 ImageNet 上获得了更好的分类 效果，再到 50 层 ResNet50[16] 的进一步性能改善， 均证明了 CNN 在图像分类方面具有突出优势。 但是受大数据驱动的深度学习模型的表现能 力随着样本数量的增加而增长。而在实际工业生 产线上，随着制造工艺的不断提高，LCD 制造过 程中产生的缺陷越来越少，从而难以获取大量缺 陷样本，因此开展基于小样本学习的 LCD 表面缺 陷检测算法研究显得尤为重要。 2 LCD 缺陷检测模型 针对实际生产环境获取到的缺陷样本量较少 问题，本文构建一种适合小样本学习的轻量型卷 积神经网络模型。算法的整体框架如图 3 所示， 包括分块预处理、模型设计、模型训练和模型测试。 2.1 分块预处理 5 000×7 000 由于从实际工业生产线上获取的 LCD 图像尺 寸为 的高分辩率图像，直接输入设计 的 CNN 模型学习，对硬件设备要求过高。为此， 本文首先对原图像进行分块预处理，将原图像按 定长分割为 256×256 大小的图像子块，并记录分 割后图像子块的左上角位置，且按标签分类保存。 第 3 期 马岭，等：基于小样本学习的 LCD 产品缺陷自动检测方法 ·561·
·562· 智能系统学报 第15卷 分块预处理 模型设计 模型训练 模型测试 原始数据 训练分类器 数据增强 微调 第3次训练CNN Window256×256 DCGAN DCGAN生成数据 第2次调练CNN (,) (2 。:预训练 预训练模型 迁移学习 第1次训练CNN :训练 今：测试 图3本文缺陷检测算法框图 Fig.3 Overview of the proposed algorithm for defect detection 2.2模型设计 C2、C3、4个池化层(PP)、分别用InceptionV1.1、 针对LCD缺陷图像特点，本文设计如图4所 InceptionV1.2表示两个稀疏卷积结构以及Soft- 示的卷积神经网络模型。其包括3个卷积层(C、 max层。 224×224×3 112×112×64 56×56×64 Dropout 56×56×12828×28×0828×256 1st☐ 14×14×25614×14×5127×7×5127×7×1024 2nd →0 Image →1 input P P 1023th →2 InceptionV1.1 InceptionV1.2 GAP 1024th 浅层特征提取物 深层特征提取物 分类层 图4设计的网络结构 Fig.4 Designed network architecture 卷积层被用于提取图像中的缺陷特征，紧跟 输入层 在卷积层之后的池化层被用于特征降维。通过池 化层，不仅可以减少卷积层输出节点个数，而且 可以去粗存精优化卷积层提取的缺陷特征。本文 1×1 1×1 3×3 第1卷积层的输入是分块预处理后获取的图像子 卷积 卷积 最大池化 块。其卷积与池化后的输出结果被送入后续卷积 1×1 卷积 层中，卷积核和池化方法的选取是提取缺陷特征 3×3 5×5 1×1 的关键性因素。为了同时获取较大的缺陷特征和 卷积 卷积 卷积 局部细微特征，本文第1~第3卷积层分别选取 7×7、5×5、3×3的卷积核被用于提取缺陷的多尺 度浅层特征。由于连续增加CNN网络的卷积层 输出层 数易于出现梯度消失现象，本文采取的对策是在 3组卷积和池化操作后，引入如图5所示的稀疏 图5稀疏卷积结构 卷积结构用于提取缺陷深层特征。稀疏卷积结构 Fig.5 Sparse convolution structure 基于稀疏矩阵分解原理门，可以将提取的浅层特 在设计模型的最后一层利用Softmax分类器 征进一步进行多维度分解，然后分别采用1×1卷 输出分类结果。 积、最大池化降维，3×3,5×5卷积的多组特征提取 本文模型使用交叉熵损失函数计算网络偏 与降维方法，以获得多尺度、多维度深层特征。 差，综合利用多次1×1卷积减少参数量和池化操
分块预处理 数据增强 DCGAN DCGAN 生成数据 预训练模型 模型设计 原始数据 微调 迁移学习 模型训练 训练分类器 第3次训练 CNN 第2次训练 CNN 第1次训练 CNN 模型测试 Window 256×256 (x1 , y 1 ) (x 2 , y 2 ) (x 3 , y 3 ) :预训练 :训练 :测试 图 3 本文缺陷检测算法框图 Fig. 3 Overview of the proposed algorithm for defect detection 2.2 模型设计 针对 LCD 缺陷图像特点，本文设计如图 4 所 示的卷积神经网络模型。其包括 3 个卷积层 (C1、 C2、C3 )、4 个池化层 (P1~P4 )、分别用 InceptionV1.1、 InceptionV1.2 表示两个稀疏卷积结构以及 Softmax 层。 224×224×3 112×112×64 56×56×64 56×56×12828×28×128 28×28×256 14×14×25614×14×5127×7×5127×7×1 024 Image input C1 C2 C3 P1 P2 P3 分类层 Softmax Dropout 1st 2nd 1 023th GAP 1 024th 0 1 2 InceptionV1.1 InceptionV1.2 浅层特征提取物 深层特征提取物 P4 图 4 设计的网络结构 Fig. 4 Designed network architecture 7×7 5×5 3×3 卷积层被用于提取图像中的缺陷特征，紧跟 在卷积层之后的池化层被用于特征降维。通过池 化层，不仅可以减少卷积层输出节点个数，而且 可以去粗存精优化卷积层提取的缺陷特征。本文 第 1 卷积层的输入是分块预处理后获取的图像子 块。其卷积与池化后的输出结果被送入后续卷积 层中，卷积核和池化方法的选取是提取缺陷特征 的关键性因素。为了同时获取较大的缺陷特征和 局部细微特征，本文第 1~第 3 卷积层分别选取 、 、 的卷积核被用于提取缺陷的多尺 度浅层特征。由于连续增加 CNN 网络的卷积层 数易于出现梯度消失现象，本文采取的对策是在 3 组卷积和池化操作后，引入如图 5 所示的稀疏 卷积结构用于提取缺陷深层特征。稀疏卷积结构 基于稀疏矩阵分解原理[17] ，可以将提取的浅层特 征进一步进行多维度分解，然后分别采用 1×1 卷 积、最大池化降维，3×3，5×5 卷积的多组特征提取 与降维方法，以获得多尺度、多维度深层特征。 输出层 输入层 1×1 卷积 3×3 最大池化 1×1 卷积 1×1 卷积 1×1 卷积 5×5 卷积 3×3 卷积 图 5 稀疏卷积结构 Fig. 5 Sparse convolution structure 在设计模型的最后一层利用 Softmax 分类器 输出分类结果。 1×1 本文模型使用交叉熵损失函数计算网络偏 差，综合利用多次 卷积减少参数量和池化操 ·562· 智 能 系 统 学 报 第 15 卷
第3期 马岭，等：基于小样本学习的LCD产品缺陷自动检测方法 ·563· 作，进一步进行特征融合，并引入冲量单元加速 式(3)~（⑤）表示反向传播的权重参数更新计 网络收敛，从而可以有效降低模型计算复杂度， 算方法。W沿负梯度方向下降，基于选定的学习 有利于达成在线实时高速检测的研究目标。 速率α和冲量单元8，利用式(4)计算更新速度 2.3模型训练 v,然后使用式（⑤）更新权重。 CNN模型训练过程包括由式(1)所示的网络 W←W,-aVwL(W;x,yo） (3) 前向传播和基于式(2)定义的损失函数进行反向传 播两部分。前向传播使用激活函数获取特征向量， v←Ev-aVw,L(W:xro,yo） (4) 而反向传播通过逐渐更新优化卷积神经网络中的 W←W+v (5) 权重参数取值使CNN模型的损失函数趋于最小值。 本文模型的训练参数学习速率α和冲量单元 c=-Ec%+) (1) ε的选择通过大量的仿真实验确定。首先设置冲 量学习速率α和冲量单元￡的范围分别为(0,0.5] exp(wxo） 和(0,1)，然后选取多组α和ε值进行实验。 图6展示多组m取s值的实验结果，图6(a)、 (2) (b)、(c)和(d)分别表示学习速率a取0.001、0.01、 0.1、0.5固定值时，冲量单元8分别取值为0.1、 0.5、0.9的网络收敛速度示意图。 30 30 30 20 =0.1 20 =0.5 20 =0.9 10 10 0 01 01 6 - -20 2 6 -6 -4 -2 0 4 6 -6 -2 起始搜索点 起始搜索点 起始搜索点 (a)a=0.001随冲量单元逐渐增大时的网络收敛示意图 0 30 盗 20 -=0.1 20 =0.5 20 =0.9 10 0/ 0 一6 -4 -202 6 -6 -4 -202 46 6 -4 -20 4 6 起始搜索点 起始搜索点 起始搜索点 (b)=0.01随冲量单元逐渐增大时的网络收敛示意图 30 爵0 气 20 —8=0.1 20 —8=0.5 20 -=0.9 0 10 0 0 0 0 -6 -2 0 2 6 6 -4 -20 2 46 -6 -2 0 2 起始搜索点 起始搜索点 起始搜索点 (c)a=0.1随冲量单元逐渐增大时的网络收敛示意图 0 30 30 20 =0.1 20 =0.5 20 =0.9 10 10 10 0 -6 -2 0 2 6 6 -4 -2 0 2 6 -6 -2 0 2 4 6 起始搜索点 起始搜索点 起始搜索点 (da=0.5随冲量单元逐渐增大时的网络收敛示意图 图6学习速率和冲量单元的确定 Fig.6 Determination of learning rate and momentum unit 从图6所示图形可以观察到，当学习速率α加快了网络收敛速度；而当学习速率取较大值0.5 取0.001的较小值时，随着冲量单元ε值的递增， 时，随着冲量单元ε值的递增，可以减小震荡，使
作，进一步进行特征融合，并引入冲量单元加速 网络收敛，从而可以有效降低模型计算复杂度[18] ， 有利于达成在线实时高速检测的研究目标。 2.3 模型训练 CNN 模型训练过程包括由式 (1) 所示的网络 前向传播和基于式 (2) 定义的损失函数进行反向传 播两部分。前向传播使用激活函数获取特征向量， 而反向传播通过逐渐更新优化卷积神经网络中的 权重参数取值使 CNN 模型的损失函数趋于最小值。 C l j = f ( z l ) = f (∑ i∈Mj C l−1 j k l i j +b l j ) (1) Li = 1 m ∑m i=1 ∑n j=1 1 { y i = j } log exp( w T j x (i) ) ∑n l=1 exp( w T j x (j) ) + λ 2 ∑n j=1 W2 j (2) Wj α ε v 式 (3)～(5) 表示反向传播的权重参数更新计 算方法。 沿负梯度方向下降，基于选定的学习 速率 和冲量单元 ，利用式 (4) 计算更新速度 ，然后使用式 (5) 更新权重。 Wj ← Wj −α∇WjL ( W; x (i) , y (i) ) (3) v ← εv−α∇WjL ( W; x (i) , y (i) ) (4) Wj ← Wj +v (5) α ε α ε (0,0.5] (0,1) α ε 本文模型的训练参数学习速率 和冲量单元 的选择通过大量的仿真实验确定。首先设置冲 量学习速率 和冲量单元 的范围分别为 和 ，然后选取多组 和 值进行实验。 α ε α 0.001 0.01 0.1 0.5 ε 图 6 展示多组 取 值的实验结果，图 6(a)、 (b)、(c) 和 (d) 分别表示学习速率 取 、 、 、 固定值时，冲量单元 分别取值为 0.1、 0.5、0.9 的网络收敛速度示意图。 α 0.001 ε 从图 6 所示图形可以观察到，当学习速率 取 的较小值时，随着冲量单元 值的递增， 0.5 ε 加快了网络收敛速度；而当学习速率取较大值 时，随着冲量单元 值的递增，可以减小震荡，使 (d) α=0.5 随冲量单元逐渐增大时的网络收敛示意图 (a) α=0.001 随冲量单元逐渐增大时的网络收敛示意图 (b) α=0.01 随冲量单元逐渐增大时的网络收敛示意图 (c) α=0.1 随冲量单元逐渐增大时的网络收敛示意图 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.1 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.5 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.9 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ϵ=0.1 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ϵ=0.5 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ϵ=0.9 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.1 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.5 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.9 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.1 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.5 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.9 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 图 6 学习速率和冲量单元的确定 Fig. 6 Determination of learning rate and momentum unit 第 3 期 马岭，等：基于小样本学习的 LCD 产品缺陷自动检测方法 ·563·
·564· 智能系统学报 第15卷 网络收敛趋于稳定。因此，为了使设计网络模型 数据集。由图8可以看到，生成图像和原缺陷样 快速稳定地收敛，经过大量的仿真实验，本文 本相似度较高。将新生成数据输入经迁移学习训 的学习速率a和冲量单元8分别设定为0.001 练过的本文模型，进行二次学习，以获取更好的 和0.9。 训练效果。 本文模型的训练包括利用迁移学习进行初始 训练、DCGAN生成样本的二次训练和基于更新 样本集的继续学习3个关键环节。 2.3.1基于迁移学习的模型训练 鉴于缺陷样本量不足，会导致CNN模型出现 过拟合问题，以及前期我们研究的手机保护屏缺 (a)输入凹凸点缺陷样本 陷与本文研究的LCD表面缺陷极为相似，故采用 迁移学习方法解决该问题。 本文基于前期设计并用7632幅的手机保护 屏图像训练好的手机保护屏缺陷检测模型，利 用迁移学习对本文模型进行训练。如图7所示， 图中源数据为手机保护屏图像，目标数据为待 (b)输入划痕缺陷样本 检LCD图像。由图7可知，手机保护屏缺陷与 本文待检目标在特征空间上较为相似，因此将 手机保护屏缺陷检测模型作为预训练模型，通 过迁移网络权重参数而有效提升本文模型的泛 化能力。 (©)生成凹凸点缺陷样本 知识 源数据 系统学习 (d)生成划痕缺陷样本 目标数据 图8 DCGAN生成的样本图像 Fig.8 Generated images by DCGAN 图7迁移学习 2.3.3基于更新样本集的继续学习 Fig.7 Transfer learning 工业生产过程中随时会产生新的缺陷样本和 2.3.2基于DCGAN的生成样本训练 类型，因此，本文提出如图9所示的继续学习方 针对从实际生产环境中可采集的缺陷样本较 法，通过锁定浅层特征提取层，将不断更新的样 少问题，本文利用DCGANU19(deep convolutional 本数据直接输入深层特征提取层进一步强化训练 GAN)网络，根据已有的缺陷样本生成新的样本 模型，并更新分类器，以实现小样本下LCD缺陷 数据。 的高精度检测。 DCGAN是在生成式对抗网络(generative ad- versarial network,GANs)2o基础上，用CNN代替 分类 GAN中的多层感知机，并使用全局池化层代替全 连接层等改进后的生成模型，其生成器通过输入 源域 浅层特征提取网路 深特征提取网蜂 随机向量并利用反卷积生成图像，判别器利用 CNN的分类能力对真实图像和生成图像进行判 新数据训练深层特征提取网络 别和反馈，从而获得高质量样本数据。 目标域 将图8(a)、(b)所示的小批量LCD缺陷图像输 图9继续学习 入DCGAN网络模型，生成如图8(c)、(d)所示的 Fig.9 Continue learning
α ε 0.001 0.9 网络收敛趋于稳定。因此，为了使设计网络模型 快速稳定地收敛，经过大量的仿真实验，本文 的学习速率 和冲量单元 分别设定为 和 。 本文模型的训练包括利用迁移学习进行初始 训练、DCGAN 生成样本的二次训练和基于更新 样本集的继续学习 3 个关键环节。 2.3.1 基于迁移学习的模型训练 鉴于缺陷样本量不足，会导致 CNN 模型出现 过拟合问题，以及前期我们研究的手机保护屏缺 陷与本文研究的 LCD 表面缺陷极为相似，故采用 迁移学习方法解决该问题。 本文基于前期设计并用 7 632 幅的手机保护 屏图像训练好的手机保护屏缺陷检测模型，利 用迁移学习对本文模型进行训练。如图 7 所示， 图中源数据为手机保护屏图像，目标数据为待 检 LCD 图像。由图 7 可知，手机保护屏缺陷与 本文待检目标在特征空间上较为相似，因此将 手机保护屏缺陷检测模型作为预训练模型，通 过迁移网络权重参数而有效提升本文模型的泛 化能力。 知识 系统学习 源数据 目标数据 图 7 迁移学习 Fig. 7 Transfer learning 2.3.2 基于 DCGAN 的生成样本训练 针对从实际生产环境中可采集的缺陷样本较 少问题，本文利用 DCGAN[19] (deep convolutional GAN) 网络，根据已有的缺陷样本生成新的样本 数据。 DCGAN 是在生成式对抗网络 (generative adversarial network，GANs)[20] 基础上，用 CNN 代替 GAN 中的多层感知机，并使用全局池化层代替全 连接层等改进后的生成模型，其生成器通过输入 随机向量并利用反卷积生成图像，判别器利用 CNN 的分类能力对真实图像和生成图像进行判 别和反馈，从而获得高质量样本数据。 将图 8(a)、(b) 所示的小批量 LCD 缺陷图像输 入 DCGAN 网络模型，生成如图 8(c)、(d) 所示的 数据集。由图 8 可以看到，生成图像和原缺陷样 本相似度较高。将新生成数据输入经迁移学习训 练过的本文模型，进行二次学习，以获取更好的 训练效果。 (a) 输入凹凸点缺陷样本 (c) 生成凹凸点缺陷样本 (b) 输入划痕缺陷样本 (d) 生成划痕缺陷样本 图 8 DCGAN 生成的样本图像 Fig. 8 Generated images by DCGAN 2.3.3 基于更新样本集的继续学习 工业生产过程中随时会产生新的缺陷样本和 类型，因此，本文提出如图 9 所示的继续学习方 法，通过锁定浅层特征提取层，将不断更新的样 本数据直接输入深层特征提取层进一步强化训练 模型，并更新分类器，以实现小样本下 LCD 缺陷 的高精度检测。 Inception 目标域 新数据训练深层特征提取网络 源域 C1 C2 C3 浅层特征提取网络 深层特征提取网络Inception 分类 图 9 继续学习 Fig. 9 Continue learning ·564· 智 能 系 统 学 报 第 15 卷
第3期 马岭，等：基于小样本学习的LCD产品缺陷自动检测方法 ·565· 2.4测试 图像例和本文模型逐层提取并输出的特征图，图12 利用本文自主开发的预处理软件，首先对测 展示Scratch缺陷图像和其第1至第3卷积层提 试图像进行坐标定位和自动分割，获取图像子 取的图像特征。 块，并记录其序号和左上角坐标：进而通过将图 从图11和图12可以清楚地观察到，卷积层 像子块输入到2.3节训练好的CNN模型进行分 1可以提取到高亮区域所示的一些大的缺陷特征 类；最后，根据CNN模型输出类别和定位坐标计 和背景噪声，用卷积层2和卷积层3表示的第二 算，同时获取原高分辩率LCD图像的多种类缺陷 与第三层卷积运算结果可以提取到较多的缺陷细 检测结果。 微特征和随机噪声。因此，仅用浅层特征提取方 法难以区分并分离缺陷细微特征和噪声。 3实验分析 本文实验环境包括硬件和软件配置两部分。 硬件配置：CPU为Inter Xeon E5-2630v4、显卡 为NVIDIA Tesla K8024GBx4、内存为125.8GB 硬盘为4.1TB。 (a)输入 (b)卷积层1 (c)卷积层2 软件配置：Ubuntu14.04、CUDA8.0、 CUDN5.1、opencv3.1、python2.7。 3.1数据集 本文采用了132幅尺寸为5300×7000的实际 (d)卷积层3 (e)稀疏层1 (①稀疏层2 工业LCD缺陷图像。通过预处理后，得到18950 幅样本图像子块，将其中十分之一用作验证集， 图11凹凸点缺陷的特征图 十分之一用作测试集，其余样本用于训练。训练 Fig.11 Feature maps for Dimple defect 集中的三分之一为无缺陷样本，标识为0”；三分 之一为Dimple缺陷样本，标识为“1”；剩下三分之 一为Scratch缺陷样本，标识为2”。 3.2训练结果分析 训练参数分别设置如下：mini-batch size为1l5, (a)输入 (b)卷积层1 (c)卷积层2 冲量单元为0.9，学习速率为0.001，C1、P~P4步长 设为2，C2、C3的步长设定为1，学习轮次设定为180。 经过大约3h训练后的结果如图10所示，图 中曲线分别表示对应每个轮次训练集和验证集 (d卷积层3 (e)稀疏层1 (①稀疏层2 的Loss值。 图12划痕缺陷的特征图 2.0 100 Fig.12 Feature maps for Scratch defect Loss (traln)Accuracy (val)-Loss(val) 1.6 80 图11(e)、(①和图12(e)、()分别表示通过稀疏 60 卷积结构运算获取的图像特征，可以清楚地看 0.8 4 到，其主要包含缺陷特征。 0.4 20 由此可见，本文设计模型可以有效获取LCD 2040 60 80100120140160188 产品的表面缺陷特征。 轮次 3.4实验结果 图10每个轮次的准确度 本文用式(6)所示的平均检测正确率和式 Fig.10 Accuracy for each batch (⑦)所示的误检率对设计模型的检测结果进行定 由图10可知，本文模型在验证集上呈现出较 量评价，并用单幅图像的检测时间评估其在线实 高的准确度，且可快速趋于稳定。 时性。 3.3可视化分析 A=(No+N1+N2)/N (6) 设计模型提取的两类缺陷图像的特征分别如 F=(No-12+N12-o)/N (7) 图11和图12所示。图11展示Dimple缺陷输入 式中：N、N。、N、N2分别表示待检样本总数、需检
2.4 测试 利用本文自主开发的预处理软件，首先对测 试图像进行坐标定位和自动分割，获取图像子 块，并记录其序号和左上角坐标；进而通过将图 像子块输入到 2.3 节训练好的 CNN 模型进行分 类；最后，根据 CNN 模型输出类别和定位坐标计 算，同时获取原高分辩率 LCD 图像的多种类缺陷 检测结果。 3 实验分析 本文实验环境包括硬件和软件配置两部分。 硬件配置：CPU 为 Inter Xeon E5-2630v4、显卡 为 NVIDIA Tesla K80 24 GB x 4、内存为 125.8 GB、 硬盘为 4.1 TB。 软件配置： Ubuntu14.04 、 CUDA8.0 、 CUDNN5.1、opencv3.1、python2.7。 3.1 数据集 本文采用了 132 幅尺寸为 5 300×7 000 的实际 工业 LCD 缺陷图像。通过预处理后，得到 18 950 幅样本图像子块，将其中十分之一用作验证集， 十分之一用作测试集，其余样本用于训练。训练 集中的三分之一为无缺陷样本，标识为“0”；三分 之一为 Dimple 缺陷样本，标识为“1”；剩下三分之 一为 Scratch 缺陷样本，标识为“2”。 3.2 训练结果分析 15 0.9 0.001 2 1 180 训练参数分别设置如下：mini-batch size 为 ， 冲量单元为 ，学习速率为 ，C1、P1~P4 步长 设为 ，C2、C3 的步长设定为 ，学习轮次设定为 。 经过大约 3 h 训练后的结果如图 10 所示，图 中曲线分别表示对应每个轮次训练集和验证集 的 Loss 值。 2.0 1.6 1.2 0.8 0.4 100 80 60 40 20 0 0 20 40 60 80 100 120 140 160 180 Loss (traln) Accuracy (val) Loss (val) 轮次 验证及精准度(%) Loss 图 10 每个轮次的准确度 Fig. 10 Accuracy for each batch 由图 10 可知，本文模型在验证集上呈现出较 高的准确度，且可快速趋于稳定。 3.3 可视化分析 设计模型提取的两类缺陷图像的特征分别如 图 11 和图 12 所示。图 11 展示 Dimple 缺陷输入 图像例和本文模型逐层提取并输出的特征图，图 12 展示 Scratch 缺陷图像和其第 1 至第 3 卷积层提 取的图像特征。 从图 11 和图 12 可以清楚地观察到，卷积层 1 可以提取到高亮区域所示的一些大的缺陷特征 和背景噪声，用卷积层 2 和卷积层 3 表示的第二 与第三层卷积运算结果可以提取到较多的缺陷细 微特征和随机噪声。因此，仅用浅层特征提取方 法难以区分并分离缺陷细微特征和噪声。 (a) 输入 (b) 卷积层1 (d) 卷积层3 (e) 稀疏层1 (f) 稀疏层2 (c) 卷积层2 图 11 凹凸点缺陷的特征图 Fig. 11 Feature maps for Dimple defect (a) 输入 (b) 卷积层1 (d) 卷积层3 (e) 稀疏层1 (f) 稀疏层2 (c) 卷积层2 图 12 划痕缺陷的特征图 Fig. 12 Feature maps for Scratch defect 图 11(e)、(f) 和图 12(e)、(f) 分别表示通过稀疏 卷积结构运算获取的图像特征，可以清楚地看 到，其主要包含缺陷特征。 由此可见，本文设计模型可以有效获取 LCD 产品的表面缺陷特征。 3.4 实验结果 本文用式 (6) 所示的平均检测正确率和式 (7) 所示的误检率对设计模型的检测结果进行定 量评价，并用单幅图像的检测时间评估其在线实 时性。 A = (N0 +N1 +N2) /Nt (6) F = ( N0→1,2 +N1,2→0 ) /Nt (7) 式中： Nt、N0、N1、N2 分别表示待检样本总数、需检 第 3 期 马岭，等：基于小样本学习的 LCD 产品缺陷自动检测方法 ·565·
·566· 智能系统学报 第15卷 测的无缺陷样本数、Dimple缺陷样本数和Scratch 和99.15%。 缺陷样本数；N-12表示无缺陷样本被误检为缺陷 表2为本文模型与常用代表性卷积神经网络 样本的数量；W2-o表示缺陷样本被误检为无缺陷 在同样小样本数据集下训练180轮次的测试结果 样本的数量。 对比。 本文随机选取了1526幅样本图像进行测试， 表1测试结果 测试结果如表1所示，其中，0表示595幅无缺陷 Table 1 Test result 样本集，1表示458幅Dimple缺陷样本集，2表示 样本集 No N N2 正确率/% 473幅Scratch缺陷样本集。 0 585 2 8 98.32 表1所示的实验结果表明无缺陷样本与缺陷 457 0 99.78 2 469 99.15 样本的分类正确性分别可以达到98.32%、99.78% 表2模型比较 Table 2 Models comparison 模型 0(595) 1(458) 2(473) 平均正确率/% 误检率/% 训练时间 超参数 AlexNet 283 211 237 44.95 52.42 38 min 62 GoogleNet 371 364 389 73.66 19.98 29 min 6.8 ResNet50 392 276 406 70.38 23.57 30 min 25.5 AlexNet+ 564 455 469 97.51 2.03 6h 62 GoogLeNet+ 576 455 472 98.49 1.25 5.4h 6.8 ResNet-50+ 581 449 473 98.56 1.18 5.2h 25.5 Our model 585 457 469 99.02 0.66 2.8h 2.36 表2所示的对比结果表明，以AlexNet、 型验证并优化模型参数，重点解决在线检测实时 GoogLeNet、ResNet:50为代表的CNN模型在小样 性问题。 本数据集下检测正确率有限，存在漏检率较高的 问题。迁移学习和DCGAN生成样本强化训练是 参考文献： 提升检测性能的有效手段。本文模型相较于改进 [1]LU Rongsheng,SHI Yanqiong,LI Qi,et al.AOI tech- 后的主流模型可以进一步提升检测正确率并降低 niques for surface defect inspection[].Applied mechanics 误检率。 and materials.2010.36:297-302. [2]LIU Y H.LIU Yanchen,CHEN Y Z.High-speed inline de- 4结束语 fect detection for TFT-LCD array process using a novel 本文针对高分辨率LCD图像的在线检测问 support vector data description[].Expert systems with ap- 题，设计了一个参数量少且收敛快的轻量型CNN plications,2011,38(5):6222-6231. 模型。该模型通过利用迁移学习结合DCGAN生 [3]CEN Yigang,ZHAO Ruizhen,CEN Lihui,et al.Defect in- 成样本强化训练，克服了基于小样本集的深度学 spection for TFT-LCD images based on the low-rank mat- rix reconstruction[J].Neurocomputing.2015,149: 习模型训练易出现过拟合难点，通过设计自动分 1206-1215. 割与定位预处理软件将高分辨率图像划分成图像 [4]张腾达，卢荣胜，张书真.基于二维DFT的TFT-LCD平 子块，并根据对图像子块的判定类别和定位坐 板表面缺陷检测).光电工程，2016,43(3)7-15 标，同时获取多类型缺陷检测结果。相比传统缺 ZHANG Tengda,LU Rongsheng,ZHANG Shuzhen.Sur- 陷检测算法，可以减少人工设置过多参数引起的 face defect inspection of TFT-LCD panels based on 2D 烦琐，并避免因图像分解重构而影响在线检测应 DFT[J].Opto-electronic engineering,2016,43(3):7-15. 用。实验结果表明，提出算法对LCD表面缺陷 [5]MA Ling,LIU Wei,LIU Yumin,et al.An automatic detec- 的平均检测正确率可以达到99.02%，误检率为 tion algorithm for surface defects in TFT-LCD[C]//Pro- 0.66%,具有高检出率和低漏检率的特点。在下一 ceedings of 2013 Second IAPR Asian Conference on Pat- 步的研究中，将在实际生产环境中进一步进行模 tern Recognition.Naha,Japan,2013:847-851
N0→1,2 N1,2→0 测的无缺陷样本数、Dimple 缺陷样本数和 Scratch 缺陷样本数； 表示无缺陷样本被误检为缺陷 样本的数量； 表示缺陷样本被误检为无缺陷 样本的数量。 本文随机选取了 1 526 幅样本图像进行测试， 测试结果如表 1 所示，其中，0 表示 595 幅无缺陷 样本集，1 表示 458 幅 Dimple 缺陷样本集，2 表示 473 幅 Scratch 缺陷样本集。 98.32% % 表 1 所示的实验结果表明无缺陷样本与缺陷 样本的分类正确性分别可以达到 、99.78 和 99.15%。 表 2 为本文模型与常用代表性卷积神经网络 在同样小样本数据集下训练 180 轮次的测试结果 对比。 表 1 测试结果 Table 1 Test result 样本集 N0 N1 N2 正确率/% 0 585 2 8 98.32 1 1 457 0 99.78 2 2 2 469 99.15 表 2 模型比较 Table 2 Models comparison 模型 0(595) 1(458) 2(473) 平均正确率/% 误检率/% 训练时间 超参数 AlexNet 283 211 237 44.95 52.42 38 min 62 GoogleNet 371 364 389 73.66 19.98 29 min 6.8 ResNet50 392 276 406 70.38 23.57 30 min 25.5 AlexNet+ 564 455 469 97.51 2.03 6 h 62 GoogLeNet+ 576 455 472 98.49 1.25 5.4 h 6.8 ResNet-50+ 581 449 473 98.56 1.18 5.2 h 25.5 Our model 585 457 469 99.02 0.66 2.8 h 2.36 表 2 所示的对比结果表明， 以 AlexNet、 GoogLeNet、ResNet50 为代表的 CNN 模型在小样 本数据集下检测正确率有限，存在漏检率较高的 问题。迁移学习和 DCGAN 生成样本强化训练是 提升检测性能的有效手段。本文模型相较于改进 后的主流模型可以进一步提升检测正确率并降低 误检率。 4 结束语 本文针对高分辨率 LCD 图像的在线检测问 题，设计了一个参数量少且收敛快的轻量型 CNN 模型。该模型通过利用迁移学习结合 DCGAN 生 成样本强化训练，克服了基于小样本集的深度学 习模型训练易出现过拟合难点，通过设计自动分 割与定位预处理软件将高分辨率图像划分成图像 子块，并根据对图像子块的判定类别和定位坐 标，同时获取多类型缺陷检测结果。相比传统缺 陷检测算法，可以减少人工设置过多参数引起的 烦琐，并避免因图像分解重构而影响在线检测应 用。实验结果表明，提出算法对 LCD 表面缺陷 的平均检测正确率可以达到 99.02%，误检率为 0.66%，具有高检出率和低漏检率的特点。在下一 步的研究中，将在实际生产环境中进一步进行模 型验证并优化模型参数，重点解决在线检测实时 性问题。 参考文献： LU Rongsheng, SHI Yanqiong, LI Qi, et al. AOI techniques for surface defect inspection[J]. Applied mechanics and materials, 2010, 36: 297–302. [1] LIU Y H, LIU Yanchen, CHEN Y Z. High-speed inline defect detection for TFT-LCD array process using a novel support vector data description[J]. Expert systems with applications, 2011, 38(5): 6222–6231. [2] CEN Yigang, ZHAO Ruizhen, CEN Lihui, et al. Defect inspection for TFT-LCD images based on the low-rank matrix reconstruction[J]. Neurocomputing, 2015, 149: 1206–1215. [3] 张腾达, 卢荣胜, 张书真. 基于二维 DFT 的 TFT-LCD 平 板表面缺陷检测 [J]. 光电工程, 2016, 43(3): 7–15. ZHANG Tengda, LU Rongsheng, ZHANG Shuzhen. Surface defect inspection of TFT-LCD panels based on 2D DFT[J]. Opto-electronic engineering, 2016, 43(3): 7–15. [4] MA Ling, LIU Wei, LIU Yumin, et al. An automatic detection algorithm for surface defects in TFT-LCD[C]//Proceedings of 2013 Second IAPR Asian Conference on Pattern Recognition. Naha, Japan, 2013: 847−851. [5] ·566· 智 能 系 统 学 报 第 15 卷
第3期 马岭，等：基于小样本学习的LCD产品缺陷自动检测方法 ·567· [6]马岭，蒋慧琴，刘玉敏.基于局部特征的驾驶证自动识别 ment Analysis and Recognition.Tunis,Tunisia,2015: 系统.郑州大学学报（工学版），2017,38(5)13-17,22. 846-850 MA Ling,JIANG Huiqin,LIU Yumin.Automatic recogni- [16]SZEGEDY C.IOFFE S,VANHOUCKE V,et al.Incep- tion system of driver's license based on local features[J]. tion-V4,inception-ResNet and the impact of residual con- Journal of Zhengzhou University (engineering science edi- nections on learning[C]//Proceedings of the Thirty-First tion,2017,38(5):13-17,22. AAAI Conference on Artificial Intelligence.San Fran- [7]LANGKVIST M.KARLSSON L.LOUTFI A.A review of cisco.USA,2017. unsupervised feature learning and deep learning for time- [17]Lin M,Chen Q,Yan S.Network In Network[Cl//Proceed- series modeling[J].Pattern recognition letters,2014,42: ings of the 2th International Conference on Learning Rep- 11-24. resentations.Banff,Canada,2016. [8]KRIZHEVSKY A,SUTSKEVER I.HINTON G E.Im- [18]SZEGEDY C,LIU Wei,JIA Yangqing,et al.Going deep- ageNet classification with deep convolutional neural net- er with convolutions[C]//Proceedings of 2015 IEEE Con- works[C]//Proceedings of the 25th International Confer- ference on Computer Vision and Pattern Recognition.Bo- ence on Neural Information Processing Systems.Siem ston.USA,2015:1-9. Reap,Cambodia,2012:1097-1105. [19]Radford A,Metz L,Chintala S.Unsupervised Representa- [9]BENGIO Y,COURVILLE A,VINCENT P.Representa- tion Learning with Deep Convolutional Generative Ad- tion learning:a review and new perspectives[J].IEEE versarial Networks[Cl//Proceedings of the 4th Internation- transactions on pattern analysis and machine intelligence, al Conference on Learning Representations.San Juan,Pu- 2013,35(8):1798-1828. erto Rico.2016. [10]DENG Jia,BERG A,SATHEESH S,et al.Large scale [20]GOODFELLOW I J.POUGET-ABADIE J.MIRZA M. visual recognition challenge[EB/OL].[2013-11-14]. et al.Generative adversarial nets[C]//Proceedings of the http://image-net.org/challenges/LSVRC/2013/. 27th International Conference on Neural Information Pro- [11]EVERINGHAM M,ALI ESLAMI S M,VAN GOOL L, et al.The PASCAL visual object classes challenge:a ret- cessing Systems.Montreal,Canada,2014:2672-2680. rospective[J].International journal of computer vision, 作者简介： 2015,111(1:98-136. 马岭，教授.博士，主要研究方向 [12]TAJBAKHSH N,SUZUKI K.Comparing two classes of 为深度学习和机器视觉。主持NSFC end-to-end machine-learning models in lung nodule de- 河南联合基金重点项目1项，获河南 tection and classification:MTANNs vs.CNNs[J].Pattern 省科技进步一等奖1项，获发明专利 授权5项。发表学术论文30余篇，出 recognition,2017,63:476-486. 版专著1部。 [13]郑胤，陈权崎，章毓晋.深度学习及其在日标和行为识 别中的新进展[.中国图象图形学报，2014,19(2)： 175-184 鲁越，硕士研究生，主要研究方向 ZHENG Yin,CHEN Quanqi,ZHANG Yujin.Deep learn- 为深度学习和机器视觉。 ing and its new progress in object and behavior recogni- tion[J].Journal of image and graphics,2014,19(2): 175-184 [14]KRIZHEVSKY A,SUTSKEVER I,HINTON G E.Im- ageNet classification with deep convolutional neural net- works[J].Communications of the ACM,2017,60(6): 蒋慧琴，教授，博士，主要研究方 向为深度学习和医疗人工智能。主持 84-90. 和参与完成国家自然科学基金面上项 [15]ZHONG Zhuoyao,JIN Lianwen,XIE Zecheng.High per- 目2项、省部级项目4项，获发明专利 formance offline handwritten chinese character recogni- 授权3项。发表学术论文50余篇。 tion using googlenet and directional feature maps[C//Pro- ceedings of 2015 13th International Conference on Docu-
马岭, 蒋慧琴, 刘玉敏. 基于局部特征的驾驶证自动识别 系统 [J]. 郑州大学学报(工学版), 2017, 38(5): 13–17, 22. MA Ling, JIANG Huiqin, LIU Yumin. Automatic recognition system of driver’s license based on local features[J]. Journal of Zhengzhou University (engineering science edition), 2017, 38(5): 13–17, 22. [6] LÄNGKVIST M, KARLSSON L, LOUTFI A. A review of unsupervised feature learning and deep learning for timeseries modeling[J]. Pattern recognition letters, 2014, 42: 11–24. [7] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems. Siem Reap, Cambodia, 2012: 1097−1105. [8] BENGIO Y, COURVILLE A, VINCENT P. Representation learning: a review and new perspectives[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(8): 1798–1828. [9] DENG Jia, BERG A, SATHEESH S, et al. Large scale visual recognition challenge[EB/OL]. [2013-11-14]. http://image-net.org/challenges/LSVRC/2013/. [10] EVERINGHAM M, ALI ESLAMI S M, VAN GOOL L, et al. The PASCAL visual object classes challenge: a retrospective[J]. International journal of computer vision, 2015, 111(1): 98–136. [11] TAJBAKHSH N, SUZUKI K. Comparing two classes of end-to-end machine-learning models in lung nodule detection and classification: MTANNs vs. CNNs[J]. Pattern recognition, 2017, 63: 476–486. [12] 郑胤, 陈权崎, 章毓晋. 深度学习及其在目标和行为识 别中的新进展 [J]. 中国图象图形学报, 2014, 19(2): 175–184. ZHENG Yin, CHEN Quanqi, ZHANG Yujin. Deep learning and its new progress in object and behavior recognition[J]. Journal of image and graphics, 2014, 19(2): 175–184. [13] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84–90. [14] ZHONG Zhuoyao, JIN Lianwen, XIE Zecheng. High performance offline handwritten chinese character recognition using googlenet and directional feature maps[C]//Proceedings of 2015 13th International Conference on Docu- [15] ment Analysis and Recognition. Tunis, Tunisia, 2015: 846−850. SZEGEDY C, IOFFE S, VANHOUCKE V, et al. Inception-V4, inception-ResNet and the impact of residual connections on learning[C]//Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence. San Francisco, USA, 2017. [16] Lin M, Chen Q, Yan S. Network In Network[C]//Proceedings of the 2th International Conference on Learning Representations. Banff, Canada, 2016. [17] SZEGEDY C, LIU Wei, JIA Yangqing, et al. Going deeper with convolutions[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2015: 1−9. [18] Radford A, Metz L, Chintala S. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks[C]//Proceedings of the 4th International Conference on Learning Representations. San Juan, Puerto Rico, 2016. [19] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada, 2014: 2672–2680. [20] 作者简介： 马岭，教授，博士，主要研究方向 为深度学习和机器视觉。主持 NSFC- 河南联合基金重点项目 1 项，获河南 省科技进步一等奖 1 项，获发明专利 授权 5 项。发表学术论文 30 余篇，出 版专著 1 部。 鲁越，硕士研究生，主要研究方向 为深度学习和机器视觉。 蒋慧琴，教授，博士，主要研究方 向为深度学习和医疗人工智能。主持 和参与完成国家自然科学基金面上项 目 2 项、省部级项目 4 项，获发明专利 授权 3 项。发表学术论文 50 余篇。 第 3 期 马岭，等：基于小样本学习的 LCD 产品缺陷自动检测方法 ·567·